Introduction
Ce document décrit un problème rencontré sur les ports Fibre Channel (FC) de la gamme Cisco MDS 9000 et fournit une solution au problème.
Problème
Ce journal des événements de lien s'affiche :
*************** Port Config Link Events Log ***************
---- ------ ----- ----- ------
Time PortNo Speed Event Reason
---- ------ ----- ----- ------
...
Jul 28 00:46:39 2012 00670297 fc11/25 --- DOWN LR Rcvd B2B
Le message LR Rcvd B2B (ou Link Failure Reset failed nonvide recv queue) indique que le périphérique connecté au port transmet une liaison Reset (LR) au MDS, mais que le MDS ne répond pas avec une liaison Reset Response (LRR) en raison d'une congestion interne sur le port. Le port a des paquets en file d'attente qui sont reçus du périphérique connecté, mais le MDS ne peut pas les livrer au port de sortie approprié. Comme ils sont toujours en file d'attente sur le port d'entrée, le MDS ne peut pas renvoyer un LRR et la liaison échoue.
Ces messages d'erreur accompagnent le journal des événements précédent :
%PORT-2-IF_DOWN_LINK_FAILURE: %$VSAN 93%$
Interface fc11/25 is down (Link failure)
%PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 100%$
Interface fc5/32 is down (Link failure Link Reset
failed nonempty recv queue)
Note: Ce scénario est donné en supposant que le nombre de crédits de tampon que le MDS accorde au périphérique FC est de trois et que les paquets du périphérique FC sont commutés vers le port FC de sortie.
MDS
FC Port FC Port
(Egress) Arbiter (Ingress) FC device
-------- ------- --------- ---------
1) <------- FC packet 1
2) <--- Grant Request
3) Grant------------>
4) <---------------FC packet 1
5) R_Rdy--------> Tx B2B=3
6) <------- FC packet 2 Tx B2B=2
7) <---- Grant Request
8) <------- FC packet 3 Tx B2B=1
9) <---- Grant Request
10) <------- FC packet 4 Tx B2B=0
11) <---- Grant Request
12) Time lapses - Variable depending on attached HBA type
13) <--------Link Reset(LR)
14) Start 90ms "LR Rcvd B2B" timer
15) "LR Rcvd B2B" timer expires
16) <--------NOS-------->
Explication
Cette section explique le résultat précédent :
- Le périphérique FC transmet dans un paquet FC au port d'entrée, destiné au port de sortie.
- Le port de la carte de ligne d'entrée (LC) MDS détermine l'indice de destination (DI) et transmet la demande de subvention à l'arbitre (Bellagio2) sur le superviseur actif.
- L'arbitre renvoie un Grant au port d'entrée, ce qui lui donne l'autorisation de transmettre le paquet FC 1 au port de sortie via XBAR.
- Le LC d'entrée transmet le paquet FC 1 via XBAR au port de sortie. Cela rend le tampon d'entrée disponible.
- Le port d'entrée transmet un R_RDY au périphérique FC, qui réapprovisionne le crédit.
Note: Les cinq premières étapes sont typiques lorsqu'il n'y a pas de congestion. Supposez à ce stade que les files d'attente du port de sortie sont pleines et ne peuvent plus recevoir de paquets.
- Le périphérique FC transmet le paquet FC 2 au port d'entrée, destiné au port de sortie.
- Le port LC d'entrée MDS détermine l'ID et transmet la demande de subvention à l'arbitre (Bellagio2) sur le superviseur actif.
- Le périphérique FC transmet le paquet FC 3 au port d'entrée, destiné au port de sortie.
- Le port LC d'entrée MDS détermine l'ID et transmet la demande de subvention à l'arbitre (Bellagio2) sur le superviseur actif.
- Le périphérique FC transmet le paquet FC 4 au port d'entrée, destiné au port de sortie.
- Le port LC d'entrée MDS détermine l'ID et transmet la demande de subvention à l'arbitre (Bellagio2) sur le superviseur actif.
- Les délais varient selon le type d'adaptateur HBA connecté.
- Après un certain temps à Tx B2B=0, le périphérique FC lance la récupération de perte de crédit et transmet une réinitialisation de liaison (LR).
- Lorsque le port d'entrée reçoit le LR, il vérifie ses tampons d'entrée et détermine qu'il y a au moins un paquet en file d'attente. Il démarre ensuite un minuteur LR Rcvd B2B de 90 ms.
- Si les Subventions sont reçues et que les trois paquets FC sont transmis au port de sortie, le compteur LR Rcvd B2B est annulé et une réponse de réinitialisation de liaison (LRR) est renvoyée au périphérique FC. Dans ce cas, cependant, le port de sortie reste congestionné et les trois paquets FC restent en file d'attente au port d'entrée. Le compteur LR Rcvd B2B expire et un LRR n'est pas transmis au périphérique FC.
- Le port d'entrée et le périphérique FC déclenchent tous deux une défaillance de liaison via la transmission d'une séquence non opérationnelle.
Solution
Si la liaison échoue avec un message LR Rcvd B2B ou un échec de liaison Link Reset a échoué non vide recv queue, alors le port qui a échoué n'est pas la cause de l'écoulement lent et a été affecté seulement par le port lent/bloqué. Afin d'identifier le port lent/bloqué qui a causé la défaillance de la liaison, procédez comme suit :
- Déterminez si plusieurs liaisons échouent en raison du problème mentionné précédemment. Si plusieurs liaisons échouent à peu près au même moment, le problème peut survenir car tous les ports tentent de transmettre des paquets à un port de sortie commun.
- Vérifiez la base de données de zonage VSAN afin de voir avec quels périphériques le périphérique FC adjacent est zoné. Mappez-les aux ports E ou F locaux. Afin de mapper à la sortie E, les ports utilisent la commande show fspf internal route vsan <vsan> domain <dom>. Afin de mapper aux ports F locaux, utilisez la commande show flogi database vsan <vsan>. S'il y a plusieurs liaisons qui échouent avec le message LR Rcvd B2B, combinez les ports E ou F locaux trouvés, et recherchez les chevauchements. Les chevauchements sont probablement la cause de ports lents/bloqués.
- Vérifiez les ports de l'étape 2 pour obtenir des indications de drainage lent. Exemples :
- Perte de crédit (AK_FCP_CNTR_CREDIT_LOSS / FCP_SW_CNTR_CREDIT_LOSS)
- 100 ms Tx B2B Zero (AK_FCP_CNTR_TX_WT_AVG_B2B_ZERO / FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO)
- Délai d'expiration (AK_FCP_CNTR_LAF_TOTAL_TIMEOUT_FRAMES / THB_TMM_TOLB_TIMEOUT_DROP_CNT / F16_TMM_TOLB_TIMEOUT_DROP_CNT)
- Si vous déterminez que le port lent est un port E de sortie, poursuivez le dépannage de drainage lent sur le commutateur adjacent indiqué par l'interface de tronçon suivant FSPF.
- Si vous déterminez que le port lent/bloqué est une liaison FCIP ou un canal de port, vérifiez les liaisons FCIP pour détecter les signes de retransmissions IP ou d'autres problèmes, tels que les échecs de liaison. Entrez la commande show ips stats all afin de rechercher des problèmes.
Options de configuration
Voici deux options de configuration système possibles :
Informations connexes