Fehlerbehebung bei Fibre Channel Port Link Event "LR Rcvd B2B" der Serie MDS 9000

Einleitung

In diesem Dokument wird ein Problem beschrieben, das auf Cisco Multilayer Data Switch (MDS) 9000 Series Fibre Channel (FC)-Ports auftritt, und es wird eine Lösung für dieses Problem beschrieben.

Problem

Dieses Protokoll mit Verknüpfungsereignissen wird angezeigt:

*************** Port Config Link Events Log ***************
 ----                            ------    -----   -----   ------
 Time                            PortNo    Speed   Event   Reason
 ----                            ------    -----   -----   ------
 ...
 Jul 28 00:46:39 2012  00670297  fc11/25    ---    DOWN   LR Rcvd B2B      

Die LR Rcvd B2B-Nachricht (oder Link Failure Link Reset failed non-empty recv queue) gibt an, dass das an den Port angeschlossene Gerät ein Link Reset (LR) an den MDS überträgt, das MDS jedoch aufgrund einer internen Portüberlastung nicht mit einem Link Reset Response (LRR) reagiert. Auf dem Port sind Pakete in Warteschlangen, die vom angeschlossenen Gerät empfangen werden, aber der MDS kann sie nicht an den entsprechenden Ausgangsport senden. Da sie immer noch am Eingangsport in der Warteschlange stehen, kann der MDS keinen LRR zurücksenden, und die Verbindung schlägt fehl.

Diese Fehlermeldungen werden zusammen mit dem vorherigen Ereignisprotokoll angezeigt:

%PORT-2-IF_DOWN_LINK_FAILURE: %$VSAN 93%$ 
  Interface fc11/25 is down (Link failure)

%PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 100%$ 
  Interface fc5/32 is down (Link failure Link Reset 
  failed nonempty recv queue)

Hinweis: Dieses Szenario wird unter der Annahme erstellt, dass die Anzahl der Puffergutschriften, die der MDS dem FC-Gerät gewährt, drei ist und dass die Pakete des FC-Geräts an den FC-Ausgangsport weitergeleitet werden.

                MDS
    FC Port                FC Port
    (Egress)   Arbiter    (Ingress)      FC device
    --------   -------    ---------      ---------
  1)                           <------- FC packet 1
  2)             <--- Grant Request
  3)             Grant------------>
  4)    <---------------FC packet 1
  5)                            R_Rdy-------->       Tx B2B=3
  6)                           <------- FC packet 2  Tx B2B=2
  7)             <---- Grant Request
  8)                           <------- FC packet 3  Tx B2B=1
  9)             <---- Grant Request
 10)                           <------- FC packet 4  Tx B2B=0
 11)             <---- Grant Request
 12) Time lapses - Variable depending on attached HBA type
 13)                           <--------Link Reset(LR)
 14)          Start 90ms "LR Rcvd B2B" timer
 15)          "LR Rcvd B2B" timer expires
 16)                            <--------NOS-------->

Erläuterung

In diesem Abschnitt wird die vorherige Ausgabe erläutert:

1. Das FC-Gerät sendet ein FC-Paket an den Eingangs-Port, der an den Ausgangs-Port gerichtet ist.
2. Der MDS-Eingangs-Line Card (LC)-Port bestimmt den Zielindex (DI) und überträgt die Grant-Anforderung an den Arbiter (Bellagio2) auf dem aktiven Supervisor.
3. Der Arbiter sendet eine Berechtigung zurück an den Eingangs-Port, wodurch er berechtigt ist, FC-Paket 1 über die XBAR an den Ausgangs-Port zu übertragen.
4. Der Eingangs-LC überträgt FC-Paket 1 über XBAR an den Ausgangs-Port. Dadurch steht der Eingangspuffer zur Verfügung.
5. Der Eingangs-Port überträgt ein R_RDY zurück an das FC-Gerät, wodurch das Guthaben aufgefüllt wird.
   
   

   Hinweis: Die ersten fünf Schritte sind typisch, wenn keine Überlastung vorliegt. Nehmen wir an, dass die Ausgangs-Port-Warteschlangen voll sind und keine weiteren Pakete empfangen können.

   
   
6. Das FC-Gerät überträgt FC-Paket 2 an den Eingangsport, der an den Ausgangsport gerichtet ist.
7. Der MDS-Eingangs-LC-Port bestimmt die DI und überträgt die Grant-Anforderung an den Arbiter (Bellagio2) auf dem aktiven Supervisor.
8. Das FC-Gerät überträgt FC-Paket 3 an den Eingangsport, der an den Ausgangsport gerichtet ist.
9. Der MDS-Eingangs-LC-Port bestimmt die DI und überträgt die Grant-Anforderung an den Arbiter (Bellagio2) auf dem aktiven Supervisor.
10. Das FC-Gerät sendet das FC-Paket 4 an den Eingangsport, der an den Ausgangsport gerichtet ist.
11. Der MDS-Eingangs-LC-Port bestimmt die DI und überträgt die Grant-Anforderung an den Arbiter (Bellagio2) auf dem aktiven Supervisor.
12. Die Zeit vergeht, je nach angeschlossenem HBA-Typ.
13. Nach einiger Zeit bei Tx B2B=0 startet das FC-Gerät die Credit Loss Recovery und sendet ein Link Reset (LR).
14. Wenn der Eingangs-Port den LR empfängt, überprüft er dessen Eingangspuffer und stellt fest, dass mindestens ein Paket in der Warteschlange ist. Anschließend wird ein 90 ms LR Rcvd B2B-Timer gestartet.
15. Wenn die Grants empfangen werden und die drei FC-Pakete an den Egress-Port übertragen werden, wird der LR Rcvd B2B-Timer abgebrochen, und eine Link Reset Response (LRR) wird an das FC-Gerät zurückgesendet. In diesem Fall bleibt der Egress-Port jedoch überlastet, und die drei FC-Pakete verbleiben in der Warteschlange am Eingangsport. Der LR Rcvd B2B-Timer läuft ab, und ein LRR wird nicht an das FC-Gerät zurückgesendet.
16. Sowohl der Eingangs-Port als auch das FC-Gerät lösen einen Verbindungsausfall aus, indem eine nicht betriebsbereite Sequenz übertragen wird.

Lösung

Wenn die Verbindung mit einer LR Rcvd B2B oder einer Link Reset-Nachricht mit Link-Ausfällen fehlschlägt, die nicht leere Recv-Warteschlange enthält, ist der ausgefallene Port nicht die Ursache für den Slow-Drain und wurde nur durch den Slow-/Stuck-Port beeinflusst. Führen Sie die folgenden Schritte aus, um den langsamen/hängenden Port zu identifizieren, der den Verbindungsausfall verursacht hat:

1. Stellen Sie fest, ob aufgrund des oben genannten Problems mehr als eine Verbindung fehlschlägt. Wenn mehr als eine Verbindung ungefähr zur gleichen Zeit ausfällt, kann das Problem auftreten, da alle Ports versuchen, Pakete an einen gemeinsamen Ausgangsport zu übertragen.
2. Überprüfen Sie die VSAN-Zoning-Datenbank, um festzustellen, mit welchen Geräten das benachbarte FC-Gerät Zoning durchführt. Ordnen Sie diese den Ausgangs-E- oder lokalen F-Ports zu. Für die Zuordnung zum E-Ausgang verwenden die Ports den Befehl show fspf internal route vsan <vsan> domain <dom>. Um lokale F-Ports zuzuordnen, verwenden Sie den Befehl show flogi database vsan <vsan>. Wenn mehr als eine Verbindung mit der LR Rcvd B2B-Nachricht fehlschlägt, kombinieren Sie die E- oder lokalen F-Ports, und überprüfen Sie, ob Überschneidungen vorliegen. Überschneidungen sind mögliche Ursachen für langsame/hängende Ports.
3. Überprüfen Sie die Anschlüsse in Schritt 2 auf Anzeichen für einen langsameren Ablauf. Beispiele:
   
   
   • Kreditverlust (AK_FCP_CNTR_CREDIT_LOSS / FCP_SW_CNTR_CREDIT_LOSS)
   • 100 ms Tx B2B Null (AK_FCP_CNTR_TX_WT_AVG_B2B_ZERO / FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO)
   • Timeout-Rückwürfe (AK_FCP_CNTR_LAF_TOTAL_TIMEOUT_FRAMES / THB_TMM_TOLB_TIMEOUT_DROP_CNT / F16_TMM_TOLB_TIMEOUT_DROP_CNT)
     
     
4. Wenn Sie feststellen, dass es sich bei dem langsamen Port um einen Egress-E-Port handelt, fahren Sie mit der Fehlerbehebung für den langsameren Ablauf auf dem benachbarten Switch fort, der durch die FSPF-Next-Hop-Schnittstelle angegeben wird.
5. Wenn Sie feststellen, dass es sich bei dem langsamen/blockierten Port um eine FCIP-Verbindung oder einen Port-Channel handelt, überprüfen Sie die FCIP-Verbindungen auf Anzeichen für eine erneute Übertragung der IP-Adresse oder auf andere Probleme, z. B. Verbindungsausfälle. Geben Sie den Befehl show ips stats all ein, um nach Problemen zu suchen.

Konfigurationsoptionen

Es gibt zwei mögliche Systemkonfigurationsoptionen:

• Dieser Timer legt fest, wie lange das System wartet, bis eine Zeitüberschreitung bei Frames auftritt, die nicht übertragen werden können. Der Standardwert ist 500 ms.
  
  

  system timeout congestion-drop 
         
         
           mode E|F 
         

• Dieser Timer bestimmt die Zeit zwischen dem Zeitpunkt, an dem es Null Tx Credits gibt, um Frame-Drops mit der Zeilenrate zu starten, bis Credits empfangen werden.
  
  

  system timeout no-credit-drop 
         
         
           mode E|F 
         

Zugehörige Informationen

• Schulung für Slow Drain-Geräte 4.2(7) - PDF-Download
  
• Technischer Support und Dokumentation für Cisco Systeme