Inhalt

Einführung

Fabric CRC-Erkennung - Übersicht

Verständnis der verschiedenen Fabric CRC-Fehler

Fabric CRC-Fehlerbehebungsansatz

Allgemeine Richtlinien zur CRC-Fehlerbehebung

Anwenderberichte

Eingangsmodul beschädigt Pakete

Protokolle

Problem

Wahrscheinliche Ursache des Problems

Fehler beim Isolieren von Komponenten

Falsch sitzende XBAR-Injection-Pakete beschädigte Pakete

Protokolle

Problem

Wahrscheinliche Ursache des Problems

Fehler beim Isolieren von Komponenten

Fehlerhaftes Ausgangsmodul beschädigt Pakete aus der Fabric

Protokolle

Problem

Wahrscheinliche Ursache des Problems

Fehler beim Isolieren von Komponenten

Fehlerbehebung bei Befehlen

Einführung

In diesem Dokument wird beschrieben, wie die in der Cisco Nexus 7000-Plattform gemeldeten Fabric-Fehler behoben werden. Eine Fehlerbehebung bei CRCs (Fabric Cyclical Redundancy Checksum) umfasst die Erfassung von Daten, Datenanalysen und einen Eliminationsprozess, um die problematische Komponente zu isolieren. In diesem Dokument werden die häufigsten Typen von Fabric-CRC-Fehlern behandelt.

Fabric CRC-Erkennung - Übersicht

Im folgenden Diagramm sehen Sie ein Nexus 7018-Fabric-Modul mit M1-Linecards:

Das vorherige Image bietet eine Übersicht über die Komponenten, die beim Durchlaufen eines Fabric-Moduls durch ein Paket involviert sind. Phase 1 (S1), Phase 2 (S2) und Phase 3 (S3) sind die drei Phasen der Nexus 7000-Fabric. Octopus ist die Warteschleifenengine, Santa Cruz (SC) der Fabric-ASIC, und Instanz 1 und 2 sind die beiden SC-Instanzen der XBAR. In diesem Dokument wird nur ein XBAR behandelt. Beachten Sie, dass die meisten Nexus Switches der Serie 7000 drei oder mehr XBARs installiert haben.

Unter der Annahme, dass ein unidirektionaler Fluss von Modul 1 (M1) zu Modul 2 (M2) vorhanden ist, führt der Eingangs-Octopus-1 auf M1 Fehlerprüfungen für Pakete durch, die er aus dem Süden empfängt, und der Ausgangs-Octopus-1 auf M2 aus dem Norden. Wenn CRC in S3 erkannt wird, ist möglicherweise auch in S1 oder S2 ein Problem aufgetreten, da in diesen Phasen keine CRC-Prüfung durchgeführt wird. Die Geräte, die am Pfad beteiligt sind, sind der Eingangs-, Chassis-, Kreuzschienen- und Ausgangs-Octopus.

In der M1/Fab1-Architektur werden CRCs nur auf der Ausgangs-Linecard (S3) erkannt.

Hier sehen Sie eine Beispiel-Fehlermeldung:

%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with

CRC error from MOD 15 through XBAR slot 1/inst 1

Dies wird von M1 gemeldet, was darauf hinweist, dass es Pakete mit dem falschen CRC von Modul 15 (M15) über XBAR-Steckplatz 1/Instanz 1 erhalten hat.

Verständnis der verschiedenen Fabric CRC-Fehler

In diesem Abschnitt werden vier der häufigsten Typen von Fabric-CRC-Fehlern beschrieben.

- CRC-Fehler mit einem Quellmodul, Empfangsmodul und XBAR-Instanz:
%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with

CRC error from MOD 15 through XBAR slot 1/inst 1
Dies bedeutet, dass das Modul in Steckplatz 1 einen CRC-Fehler von M15 bis XBAR-Steckplatz 1/Instanz 1 erkannt hat. Das Modul, von dem CRC-Fehler ausgehen, wird als Eingangsmodul (in diesem Fall M15) bezeichnet, und das Modul, das das Problem gemeldet hat, ist das Ausgangs-Modul (M1). XBAR 1 ist die Kreuzschiene, in der das Paket empfangen wurde. Pro XBAR gibt es zwei Instanzen. In diesem Fall erkannte M1 CRC-Fehler von M15 bis XBAR-Steckplatz 1 Instanz 1.

- CRC-Fehler mit einem Quellmodul, Empfangsmodul, aber keine XBAR-Instanz:
%OC_USD-SLOT4-2-RF_CRC: OC2 received packets with

CRC error from MOD 1
In dieser Meldung meldete Modul 4 (M4) den CRC-Fehler von M1. Beachten Sie, dass die XBAR-Informationen fehlen. Das System kann die XBAR-Datei, die das Paket durchlaufen hat, nicht überprüfen. Es gibt viele Gründe, aber die häufigsten sind: Die Informationen im Fabric-Header des Pakets können beschädigt sein, sodass das Quellmodul nicht bestimmt werden kann. Die übertragene XBAR wird aus dem System entfernt, da der Fehler inkrementiert wurde. Daher wurde er nicht in der stündlichen Syslog-Meldung angezeigt.

- CRC-Fehler ohne Empfangsmodul:
%OC_USD-2-RF_CRC: OC1 received packets with

CRC error from MOD 16 through XBAR slot 1/inst 1
In diesem Fall erkannte ein Gerät einen CRC von Modul 16 (M16) bis XBAR 1. Es gibt jedoch kein Receiver-Modul. Wenn der Supervisor (SUP) ein vom Fabric-Modul stammendes CRC erkennt, werden die Steckplatzinformationen nicht protokolliert. Wenn Sie keine Informationen zu den Steckplätzen sehen, wurde das Problem vom SUP erkannt. Das bedeutet nicht, dass das SUP schlecht ist. So wie das Modul das Problem meldet, gibt es mehrere Komponenten, die das Problem möglicherweise verursacht haben: M16, das Chassis (nicht so wahrscheinlich), XBAR 1 oder das SUP.

- CRC-Fehler mit mehreren möglichen Quellmodulen:
%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with

CRC error from MOD 11 or 12 or 14 or 15 or 16 or 17 or 18
Das Quellmodul wird vom Eingangs-Octopus übernommen, der das fehlerhafte Paket bezogen hat. Der Treiber, der einen Interrupt auslöst, um diese Fehlermeldung zu protokollieren, kennt nicht immer den Eingangs-Octopus, von dem das fehlerhafte Paket stammt. Dies liegt daran, dass einige der Bits, die zur Darstellung des Eingangs-Octopus verwendet werden, nicht verwendet werden. Wenn das System feststellt, dass mehrere Module eingeschaltet sind, müssen diese nicht verwendeten Bits aktiviert sein. Das System muss davon ausgehen, dass eines dieser Module die Quelle sein kann, wodurch die Fehlermeldung alle Module einschließen lässt. Das System hat festgestellt, dass Modul 13 (M13) diesen Konflikt nicht auslösen kann, da diese Bits nicht verwendet werden. Daher wird sie nicht als potenzielle Quelle protokolliert.

Fabric CRC-Fehlerbehebungsansatz

Neue Linecards (M2) und Fabric-Modul 2 (FAB2) erkennen CRCs in S1, S2 oder S3. Wenn Sie detailliert untersuchen und Muster in Fehler- und Protokollmeldungen finden, hilft dies bei der Isolierung der fehlerhaften Komponente.

Hier einige Fragen:

- War die Fehlermeldung ein einmaliges Ereignis oder wurden mehrere CRC-Fehlermeldungen protokolliert?

- Wie häufig werden die CRC-Fehlermeldungen protokolliert? (Jede Stunde, einmal am Tag, einmal im Monat)

- Sind die CRC-Fehler ALLE vom selben Eingangsmodul stammen?

- Werden alle CRC-Fehler auf demselben Ausgangs-Modul gemeldet?

- Werden CRC-Fehler von mehreren Eingangs-Modulen UND von mehreren Ausgangs-Modulen gemeldet?

- Wenn mehrere Module CRC-Fehler melden, gibt es ein gemeinsames Quellmodul oder ein XBAR-Modul?

Die Antworten auf diese Fragen ermöglichen es Ihnen, die Fehlerbehebung aus einem Blickwinkel anzugehen, der mit höherer Wahrscheinlichkeit zu einer schnelleren Problemlösung führt.

Allgemeine Richtlinien zur CRC-Fehlerbehebung

In diesem Abschnitt wird ein allgemeines Framework zur Behebung dieser Probleme festgelegt.

1. Suchen Sie nach den allgemeinen Modulen (einschließlich XBARs), die in den Fabric CRC-Fehlermeldungen gemeldet werden.

2. Nachdem Sie die allgemeinen Module gefunden haben, wählen Sie die wahrscheinlichste Ursache des Problems aus, fahren Sie die Software herunter (im Fall von XBAR), verschieben Sie sie in einen funktionierenden Steckplatz, setzen Sie sie wieder ein, und ersetzen Sie sie, während Sie das Gerät überwachen, um zu überprüfen, ob das Problem nicht mehr auftritt. Fahren Sie die Module nacheinander herunter, und setzen Sie sie wieder ein, und ersetzen Sie sie. Dies erleichtert die Isolierung des fehlerhaften Teils.

3. Wenn Sie ein Teil herunterfahren, verschieben, wieder einsetzen oder austauschen, achten Sie auf Änderungen der Symptome des Problems. Möglicherweise müssen Sie Ihren Aktionsplan überarbeiten, nachdem Sie von jedem Schritt mehr erfahren haben.

4. Wenn mehrere Teile ausgetauscht werden und das Problem weiterhin besteht, gehen Sie wie folgt vor:

- Die neuen Teile könnten schlecht sein.

- Mehrere XBARs können fehlerhaft sein.

- Ein falscher Chassis-Steckplatz kann die Ursache sein.

Anwenderberichte

Dieser Abschnitt enthält Beispiele für die Behebung ähnlicher Probleme.

Eingangsmodul beschädigt Pakete

Protokolle

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

Problem

Für einige Stunden werden CRC-Fehler auf M1 und Modul 3 (M3) beobachtet, die nur von Modul 7 (M7) stammen.

Wahrscheinliche Ursache des Problems

Es gibt eine fehlerhafte oder falsch sitzende XBAR, die Pakete zu M7 beschädigt, oder M7 ist fehlerhaft oder falsch sitzt.

Fehler beim Isolieren von Komponenten

1. Fahren Sie die XBARs bei der Überwachung einzeln herunter, um zu überprüfen, ob das Problem behoben ist.

2. Setzen Sie den Eingang M7 während der Überwachung wieder ein.

3. Ersetzen Sie den M7 während der Überwachung.

Wenn Sie drei XBARs installiert haben, erhalten Sie N+1-Redundanz. Sie können sie daher einzeln (niemals mehrere gleichzeitig herunterfahren) mit minimalen Auswirkungen herunterfahren, um zu sehen, ob das Problem gelöst ist. Geben Sie die folgenden Befehle ein, um diesen Vorgang abzuschließen:

N7K(config)# poweroff xbar 1

<monitor>

N7K(config)# no poweroff xbar 1

N7K(config)# poweroff xbar 2

<monitor>

N7K(config)# no poweroff xbar 2

N7K(config)# poweroff xbar 3

N7K(config)# no poweroff xbar 3

In dieser speziellen Fallstudie wurde das Problem nicht behoben, als die XBARs heruntergefahren wurden.

Da zwei Module CRC-Fehler melden, ist es unwahrscheinlich, dass diese beiden Module (M1 und M3) die Ursache sind. Der nächste Schritt besteht darin, M7 (Ingress-Modul) wieder einzusetzen, da es sich höchstwahrscheinlich um die fehlerhafte Komponente handelt. Fehlerhaft angeschlossene Linecards können dieses Problem verursachen. Es wird empfohlen, das Modul vor dem Austausch wieder einzusetzen.

In dieser Fallstudie wurden die CRC-Fehler nach dem erneuten Einsetzen von M7 weiter auf dem Fabric-Modul erhöht. Wenden Sie sich an das Cisco Technical Assistance Center (TAC) zu diesem Zeitpunkt (oder vor diesem Zeitpunkt), um M7 zu ersetzen, da das Problem durch einen erneuten Einsetzen nicht behoben werden kann.

In dieser Fallstudie wurde durch den Austausch von M7 die Fabric CRC-Fehlermeldungen gestoppt und der Paketverlust behoben.

Falsch sitzende XBAR-Injection-Pakete beschädigte Pakete

Protokolle

%OC_USD-SLOT11-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT12-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT13-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT15-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT2-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT4-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT5-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT7-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT8-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

Problem

Mehrere Module melden CRC-Fehler von Modul 12 (M12), das XBAR 3 durchläuft.

Wahrscheinliche Ursache des Problems

XBAR 3 ist defekt oder sitzt falsch, oder M12 ist falsch sitzend oder defekt.

Fehler beim Isolieren von Komponenten

1. Fahren Sie XBAR 3 während der Überwachung herunter.

2. Setzen Sie den Eingang M12 während der Überwachung wieder ein.

3. Ersetzen Sie M12 während der Überwachung.

In diesem Fall wird XBAR 3 mit dem zuvor beschriebenen Verfahren (in der ersten Fallstudie) geschlossen und auf weitere Fehler überwacht. Es wurde festgestellt, dass die Fehler nicht mehr auftraten, als XBAR 3 heruntergefahren wurde. An diesem Punkt wird XBAR 3 wieder eingesetzt, und es wird darauf geachtet, dass keine Pins auf der Midplane verbogen werden und das Modul korrekt eingesetzt wird. Nachdem XBAR 3 erneut aktiviert wurde, tritt das Problem nie wieder auf. Dieses Problem ist auf ein falsch sitzendes XBAR-Modul zurückzuführen.

Fehlerhaftes Ausgangsmodul beschädigt Pakete aus der Fabric

Protokolle

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from

MOD 1 or 2 or 7 or 13 or 17 through XBAR

slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with CRC error from

MOD 1 or 2 or 3 or 7 or 15 or 17 through XBAR

slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from

MOD 1 or 2 or 5 or 7 or 16 or 17 through XBAR

slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

Problem

Modul 6 (M6) meldet Pakete mit CRC-Fehlern, die von mehreren Linecards und XBARs empfangen wurden.

Wahrscheinliche Ursache des Problems

M6 ist falsch platziert oder schlecht.

Fehler beim Isolieren von Komponenten

1. Setzen Sie M6 während der Überwachung wieder ein.

2. Ersetzen Sie M6 beim Überwachen.

M6 ist die wahrscheinlichste Ursache dieses Problems, da es sich um die einzigen Module in allen Fehlermeldungen handelt. Von allen Modulen, die in den Fehlermeldungen aufgeführt sind, wird M6 am konsistentesten angezeigt. Versuchen Sie daher, M6 wieder einzusetzen, um zu überprüfen, ob das Problem behoben ist, bevor Sie es ersetzen.

In diesem Fall wird M6 wieder eingesetzt, die Fehler bestehen jedoch weiterhin. Sie müssen also ein Cisco TAC-Ticket öffnen, um M6 ersetzen zu lassen. Nach dem Ersetzen von M6 werden die Fehler nicht gemeldet.

Fehlerbehebung bei Befehlen

Im Folgenden finden Sie eine Liste der Befehle, die zur Fehlerbehebung bzw. zum Debuggen verwendet werden:

- Schauuhr

- mod xbar anzeigen

- Hardware-Fabric-Auslastungsdetails anzeigen

- Zeitstempel für Hardware-Fabric-Auslastungsdetails anzeigen

- show hardware internal xbar-driver all event-history errors

- show hardware internal xbar-driver all event history msgs

- Anzeigen systeminterner xbar-client-interner Ereignisverlaufmsmeldungen

- show system internal xbar all

- show module internal event history xbar 1

- Interne Aktivität des Moduls anzeigen xbar 1

- show module internal event history xbar 2

- show module internal activity xbar 2

- show module internal event history xbar 3

- show module internal activity xbar 3

- show module internal event history xbar 4

- show module internal activity xbar 4

- show module internal event history xbar 5

- show module internal activity xbar 5

- interne xbar mit Protokollierung anzeigen

- Anzeige der Protokollierung an Bord der internen Oktopus

- technische Details anzeigen