Identifizieren und Beheben von Fehlern im Zusammenhang mit CRC-Fehlern im UCS

Einführung

In diesem Dokument werden die wichtigsten Softwarefehler beschrieben, die dazu führen können, dass beschädigte Daten-Frames in eine Unified Computing System (UCS)-Fabric eingespeist werden, wie sie durch die Fehlerquellen "Cyclische Redundanz Check" (CRC) oder "Frame Check Sequence (FCS)" identifiziert werden.

Hinweis: In diesem Dokument wird nicht beschrieben, wie der Punkt der CRC-Injektion isoliert werden kann.

Hintergrundinformationen

In einer UCS-Umgebung können CRC-Fehler eine große Auswirkung haben. Die Isolierung und Behebung der Ursachen solcher Fehler muss mit hoher Priorität behandelt werden.

Die Auswirkungen hängen vom Punkt ab, an dem das Problem auftritt, der sich auf mehrere Chassis erstrecken und die Ethernet- und Storage-Konnektivität beeinträchtigen kann.

Während physische Komponentenausfälle (insbesondere Kabel und Small Form-Factor Pluggable (SFP)) die häufigste Ursache sind, gibt es bekannte Softwarefehler, die auch CRC-Fehler verursachen können.

Diese Fehler führen zu einer geringen Signalstärke zwischen verschiedenen Komponenten, was zu beschädigten Frames führt.

Ein Schlüsselkonzept, auf das Sie sich beziehen können, ist die Augenhöhe, die ein Maß für die Signalintegrität zwischen physischen Layer-Komponenten ist. Wenn der Signalpegel unter eine bestimmte Stufe fällt (Unterschiede zwischen den Komponenten), können Frames, die gesendet oder empfangen werden, beschädigt werden.

Cisco empfiehlt, dass Sie die häufigen Leistungsprobleme von FlexPod, insbesondere Frame- und Paketverluste, überprüft haben, um die Quelle nicht stomplizierter CRC-Fehler in der UCS-Fabric und/oder Upstream-Switches zu identifizieren.

Das Dokument ist zwar für FlexPod-Bereitstellungen vorgesehen, der erwähnte Abschnitt ist jedoch für nicht-FlexPod-UCS-Umgebungen geeignet.

Anzeichen auf CRC-bezogenen Defekt

Wenn Sie in Ihrer UCS-Umgebung Twinax-Kabel verwenden, ist es wahrscheinlicher, dass ein oder mehrere dieser Fehler die Ursache für diese Kabel sind, da die meisten Fehler bei Twinax-basierten Kabeln auftreten.

In Umgebungen, die nur über eine optische Verkabelung verfügen, können weiterhin Probleme auftreten, da zwischen Adapter und UCS E/A-Modul (IOM) CRC-Fehler injiziert werden können. Dies ist jedoch auf bestimmte Server beschränkt und betrifft bei Problemen mit dem Uplink- oder Server-Port nicht mehrere Server oder Chassis.

Wenn die Deaktivierung/Aktivierung eines Ports im UCS Manager Schnittstellenfehler ohne weitere Maßnahmen wie Kabelaustausch oder Wiedereinsetzen zu stoppen scheint, müssen weitere Überprüfungen durchgeführt werden, um zu überprüfen, ob ein Softwarefehler die Ursache des Problems ist.

Wenn CRC-Fehler nach plötzlichen Port-Flaps/-Reboots aufgetreten sind, können diese Fehler eine mögliche Ursache sein.

  

Befehle zum Überprüfen der Augenhöhe

Ein wichtiger Hinweis auf einen CRC-bezogenen Softwarefehler ist ein niedriger Augenhöhe-Wert für einen oder mehrere Ports.

Folgende allgemeine Befehle werden verwendet, um dies zu überprüfen:

Switches auf Basis des Nexus 5500:

show hardware internal carmel eye

UCS 6200 Fabric Interconnects:

connect nxos a

show hardware internal carmel eye

exit

connect nxos b

show hardware internal carmel eye

exit

Beispielausgabe mit guter Augenhöhe (200 mv):

UCSB-5-A(nxos)# show hardware internal carmel eye
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
| Port  | Eye Height | Eye Width   | Raw values | Time measured              |St|20|21|22|23|24|25|26|2E|2F|
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
Eth 1/1 | 200 mv     | 796 mUI     | 40/ 33     | 08/31/2016 16:48:52.345248 |a9|ee|82|00|00|6e|82|00|88|00|
    fi0 | 200 mv     | 843 mUI     | 40/ 36     | 08/31/2016 16:48:52.350360 |00|00|00|00|00|00|00|00|00|00|
    fi1 | 200 mv     | 859 mUI     | 40/ 37     | 08/31/2016 16:48:52.355470 |00|00|00|00|00|00|00|00|00|00|

Auf diesen Plattformen, wenn der Wert:

• Unter 50 mV wurden CRC-Fehler ausgelöst.
• 50 - 100 mV, kann es zu CRC-Fehlern führen, und es wird empfohlen, eine entsprechende Abwehr vorzunehmen.
• > 100 mV, keine CRC-Fehler verursachen

Die oben genannten Befehle gelten nicht für 6332, 6454 oder 6324 Fabric Interconnects.

UCS 2200 IOM-Module:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software woodside sts (Note: The HI number/s for the servers that you need to check)

dbgexec woo
kr_geteye HIxx

Ctrl-C to exit dbgexec mode

Beispielausgabe mit guter Augenhöhe (125 mV):

woo> kr_geteye HI31
[serdes] reg: 64/40h = 42ch
check_kr_status: HI31: up (kr_retries=0)
sent SPICO interrupt(20, 0, 49)
Vertical eye result 0x14
sent SPICO interrupt(20, 0, 49)
Horizontal eye result 0x28
HI31: 125.0 mV, 0.6250 UI (NORM)

UCS 2300 E/A-Module:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software tiburon sts (Note the HI number/s for the servers you need to check)

dbgexec tib
kr_geteye 0 HIxx

Ctrl-C to exit dbgexec mode

Beispielausgabe mit guter Augenhöhe (156 mv):

tib> kr_geteye 0 HI31
Start eye measurement HI31...
bottom: -73.5 (mV), top: 82.7 (mV), height: 156.2 (mV)
left: -0.34 (UI), right: 0.33 (UI), width: 0.69 (UI)
total time = 0.119456 sec

Auf diesen Plattformen, wenn der Höhenwert

• Unter 90 mV wurden CRC-Fehler ausgelöst.
• > 90 mV, CRC-Fehler dürfen nicht ausgelöst werden.

Fehler

Fabric Interconnect

• CSCuo76425 Beobachten des CRC-Fehlers beim Kupferkabel

Dieser Fehler tritt bei Fabric Interconnect-Ports wie Uplink- und Server-Ports auf.

Sie ist in UCS-Infrastruktur 2.2(3a) behoben. Weitere feste Versionen finden Sie im Bug Search Tool.

• Nahezu identischer Fehler, der sich später auf die UCS-Firmware auswirkt:

CSCuw36398 Beobachten von CRC-Fehlern beim Kupferkabel

Dieser Fehler tritt bei Fabric Interconnect-Ports wie Uplink- und Server-Ports auf.

Sie ist in der UCS-Infrastruktur 2.2(7b) festgelegt. Weitere behobene Versionen finden Sie im Bug Search Tool.

IOM und Adapter

• CSCuz78417 Serdet eine Augenhöhe zwischen IOM und VIC unter 90 mV.
  

Dieser Fehler wird zwischen IOM-Host-Schnittstellen (HIF) und Adaptern-Backplane-Schnittstellen beobachtet.

Seitdem wurde festgestellt, dass dies durch Chassis-Backplane-Probleme verursacht werden kann. Wenn Sie dieses Problem beobachten, öffnen Sie eine Serviceanfrage beim Cisco TAC.

• CSCva47085 VIC1340+2304 IOM Schulung zu nativen 40g-Verbindungen verursacht Verbindungsverlust

Dieser Fehler tritt zwischen IOM HIF und Adaptern auf, was sich auf die einzelnen Server auswirkt.

Derzeit wird geprüft.

C-Serie

• CSCux31002 VIC 1227 zeigt CRCs, wenn Sie ein aktives TwinAx-Kabel verwenden.

In Standalone-Firmware der C-Serie 2.0(9c) behoben. Weitere behobene Versionen finden Sie im Bug Search Tool.

Der Auslösungszustand dieses Fehlers ist die Umkehrung der gängigen Meinung, dass Active Twinax aufgrund seiner aktiven Stromübertragung weniger wahrscheinlich CRC-Probleme verursacht.

Nexus 5500

• CSCuj86736 Notwendigkeit zur Optimierung der DFE-Optimierung in Switches der Serie 55xxUP - RX CRC-Fehler

Obwohl es sich nicht ausschließlich um einen UCS-Fehler handelt, wird dieser dennoch häufig in UCS-Setups verwendet, da der Nexus 55xx-Upstream vorkommt. Detaillierte Informationen über behobene Versionen finden Sie im Bug Search Tool.

Problemumgehungen/Problembehebung

Genaue Details finden Sie im Release-Hinweis für jeden Fehler. Wenn Sie jedoch Hinweise auf eine niedrige Augenhöhe gefunden haben, dann ist "shutdown/no shutdown" für den Port vernünftig.

Bei einem IOM/Adapter-Eye Height-Fehler kann ein Zurücksetzen des DCE in der Schnittstelle durchgeführt werden. Navigieren Sie zu Server > Adapter > DCE Interface > Reset Connectivity (Verbindung zurücksetzen), falls erforderlich.

Die Ausgabe muss dann überprüft werden, ob die Augenhöhe auf gute Werte erhöht wurde und ob die CRC-Zähler nicht mehr erhöht wurden.

Um die Augenhöhe ausreichend zu erhöhen, können mehrere Flaps (in der Regel bis zu 5) benötigt werden.

Wenn die Augenhöhe nach mehreren Verbindungs-Flaps nicht wiederhergestellt wird, kann die Komponente einen Hardwarefehler aufweisen.

Wenn Sie Ports als Flapping verwenden, beachten Sie, dass dies eine flache Erkennung durch UCS Manager auslösen kann.

Eine flache Erkennung unter normalen Umständen hat keine Auswirkungen auf die Datenebene. Es gibt jedoch bekannte Fehler, die B200-M4 Blades betreffen (der häufigste Fehler ist CSCut61527). Eine oberflächliche Erkennung kann zu einer tiefen Erkennung werden, die einen Neustart des Host-Betriebssystems auslösen kann.

Cisco empfiehlt, die Versionshinweise für Ihre UCS Manager-Version auf andere zutreffende Fehler zu überprüfen.

Neben dem manuellen Port-Flapping als reaktiven Wiederherstellungsschritt können UCS Policy-Based Port Error Handling in UCS Manager 2.2(4) und höher verwendet werden, um NIF-Ports zu deaktivieren, wenn CRC-Fehler auftreten. Diese Aktion kann zwar die Auswirkungen von CRC-Fehlern schnell begrenzen, kann jedoch zu Unterbrechungen des Datenverkehrsflusses führen. Sie ist daher standardmäßig nicht aktiviert, und bei Aktivierung ist Vorsicht geboten.

UCS Manager generiert Fehler für CRC-Fehler, die über XML API oder Simple Network Management Protocol (SNMP) überwacht werden können.