Nexus 7000 fabric CRC fouten problemen oplossen

Inleiding 

Dit document beschrijft hoe u wasfouten kunt oplossen die zijn gemeld in het Cisco Nexus 7000-platform. Een probleemoplossing bij de controle op redundantie van de weefsels (CRCs) omvat de verzameling van gegevens, gegevensanalyse en een eliminatieproces om de probleemcomponent te isoleren. Dit document bevat de meest voorkomende fouten in de weefsels.

Fabric CRC-detectie - Overzicht

Hier is een schema op hoog niveau van een Nexus 7018 fabric module met M1 lijnkaarten:

 

 

De vorige afbeelding geeft een overzicht van de betrokken onderdelen wanneer een pakje door een weefselmodule loopt. Fase 1 (S1), Fase 2 (S2), en Fase 3 (S3) zijn de drie fasen van het Nexus 7000 fabric, Octopus is de rijmachine, Santa Cruz (SC) is het stof ASIC, en Instantie 1 en 2 zijn de twee SC instanties op de XBAR. In dit document wordt slechts één XBAR gebruikt. Denk eraan dat de meeste switches van de Nexus 7000 Series drie of meer XBAR's hebben geïnstalleerd.

Aangenomen dat een unidirectionele stroom van module 1 (M1) naar module 2 (M2) aanwezig is, voert de ingang Octopus-1 op M1 foutcontroles uit op pakketten die zij uit het zuiden ontvangt en de uitgang Octopus-1 op M2 uit het noorden. Als CRC wordt gedetecteerd in S3, kan er ook een probleem zijn opgetreden in S1 of S2, omdat er in die fasen geen CRC-controle wordt uitgevoerd. Dus de apparaten die betrokken zijn bij het pad zijn de ingress Octopus, chassis, dwarsbalkstof en de stress Octopus.

In M1/Fab1-architectuur worden CRC's alleen gedetecteerd op de ress linecard (S3).

Hier is een voorbeeldfoutmelding:

%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with
 CRC error from MOD 15 through XBAR slot 1/inst 1

Dit wordt gemeld door M1, dat aangeeft dat het pakketten met de verkeerde CRC van module 15 (M15) heeft ontvangen via XBAR sleuf 1/instantie 1.

Bekijk de verschillende fabric-fouten

In dit gedeelte worden vier van de meest voorkomende soorten fabric-fouten beschreven.

• CRC-fout met één bronmodule, ontvangt module en XBAR-instantie:

  %OC_USD-SLOT1-2-RF_CRC: OC1 received packets with
   CRC error from MOD 15 through XBAR slot 1/inst 1

  Dit betekent dat de module in sleuf 1 een CRC-fout van M15 heeft gedetecteerd door middel van XBAR sleuf 1/instantie 1. De module waar de CRC-fouten ontstaan wordt aangeduid als de ingress-module (M15 in dit geval) en de module die het probleem heeft gerapporteerd is de strips-module (M1). XBAR 1 is de kruisbalk waarin het pakket is ontvangen. Er zijn twee gevallen per XBAR. In dit geval, ontdekte M1 CRC-fouten van M15 door XBAR sleuf 1.
  
  
• CRC-fout met één bronmodule, ontvangt module maar geen XBAR-instantie:

  %OC_USD-SLOT4-2-RF_CRC: OC2 received packets with
   CRC error from MOD 1

  In dit bericht rapporteerde module 4 (M4) de CRC-fout van M1. Merk op dat de XBAR-informatie ontbreekt. Het systeem kan de XBAR die het pakje heeft overgelopen niet achterhalen. Er zijn veel redenen, maar de meest voorkomende zijn: Mogelijk is de informatie in de weefselkop van het pakket beschadigd, zodat de bronmodule niet kan worden bepaald. De XBAR die is overschreden, wordt uit het systeem verwijderd sinds de fout is toegenomen. Het bericht werd dus niet in het uurssyslog vermeld.
  
  
• CRC-fout zonder ontvangstmodule:

  %OC_USD-2-RF_CRC: OC1 received packets with
   CRC error from MOD 16 through XBAR slot 1/inst 1

  In dit geval werd een CRC van module 16 (M16) door XBAR 1 gedetecteerd. Er is echter geen ontvangermodule. Wanneer de supervisor (SUP) een CRC detecteert die uit de weefselmodule komt, is de informatie over de sleuf niet vastgelegd. Wanneer u geen sleufinformatie ziet, heeft SUP het probleem gedetecteerd. Dit betekent niet dat de SUP slecht is. Net zoals de module het probleem meldt, zijn er meerdere onderdelen die het probleem kunnen hebben veroorzaakt: M16, het chassis (niet zo waarschijnlijk), XBAR 1 of de SUP.
  
  
• CRC-fout met meerdere mogelijke bronmodules:

  %OC_USD-SLOT6-2-RF_CRC: OC2 received packets with
   CRC error from MOD 11 or 12 or 14 or 15 or 16 or 17 or 18

  De bronmodule is afgeleid van het ingekapselde Octopus die het slechte pakket heeft gekocht. Het stuurprogramma dat een onderbreking opheft om deze foutmelding te loggen, kent niet altijd de ingeslagen octopus van waaruit het slechte pakket is ontstaan. Dit komt doordat sommige bits die gebruikt worden om het ingesloten octopus weer te geven, niet gebruikt worden. Als het systeem meerdere modules vaststelt waarbij deze ongebruikte bits worden ingeschakeld, moet het systeem ervan uitgaan dat één van deze elementen de bron kan zijn, waardoor de foutmelding alle van deze modules omvat. Het systeem ontdekte dat module 13 (M13) dit conflict niet kan hebben omdat die bits niet worden gebruikt; daarom wordt het niet geregistreerd als potentiële bron .

Fabric CRC-benadering voor probleemoplossing

Nieuwe linecards (M2) en weefselmodule 2 (FAB2) detecteren CRC's in S1, S2 of S3. Wanneer u in detail onderzoekt en patronen in de mislukking- en logberichten vindt, helpt het de defecte component te isoleren.

Hier volgen een paar vragen:

• Was het foutbericht een eenmalige gebeurtenis of zijn er meerdere CRC-foutmeldingen geregistreerd?
• Hoe vaak worden de CRC-foutmeldingen vastgelegd? (Elk uur, één keer per dag, één keer per maand?)
• Komen de CRC-fouten ALLEMAAL voort uit dezelfde ingangsmodule?
• Zijn de CRC-fouten ALLEMAAL gerapporteerd op dezelfde strips?
• Zijn de CRC-fouten van meerdere ingangsmodules en zijn ze gerapporteerd over meerdere strips?
• Als meerdere modules CRC fouten rapporteren, is er dan een gemeenschappelijke bronmodule of XBAR module?

De antwoorden op deze vragen staan u toe om de procedure van de probleemoplossing te benaderen vanuit een hoek die waarschijnlijk tot een snellere oplossing zal leiden.

Algemene richtlijnen voor probleemoplossing van CRC

In deze paragraaf wordt een algemeen kader vastgesteld dat wordt gebruikt om deze problemen op te lossen.

1. Zoek de gebruikelijke modules (inclusief XBARs) die in de stof CRC foutmeldingen worden gerapporteerd.
2. Nadat u de gebruikelijke modules hebt gevonden, kies de meest waarschijnlijke oorzaak van het probleem, sluit (in het geval van XBAR), verplaats het naar een bekende sleuf die werkt, hervat en vervang het terwijl u controleert om te controleren of het probleem verdwijnt. Sluit, hergebruik en vervang modules één voor één. Hierdoor wordt het gemakkelijker om het defecte onderdeel te isoleren.
3. Wanneer u een onderdeel sluit, beweegt, hereet of vervangt, zoek dan alle veranderingen in de problematische symptomen. Misschien moet u uw actieplan herzien nadat u meer van elke stap hebt geleerd.
4. Als meerdere onderdelen worden vervangen en het probleem blijft bestaan, dan:
   
   
   • De nieuwe onderdelen kunnen slecht zijn.
   • Meerdere XBAR's kunnen slecht zijn.
   • Een slechte sleuf kan de oorzaak zijn.

casestudy’s

Deze sectie geeft voorbeelden van hoe u soortgelijke problemen kunt oplossen.

IP-vergadermodule Hiermee corrumpeert u de pakketten

Logs

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7
%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7
%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7
%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7
%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7
%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

Probleem

Een paar uur lang worden er CRC-fouten gezien op M1 en module 3 (M3) die uitsluitend afkomstig zijn van module 7 (M7). 

Mogelijke oorzaak van het probleem

Er is een slechte of verkeerd gepositioneerde XBAR die pakketjes naar M7 corrumpeert, of M7 is slecht of verkeerd gepositioneerd.

Isoleer voor foutieve componenten

1. Sluit de XBARs één voor één terwijl u controleert om te bevestigen of het probleem is opgelost.
2. Herhaal de ingang M7 terwijl u controleert.
3. Vervang de M7 terwijl u controleert.

Als u drie XBAR's hebt geïnstalleerd, geeft dit redundantie van N+1. Daarom kunt u ze één voor één afsluiten (nooit meer dan één op een bepaald moment afsluiten) met slechts een minimale impact om te zien of het probleem is opgelost. Voer deze opdrachten in om dit proces te voltooien:

N7K(config)# poweroff xbar 1

<monitor>

N7K(config)# no poweroff xbar 1
N7K(config)# poweroff xbar 2

<monitor>

N7K(config)# no poweroff xbar 2
N7K(config)# poweroff xbar 3
N7K(config)# no poweroff xbar 3

In dit specifieke casestudy werd het probleem niet opgelost toen de XBARs werden gesloten.

Aangezien er twee modules zijn die CRC-fouten rapporteren, is het onwaarschijnlijk dat deze twee modules (M1 en M3) de oorzaak zijn. De volgende stap is om M7 (INGress Module) opnieuw in te zetten, omdat dit waarschijnlijk de foutieve component is. Mis-seated linecards kan dit probleem veroorzaken, en het wordt aanbevolen de module te herhalen vóór vervanging.

In deze casestudy’s zijn CRC-fouten blijven toenemen op de weefselmodule na een herhaling van M7. Neem op dit punt (of vóór dit punt) contact op met het Cisco Technical Assistance Center (TAC) om M7 te vervangen omdat een herhaling het probleem niet oplost.

In deze casestudie beëindigde de vervanging van M7 de stof CRC foutmeldingen en lost deze het pakketverlies op.

MS-Seated XBAR injecteert corrupte pakketten

Logs

%OC_USD-SLOT11-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT12-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT13-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT15-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT2-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT4-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT5-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT6-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT7-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1
%OC_USD-SLOT8-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

Probleem

Meervoudige modules rapporteren CRC-fouten van module 12 (M12) die door XBAR 3 gaan.

Mogelijke oorzaak van het probleem

XBAR 3 is slecht of niet correct gepositioneerd, of M12 is verkeerd gepositioneerd of defect.  

Isoleer voor foutieve componenten

1. Sluit XBAR 3 terwijl u controleert.
2. Herhaal de ingang M12 terwijl u controleert.
3. Vervang M12 terwijl u controleert.

In dit geval wordt XBAR 3 afgesloten met de eerder beschreven procedure (in de eerste casestudy) en gecontroleerd op verdere fouten. Er werd vastgesteld dat de fouten zijn gestopt toen XBAR 3 werd gesloten. Op dit punt wordt XBAR 3 opnieuw ingesteld en er wordt op toegezien dat er geen spelden op het middenvlak worden gebogen en dat de module op de juiste manier wordt ingebracht. Nadat XBAR 3 is hersteld, treedt het probleem nooit meer op. Dit probleem wordt toegeschreven aan een XBAR-module die niet goed is ontworpen.

Geen uitvalmodule zorgt voor fouten in pakketten van de fabric

Logs

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from
 MOD 1 or 2 or 7 or 13 or 17 through XBAR 
 slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with CRC error from
 MOD 1 or 2 or 3 or 7 or 15 or 17 through XBAR
 slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from
 MOD 1 or 2 or 5 or 7 or 16 or 17 through XBAR
 slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

Probleem

Module 6 (M6) rapporteert pakketten met CRC fouten die van meerdere linecards en XBARs worden ontvangen.

Mogelijke oorzaak van het probleem

M6 is verkeerd gepositioneerd of slecht.

Isoleer voor foutieve componenten

1. Herhaal M6 terwijl u controleert.
2. Vervang M6 terwijl u controleert.

M6 is de meest waarschijnlijke oorzaak van deze kwestie, omdat het de enige gemeenschappelijke modules is in alle foutmeldingen. Van alle modules in de foutmeldingen is M6 het meest consequent. Probeer daarom M6 opnieuw in te voeren om te zien of het probleem is opgelost voordat u het vervangt.

In dit geval wordt M6 opnieuw ingesteld, maar de fouten blijven bestaan. U moet dus een Cisco TAC-case openen zodat M6 wordt vervangen. Nadat M6 is vervangen, worden de fouten niet gerapporteerd.

Opdrachten voor probleemoplossing

Dit is een lijst van de opdrachten die worden gebruikt om problemen op te lossen/te oplossen:

• toonklok
• mod xbar tonen
• details over het gebruik van hardware-stoffen tonen 
• Tijdstempel voor het gebruik van hardware-fabric-details tonen
• tonen hardware interne xbar-chauffeur alle fouten van de voorgeschiedenis
• tonen hardware interne xbar-chauffeur alle msgs uit de voorgeschiedenis
• msg (interne gebeurtenis) van het systeem intern van de xbar-cliënt tonen
• systeeminterne xbar tonen allen
• module interne gebeurtenis-historie xbar 5 tonen
• zie module interne activiteit xbar 1
• zie module interne gebeurtenis-historie xbar 2
• zie module interne activiteit xbar 2
• module interne gebeurtenis-historie xbar 3 tonen
• zie module interne activiteit xbar 3
• module interne gebeurtenis-historie xbar 4 tonen
• zie module interne activiteit xbar 4
• module interne gebeurtenis-historie xbar 5 tonen
• tonen van interne activiteit van de module xbar 5
• houtkap aan boord interne xbar
• houtkap aan boord van een interne octopus tonen
• technische details tonen

Revisiegeschiedenis