Inhoud

Inleiding

Voordat u begint

Conventies

Voorwaarden

Gebruikte componenten

Achtergrond

Symptomen

Probleemoplossing

Handig debug en tonen opdrachten

Om te verzamelen informatie als u een TAC-case opent

Gerelateerde informatie

Inleiding

Dit document legt uit hoe u problemen kunt oplossen bij het draaien van tijdelijke instellingen en fouten op de Cisco 12000 Series Internet Router. De volgende foutmeldingen geven aan dat de fouten niet zijn uitgevoerd:

%GRP-3-FABRIC_UNI: Unicast send timed out (3)

en

%GRP-3-COREDUMP: Core dump incident on slot 3, error: Fabric ping failure (seq:29192)

Voordat u begint

Conventies

Zie de Cisco Technical Tips Convention voor meer informatie over documentconventies.

Voorwaarden

Er zijn geen specifieke voorwaarden van toepassing op dit document.

Gebruikte componenten

De informatie in dit document is gebaseerd op de onderstaande hardwareversie.

- Cisco 12000 Series internet-routers

De informatie in dit document is gebaseerd op apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als u in een levend netwerk werkt, zorg er dan voor dat u de potentiële impact van om het even welke opdracht begrijpt alvorens het te gebruiken.

Achtergrond

De GRP- en lijnkaarten (LCs) in Cisco 12000 Series Internet Router verbinden door een dwarsbalkswitchfabric, die een snel fysiek pad voor de meeste interkaartcommunicatie biedt. Onder de berichten die tussen de GRP- en de lijnkaarten over de switch worden doorgegeven, zijn inbegrepen de daadwerkelijke pakketten die worden verzonden en ontvangen, informatie, verkeersstatistieken en de meeste beheer- en controle-informatie. Daarom is het belangrijk dat de GRP ervoor zorgt dat dit pad correct werkt.

Fabric pings is een van de vier toepassingen die tussen het GRP en de switchfabric lopen. Inter-Processor Communication (IPC), netwerkpakketten en codedownloads zijn de andere. Fabric-pings worden geïmplementeerd om een deel van een storingsdetectiealgoritme te bieden en een mechanisme te behouden dat wordt geïmplementeerd met behulp van buffers op de onderhoudslijn (MBUS) en pings door de interface van de lijnkaartfabric.

De Fabric Interface van Cisco Cell Segmentation and Reassembleren (CSAR) bestuurders op de GRP-handgreep die tussen de switchfabric en de GRP worden verzonden en ontvangen. Hier zijn ook stofpings. Fabric-pings worden gegenereerd door software en worden elke zes seconden vanuit het primaire GRP naar elke lijnkaart verzonden. Telkens wanneer een lijnkaart een ping-verzoek van de GRP ontvangt, stuurt de LC een antwoord naar de GRP. Als de GRP geen antwoord ontvangt op vijf opeenvolgende pings (30 seconden totale tijd), wordt de lijnkaart dood verklaard en opnieuw geplaatst via de onderhoudstechnicus (MBUS).

Meestal is de lijnkaart te druk om te reageren op de stof ping-verzoeken van de GRP. Deze materiaal ping-fouten kunnen ook veroorzaakt worden door een defecte stof of een bug in de Cisco IOS® software. Alle mogelijke oorzaken van fouten in het materiaal worden gedetailleerd in de onderstaande sectie voor probleemoplossing beschreven.

Time-outs van fabric ping komen voor wanneer de Gigabit Route Processor (GRP) detecteert dat een ping-verzoek in de ToFab-wachtrij (naar de switchfabric) van Cisco Cell Segmentation and Reassembleren (CSAR) toepassingsspecifiek geïntegreerd circuit (ASIC) is vastgezet. Deze ASIC is verantwoordelijk voor het in plakken snijden van de pakketten in Cisco Cellen voordat ze door de switchfabric naar de uitvoerlijnkaart (LC) worden verzonden.

Fabric pingelen fouten gebeuren wanneer een lijnkaart of het secundaire GRP niet reageert op een verzoek om weefsel te pingelen van het primaire GRP over de switchfabric. Zulke fouten zijn een probleemsymptoom dat moet worden onderzocht.

Symptomen

Zoals wordt uitgelegd in het gedeelte Background, wordt er elke zes seconden een doekje naar de lijnkaarten gestuurd, en moeten de lijnkaarten reageren. Wanneer GRP geen antwoord op vijf opeenvolgende pings van de fabric ontvangt, stelt het de lijnkaart terug door een verzoekbericht over de onderhoudsbus (MBUS) te verzenden, en meldt een software-gedwongen krach, zoals gezien in de uitvoer van de show van de contextsleuf {#} bevel.

Van de console logbestanden of de opdracht Show log krijgt u de volgende foutmeldingen voordat de stof ping error bericht:

%GRP-3-FABRIC_UNI: Unicast send timed out (3)

%GRP-3-FABRIC_UNI: Unicast send timed out (3)

%GRP-3-FABRIC_UNI: Unicast send timed out (3)

waar het nummer (3) de sleuf van de lijnkaart vertegenwoordigt waar de primaire GRP een doekje naar toe probeerde te sturen.

Dit bericht geeft aan dat een pakje in de ToFab wachtrij van CSAR ASIC op het primaire GRP zit. Als iets meer dan 100 milliseconden (msecs) in een van de twee CSAR-buffers vastzit, wordt de buffer gespoeld en wordt een tijdelijke bericht gegenereerd.

Als GRP zijn fabric ping request-bericht verstuurt, maar de lijnkaart niet antwoordt, of de lijnkaart antwoordt maar de switchfabric is defect zodat het bericht verloren gaat, dan ziet u dit bericht niet voordat de stof ping-foutmelding krijgt. Om die reden, als je de foutmelding "%GRP-3-FABRIC_UNI" krijgt, betekent dit dat er voor 100 of 200 msecs niets over het weefsel kan worden verzonden. Het kan zijn dat, door de %GRP-3-FABRIC_UNI, u de reservekopieën niet naar de LC kunt sturen en dat u uiteindelijk met een ping van de stof na, in dit geval, 30 seconden, eindigt. U kunt echter fouten in het weefsel krijgen zonder "%GRP-3-FABRIC_UNI" en vice versa.

Het primaire GRP kan bepalen dat een lijnkaart of secundair GRP is afgenomen tot een punt dat een diagnostische kern-stortplaats geschikt is. Op dat moment stuurt het GRP-bericht via de MBUS-lijnkaart en vraagt het CPU-lijnkaart om te crashen, zodat een kernvuilnisbelt kan worden verkregen.

%LCINFO-3-CRASH: Line card in slot 3 crashed

%GRP-3-COREDUMP: Core dump incident on slot 3, error: Fabric ping failure (seq:29192)

De lijnkaart creëert de kernstop als deze met de uitzondering crashinformatie en verwante opdrachten is geconfigureerd (zie Een Core Dump configureren op een GSR lijnkaart voor GSR-specifieke informatie over het configureren van kerndumps). De kwalificerende string in de output van de show contextsleuf {#} opdracht geeft de herlaadreden aan. Bij een defect aan de stof is de reden altijd "softwaregedwongen crash".

CRASH INFO: Slot 1, Index 1, Crash at 00:42:45 KST Mon Mar 12 2001

VERSION:

GS Software (GLC1-LC-M), Version 12.0(18)ST, EARLY DEPLOYMENT RELEASE SOFTWARE (fc1)

TAC Support: http://www.cisco.com/tac

Compiled Thu 09-Aug-01 22:06 by nmasa

Card Type: 2 Ports OC3 Channelized to DS1/E1 , S/N CAT00400500

System exception: sig=23, code=0x24,

! --- SIG=23 indicates a software-forced crash.

context=0x41303B04

System restarted by a Software forced crash

STACK TRACE:

-Traceback= 400C3970 400C1F90 40815D5C 407D3144 400C7488

Na het crashen van de lijnkaart wordt een eerste bericht gestuurd om de primaire GRP-scherm op de hoogte te stellen. Het GRP wacht dan op de lijnkaart om andere informatie over de crash door de MBUS te sturen. Het GRP zou volledige informatie binnen een paar milliseconden na het ontvangen van het eerste bericht van de lijnkaart moeten ontvangen. In het onwaarschijnlijke geval dat de volgende crashinformatie-berichten niet binnen een redelijke termijn (10 seconden) door de Filippijnse regering worden ontvangen, drukt de GRP een foutmelding af en vertelt de rest van de GRP-software dat de lijnkaart is neergestort.

Probleemoplossing

Tijdens normale router operatie, pingelt het primaire GRP voortdurend de lijnkaarten en de lijnkaarten reageren. Elke ping-mislukking is een symptoom van een ander probleem dat moet worden onderzocht. Deze problemen omvatten:

- Probleem met lijnkaart

- Probleem met switchingfabric

- Probleem met GRP

- Bekende problemen met IPC

- Bekende problemen met Cisco Express Forwarding (CEF)

N.B.: Als de fout kan worden gereproduceerd, moet u geen service automatisch resetten op het GRP. Deze opdracht schakelt een herlading van de lijnkaart uit bij de volgende ping-storing en stelt u in staat om aan de lijnkaart vast te maken met de opdracht < sleuf#> om relevante show-opdrachten op te nemen.

Probleem met lijnkaart

- De meest waarschijnlijke reden zou een Cisco IOS softwarebug kunnen zijn waarin een proces onderbrekingen lang genoeg inschakelt om vijf opeenvolgende materiaal pings te missen. Probeer te verbeteren naar de nieuwste Cisco IOS-softwarerelease in uw trein om opgeloste problemen te voorkomen. Zie voor upgradeassistentie het gedeelte Cisco Download Software.

- De lijnkaart kan te lang rugdruk uitoefenen, dus de planner laat geen verkeer ontvangen van de switchfabric. Dit symptoom duidt op een probleem met interfacecongestie. Gebruik de volgende opdrachten om deze symptomen te bevestigen:

- Bestuurder frfab wachtrij op de lijnkaart tonen. Zoek een niet-IPC vrije rij met weinig of geen beschikbare buffers.

- tonen controllers csar wachtrij opdracht op de GRP. Let op niet-nulwaarden voor "Max Lengte" en voor "Max Lengte" gelijk aan "Lengte", zoals weergegeven in de volgende steekproefuitvoer:

router#show controllers csar queue

1190 Free Q

Slot Length Max Length

0     0      7

1     0      2

2    70     70

! -- CSAR queue for slot 2 is building and reaching max length.

3     0      2

4     0      3

5     0      0

...

CSAR stelt tot 50 pakketten in op een doellijnkaart. Na 50 pakketten worden alleen pakketten voor het wassen van weefsels in de wachtrij geplaatst. Als de wachtrijlimiet vervolgens wordt verhoogd naar 70, houdt het CSAR op om alle pakketten - inclusief materiaal- pings - in de wachtrij voor de lijnkaart te plaatsen. Zowel het GRP als alle lijnkaarten hebben 64k CSAR segmentatiebuffers waarin berichten worden opgeslagen. Als deze buffers bezig zijn, gebruikt de router een software hold wachtrij om de berichten op te slaan. Tevens wordt een timer ingesteld om er zeker van te zijn dat wasberichten niet te lang in deze rij blijven staan.

- Hoog CPU-gebruik op de lijnkaart - vaak gezien tijdens herberekening van een grote Cisco Express Forwarding (CEF)-tabel na een enorme routingtabelwijziging of na een link-flap en Border Gateway Protocol (BGP)-sessie opnieuw ingesteld. De CPU kan ook hoog zijn bij het overschakelen van verkeer in software. Dit gebeurt voornamelijk op Engine 0 lijnkaarten waar de meeste functies in software worden geïmplementeerd. Als dit probleem zich voordoet, kunt u de configuratie van de lijnkaart controleren en de functies verwijderen die de CPU’s kunnen beïnvloeden op engine 0 LC. Een hoog CPU-gebruik kan ook worden veroorzaakt door een bug. Bepaal het CPU-gebruik met de opdracht <sleuf#> sleuf#-on tonen proc cpu-opdracht of sleuf <sleuf#>uitvoeren" indien de vorige opdracht niet wordt ondersteund in de Cisco IOS-softwareversie die op de router actief is. Overweeg een upgrade naar de nieuwste Cisco IOS-softwarerelease in uw trein om bekende problemen aan te pakken.

- De lijnkaart loopt op Interproces Communication (IPC)-buffers, die worden gebruikt om controleberichten tussen de lijnkaarten en het GRP uit te wisselen. Zie de stappen voor het oplossen van problemen in foutmeldingen met probleemoplossing voor CEF. Als uw problemen oplossen bij een probleem met IPC wijst, zorg er dan voor dat uw Cisco 12000 Series Internet Router een minimum van Cisco IOS-softwarerelease 12.0(18)S heeft. Deze release heeft een grotere standaardgrootte van 5000 geïntroduceerd voor het IPC cache om de stabiliteit en schaalbaarheid te vergroten.

- Hardware-probleem op de lijnkaart. Het is belangrijk om op te merken dat minder dan 10% van de fouten in het weefsel het gevolg zijn van een hardwareprobleem. Voordat u contact opneemt met de Cisco TAC om vervangende hardware te vragen, probeert u de volgende stappen:

1. Bekijk de IPC timeout berichten gedrukt voor de stof ping mislukking. Zie ook de IPC sectie hieronder.

2. Herhaal de lijnkaart.

3. Stroomprogramma van de router.

4. Als u geen fysieke toegang tot de router hebt, voert u de opdracht voor het opnieuw laden van de sleuf <sleuf #> uit om de lijnkaart handmatig te herladen.

Probleem met switchingfabric

Het hart van Cisco 12000 Series Internet Router is het circuitsysteem van de switchfabric, dat gesynchroniseerde Gigabit snelheid interconnects voor de lijnkaarten en het GRP biedt. Het schakelsysteem bevat twee soorten kaarten:

- Klokkaart en plannerkaarten (CSC’s)

- Switch Fabric-kaarten (SFC’s)

Als een van deze kaarten faalt, kunnen de ping boodschappen niet langer door het weefsel heen gaan. In dit geval dient u ook andere berichten te zien die wijzen op de defecte stof, zoals:

%FABRIC-3-CRC: Switch card 18

Gebruik de opdracht Show controllers om te bepalen of u een slechte CSC of SFC hebt. Gebruik de executie-on al show controllers fia opdracht om uitvoer van alle lijnkaarten op te nemen. Vergelijk de uitvoer van het GRP met de uitvoer van de lijnkaarten om te bepalen of een defecte switchfabric-kaart moet worden vervangen.

De volgende voorbeelduitvoer wijst op een probleem met sfc0 in sleuf 18. Probeer eerst deze kaart opnieuw in te voeren en vraag vervolgens om vervanging als de foutteller crc16 blijft toenemen.

Router#show controllers fia

Fabric configuration: Full bandwidth redundant

Master Scheduler: Slot 17

From Fabric FIA Errors

-----------------------

redund FIFO parity 0   redund overflow 0     cell drops 1

crc32 lkup parity  0   cell parity     0     crc32      0

Switch cards present    0x001F  Slots  16 17 18 19 20

Switch cards monitered  0x001F  Slots  16 17 18 19 20

Slot:     16         17         18         19         20

Name:    csc0       csc1       sfc0       sfc1       sfc2

--------   --------   --------   --------   --------

Los    0          0          0          0          0

state  Off        Off        Off        Off        Off

crc16  0          0          4334       0          0

! --- Check the CRCs under SFC0 (slot 18)

To Fabric FIA Errors

-----------------------

sca not pres 0          req error     0          uni FIFO overflow 0

grant parity 0          multi req     0          uni FIFO undrflow 0

cntrl parity 0          uni req       0          crc32 lkup parity 0

multi FIFO   0          empty DST req 0          handshake error   0

cell parity  0

Probleem met GRP

In sommige rapporten van materiaal ping mislukkingen, rapporteerde de router de foutmeldingen van de cyclische overtollige controle (CRC) vóór de mislukking. Controleer op CRC's op de switching-fabric-kaarten door gebruik te maken van de opdracht show controllers op de GRP en executie van alle show controllers op de lijnkaarten. CRC-fouten alleen op het GRP (en niet op een lijnkaart) wijzen naar een defecte GRP. Probeer eerst de GRP-oplossing opnieuw in te voeren en vraag vervolgens om vervanging als de CRC-fouten blijven toenemen.

Bekende problemen met IPC

Problemen met de IPC-software (Inter-Procech Communication) tussen de GRP-kaart en de lijnkaarten zijn opgelost in verschillende releases van Cisco IOS-softwarerelease 12.0S. In dit geval, zou u sommige IPC-gerelateerde foutmeldingen in het logbestand moeten zien, samen met het pingelen van tijdelijke berichten van de stof. Probeer de nieuwste Cisco IOS-softwarerelease uit te voeren om bekende problemen met IPC te oplossen. Zie ook het Cisco Download Software gebied voor hulp bij het selecteren van een release.

Bekende problemen met Cisco Express Forwarding (CEF)

Zie Problemen oplossen CEF-gerelateerde foutmeldingen als de uitvoer van het opdracht logboek een bericht weergeeft dat betrekking heeft op de CEF Forwarding Information Base (FIB), vergelijkbaar met de volgende:

%FIB-3-FIBDISABLE: Fatal error, slot 2: IPC failure

Handig debug en tonen opdrachten

Gebruik de volgende debug en show opdrachten om weefsel door te dringen in de tijd-out/mislukkingsberichten op de Cisco 12000 Series Internet-router:

- bug van weefsels - hiermee worden fouten afgedrukt die door de GRP zijn gedetecteerd. Dit debug genereert zeer weinig berichten en alleen in een foutmelding.

- fijnafschermen van weefsels - hiermee worden fouten afgedrukt die in het weefselpingproces door het GRP zijn gedetecteerd. Dit debug genereert zeer weinig berichten en alleen in een foutmelding.

Leg de volgende opdrachten vast voor elke reset-lijnkaart. Plaats X terug met het juiste nummer.

- Sleuf X uitvoeren debug van weefsel gebeurtenissen - Afdrukfouten die door de lijnkaart zijn gedetecteerd in zijn ping-responsen. Deze opdracht produceert weinig berichten en alleen in een foutmelding.

- Sleuf X debug fabric ping - Drukt een bericht af wanneer de lijnkaart een ping van de stof ontvangt. Dit debug genereert elke seconde één uitvoerlijn voor elke lijnkaart waarop het is ingeschakeld.

Nadat de lijnkaart crasht, vangen de volgende opdrachten uit de GRP-console:

- alle details van context tonen

- wasgoed

- demonstranten fia

- toont controllers voor de csar wachtrij

- uitvoering van alle knoppenbalk

- toontechniek

- toonlogboek

Leg ook de volgende opdrachten over de status van de lijnkaart op:

- sleuf <sleuf#> met executie-on-sleuf tonen proc CPU

- uitvoeringssleuf <sleuf#> toont controller-fab-wachtrij

- invoersleuf <sleuf#> toont controller-tofab stat

- sleuf <sleuf#> met uitvoeringssleuf voor controller in de wachtrij

- uitvoeringssleuf <sleuf#> met controller uit de lucht laten zien

- uitvoeringssleuf <sleuf#> toont invoerstatus

- uitvoeringssleuf <sleuf#> toont ipc-wachtrij

- uitvoeringssleuf <sleuf#> tonen stapel

- executie-on sleuf <sleuf#> show tech

Als u nog steeds problemen ondervindt na alle stappen voor het oplossen van problemen te hebben gevolgd, verzamel alle vereiste informatie hierboven en neem uw Cisco TAC vertegenwoordiger op om verdere problemen op te lossen.

Hier is de output van een paar nuttige show opdrachten:

router#show controllers csar

From Fabric Error Stats

------------------------

0 out of order, 0 unexpected first

0 unexpected last, 0 unknown rx type, 0 corrupted pak, 0 parity

0 first/last, 0 sequence, 0 cell avail, 0 reassembly,

To Fabric Stats

------------------------

Slot  Tx Pkts      TX Th Pkts      Rx Pkts      Rx Th Pkts   To Fab timeout

0     580278       490214          281061       1336470      0

1     18854        66592           18390        945419       0

2     6            50824           0            896290       0

3     0            0               0            0            0

4     0            51909           0            895430       0

5     0            0               0            0            0

6     0            35113           0            880247       0

7     0            52690           0            52690        0

8     0            0               0            0            0

9     0            0               0            0            0

10    0            0               0            0            0

11    0            0               0            0            0

12    0            0               0            0            0

13    0            0               0            0            0

14    0            0               0            0            0

15    0            0               0            0            0

0 too big, 1 Buf0 free, 1 Buf1 free

0 Copy fail

Fabric access Error Stats

--------------------------

0 parity errors,  0 bad access size, 0 invalid address

0 queue full parity, 0 flushed buffer

router#show controllers fia

Fabric configuration: Full bandwidth, nonredundant fabric

Master Scheduler: Slot 16

From Fabric FIA Errors

-----------------------

redund fifo parity 0          redund overflow 0          cell drops 0

crc32 lkup parity  0          cell parity     0          crc32      0

Switch cards present    0x001D    Slots  16 18 19 20

Switch cards monitored  0x001D    Slots  16 18 19 20

Slot:     16         17         18         19         20

Name:    csc0       csc1       sfc0       sfc1       sfc2

--------   --------   --------   --------   --------

los    0          0          0          0          0

state  Off        Off        Off        Off        Off

crc16  0          254        0          0          0

! --- Check the CRC error here. In this case CSC1 in slot 17.

To Fabric FIA Errors

-----------------------

sca not pres 0          req error     0          uni FIFO overflow 0

grant parity 0          multi req     0          uni FIFO undrflow 0

cntrl parity 0          uni req       0          crc32 lkup parity 0

multi FIFO   0          empty dst req 0          handshake error   0

cell parity  0

U kunt meer details vinden in de opdracht controllers tonen bij het lezen van de uitvoer van de opdracht Bestuurder tonen.

router#show fabric

Dest    ToFab       FrFab     Bad Seq     Unexpected

Slot    Pkts        Pkts                  Pkts

----------------------------------------------------

Slot0   26327       26327     0           0

Slot1   26325       26325     0           0

Slot2   26321       26321     0           0

Slot4   26315       26315     0           0

Slot6   26311       26311     0           0

Slot7   26334       26334     0           0

multicast timeout 0

failed pak        0

Current fabric timeout is 6000

fabric send fails 58

Om te verzamelen informatie als u een TAC-case opent

Als u nog steeds hulp nodig hebt nadat u de bovenstaande stappen voor het oplossen van problemen hebt gevolgd en u een servicestaanvraag wilt maken met de Cisco TAC, sluit u de volgende informatie aan uw case voor het oplossen van problemen met fabric-problemen op de Cisco 12000 Series internetrouter:

- problemen oplossen die zijn uitgevoerd voordat u de case opent

- technische ondersteuning tonen uitvoer (in schakelmodus indien mogelijk)

- loguitvoer of console opnamen, indien beschikbaar

- uitvoeringssleuf [sleuf #] toont technische ondersteuning voor de sleuf die de lijnkaartcrash heeft ervaren

Voeg de verzamelde gegevens aan uw case toe in niet-zipped, platte tekstindeling (.txt).U kunt informatie aan uw case toevoegen door deze te uploaden met het Case Query tool (alleen geregistreerde klanten). Als u geen toegang hebt tot het Case Query-gereedschap, kunt u de relevante informatie aan uw case toevoegen door deze te verzenden naar attach@cisco.com met uw casenummer in de onderwerpregel of uw bericht.
N.B.: Laad de router niet handmatig opnieuw of gebruik het programma niet voordat u de bovenstaande informatie verzamelt, indien mogelijk, omdat hierdoor belangrijke informatie kan verloren gaan die nodig is om de oorzaak van het probleem te bepalen.

Gerelateerde informatie

- Een coredump op een GSR lijnkaart configureren

- Fout bij oplossen van CEF-gerelateerde meldingen

- Hoe de uitvoer van de opdracht Bestuurder tonen lezen

- Productondersteuning - 12000 Series internetrouters

- Technische ondersteuning - Cisco-systemen