Time-outs en mislukkingen bij probleemoplossing bij fabric Ping op Cisco 12000 Series internetrouter
Inhoud
Inleiding
Dit document legt uit hoe u problemen kunt oplossen bij het draaien van tijdelijke instellingen en fouten op de Cisco 12000 Series Internet Router. De volgende foutmeldingen geven aan dat de fouten niet zijn uitgevoerd:
%GRP-3-FABRIC_UNI: Unicast send timed out (3)
en
%GRP-3-COREDUMP: Core dump incident on slot 3, error: Fabric ping failure (seq:29192)
Voordat u begint
Conventies
Zie de Cisco Technical Tips Convention voor meer informatie over documentconventies.
Voorwaarden
Er zijn geen specifieke voorwaarden van toepassing op dit document.
Gebruikte componenten
De informatie in dit document is gebaseerd op de onderstaande hardwareversie.
-
Cisco 12000 Series internet-routers
De informatie in dit document is gebaseerd op apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als u in een levend netwerk werkt, zorg er dan voor dat u de potentiële impact van om het even welke opdracht begrijpt alvorens het te gebruiken.
Achtergrond
De GRP- en lijnkaarten (LCs) in Cisco 12000 Series Internet Router verbinden door een dwarsbalkswitchfabric, die een snel fysiek pad voor de meeste interkaartcommunicatie biedt. Onder de berichten die tussen de GRP- en de lijnkaarten over de switch worden doorgegeven, zijn inbegrepen de daadwerkelijke pakketten die worden verzonden en ontvangen, informatie, verkeersstatistieken en de meeste beheer- en controle-informatie. Daarom is het belangrijk dat de GRP ervoor zorgt dat dit pad correct werkt.
Fabric pings is een van de vier toepassingen die tussen het GRP en de switchfabric lopen. Inter-Processor Communication (IPC), netwerkpakketten en codedownloads zijn de andere. Fabric-pings worden geïmplementeerd om een deel van een storingsdetectiealgoritme te bieden en een mechanisme te behouden dat wordt geïmplementeerd met behulp van buffers op de onderhoudslijn (MBUS) en pings door de interface van de lijnkaartfabric.
De Fabric Interface van Cisco Cell Segmentation and Reassembleren (CSAR) bestuurders op de GRP-handgreep die tussen de switchfabric en de GRP worden verzonden en ontvangen. Hier zijn ook stofpings. Fabric-pings worden gegenereerd door software en worden elke zes seconden vanuit het primaire GRP naar elke lijnkaart verzonden. Telkens wanneer een lijnkaart een ping-verzoek van de GRP ontvangt, stuurt de LC een antwoord naar de GRP. Als de GRP geen antwoord ontvangt op vijf opeenvolgende pings (30 seconden totale tijd), wordt de lijnkaart dood verklaard en opnieuw geplaatst via de onderhoudstechnicus (MBUS).
Meestal is de lijnkaart te druk om te reageren op de stof ping-verzoeken van de GRP. Deze materiaal ping-fouten kunnen ook veroorzaakt worden door een defecte stof of een bug in de Cisco IOS® software. Alle mogelijke oorzaken van fouten in het materiaal worden gedetailleerd in de onderstaande sectie voor probleemoplossing beschreven.
Time-outs van fabric ping komen voor wanneer de Gigabit Route Processor (GRP) detecteert dat een ping-verzoek in de ToFab-wachtrij (naar de switchfabric) van Cisco Cell Segmentation and Reassembleren (CSAR) toepassingsspecifiek geïntegreerd circuit (ASIC) is vastgezet. Deze ASIC is verantwoordelijk voor het in plakken snijden van de pakketten in Cisco Cellen voordat ze door de switchfabric naar de uitvoerlijnkaart (LC) worden verzonden.
Fabric pingelen fouten gebeuren wanneer een lijnkaart of het secundaire GRP niet reageert op een verzoek om weefsel te pingelen van het primaire GRP over de switchfabric. Zulke fouten zijn een probleemsymptoom dat moet worden onderzocht.
Symptomen
Zoals wordt uitgelegd in het gedeelte Background, wordt er elke zes seconden een doekje naar de lijnkaarten gestuurd, en moeten de lijnkaarten reageren. Wanneer GRP geen antwoord op vijf opeenvolgende pings van de fabric ontvangt, stelt het de lijnkaart terug door een verzoekbericht over de onderhoudsbus (MBUS) te verzenden, en meldt een software-gedwongen krach, zoals gezien in de uitvoer van de show van de contextsleuf {#} bevel.
Van de console logbestanden of de opdracht Show log krijgt u de volgende foutmeldingen voordat de stof ping error bericht:
%GRP-3-FABRIC_UNI: Unicast send timed out (3) %GRP-3-FABRIC_UNI: Unicast send timed out (3) %GRP-3-FABRIC_UNI: Unicast send timed out (3)
waar het nummer (3) de sleuf van de lijnkaart vertegenwoordigt waar de primaire GRP een doekje naar toe probeerde te sturen.
Dit bericht geeft aan dat een pakje in de ToFab wachtrij van CSAR ASIC op het primaire GRP zit. Als iets meer dan 100 milliseconden (msecs) in een van de twee CSAR-buffers vastzit, wordt de buffer gespoeld en wordt een tijdelijke bericht gegenereerd.
Als GRP zijn fabric ping request-bericht verstuurt, maar de lijnkaart niet antwoordt, of de lijnkaart antwoordt maar de switchfabric is defect zodat het bericht verloren gaat, dan ziet u dit bericht niet voordat de stof ping-foutmelding krijgt. Om die reden, als je de foutmelding "%GRP-3-FABRIC_UNI" krijgt, betekent dit dat er voor 100 of 200 msecs niets over het weefsel kan worden verzonden. Het kan zijn dat, door de %GRP-3-FABRIC_UNI, u de reservekopieën niet naar de LC kunt sturen en dat u uiteindelijk met een ping van de stof na, in dit geval, 30 seconden, eindigt. U kunt echter fouten in het weefsel krijgen zonder "%GRP-3-FABRIC_UNI" en vice versa.
Het primaire GRP kan bepalen dat een lijnkaart of secundair GRP is afgenomen tot een punt dat een diagnostische kern-stortplaats geschikt is. Op dat moment stuurt het GRP-bericht via de MBUS-lijnkaart en vraagt het CPU-lijnkaart om te crashen, zodat een kernvuilnisbelt kan worden verkregen.
%LCINFO-3-CRASH: Line card in slot 3 crashed %GRP-3-COREDUMP: Core dump incident on slot 3, error: Fabric ping failure (seq:29192)
De lijnkaart creëert de kernstop als deze met de uitzondering crashinformatie en verwante opdrachten is geconfigureerd (zie Een Core Dump configureren op een GSR lijnkaart voor GSR-specifieke informatie over het configureren van kerndumps). De kwalificerende string in de output van de show contextsleuf {#} opdracht geeft de herlaadreden aan. Bij een defect aan de stof is de reden altijd "softwaregedwongen crash".
CRASH INFO: Slot 1, Index 1, Crash at 00:42:45 KST Mon Mar 12 2001 VERSION: GS Software (GLC1-LC-M), Version 12.0(18)ST, EARLY DEPLOYMENT RELEASE SOFTWARE (fc1) TAC Support: http://www.cisco.com/tac Compiled Thu 09-Aug-01 22:06 by nmasa Card Type: 2 Ports OC3 Channelized to DS1/E1 , S/N CAT00400500 System exception: sig=23, code=0x24, ! --- SIG=23 indicates a software-forced crash. context=0x41303B04 System restarted by a Software forced crash STACK TRACE: -Traceback= 400C3970 400C1F90 40815D5C 407D3144 400C7488
Na het crashen van de lijnkaart wordt een eerste bericht gestuurd om de primaire GRP-scherm op de hoogte te stellen. Het GRP wacht dan op de lijnkaart om andere informatie over de crash door de MBUS te sturen. Het GRP zou volledige informatie binnen een paar milliseconden na het ontvangen van het eerste bericht van de lijnkaart moeten ontvangen. In het onwaarschijnlijke geval dat de volgende crashinformatie-berichten niet binnen een redelijke termijn (10 seconden) door de Filippijnse regering worden ontvangen, drukt de GRP een foutmelding af en vertelt de rest van de GRP-software dat de lijnkaart is neergestort.
Probleemoplossing
Tijdens normale router operatie, pingelt het primaire GRP voortdurend de lijnkaarten en de lijnkaarten reageren. Elke ping-mislukking is een symptoom van een ander probleem dat moet worden onderzocht. Deze problemen omvatten:
N.B.: Als de fout kan worden gereproduceerd, moet u geen service automatisch resetten op het GRP. Deze opdracht schakelt een herlading van de lijnkaart uit bij de volgende ping-storing en stelt u in staat om aan de lijnkaart vast te maken met de opdracht < sleuf#> om relevante show-opdrachten op te nemen.
Probleem met lijnkaart
-
De meest waarschijnlijke reden zou een Cisco IOS softwarebug kunnen zijn waarin een proces onderbrekingen lang genoeg inschakelt om vijf opeenvolgende materiaal pings te missen. Probeer te verbeteren naar de nieuwste Cisco IOS-softwarerelease in uw trein om opgeloste problemen te voorkomen. Zie voor upgradeassistentie het gedeelte Cisco Download Software.
-
De lijnkaart kan te lang rugdruk uitoefenen, dus de planner laat geen verkeer ontvangen van de switchfabric. Dit symptoom duidt op een probleem met interfacecongestie. Gebruik de volgende opdrachten om deze symptomen te bevestigen:
-
Bestuurder frfab wachtrij op de lijnkaart tonen. Zoek een niet-IPC vrije rij met weinig of geen beschikbare buffers.
-
tonen controllers csar wachtrij opdracht op de GRP. Let op niet-nulwaarden voor "Max Lengte" en voor "Max Lengte" gelijk aan "Lengte", zoals weergegeven in de volgende steekproefuitvoer:
router#show controllers csar queue 1190 Free Q Slot Length Max Length 0 0 7 1 0 2 2 70 70 ! -- CSAR queue for slot 2 is building and reaching max length. 3 0 2 4 0 3 5 0 0 ...CSAR stelt tot 50 pakketten in op een doellijnkaart. Na 50 pakketten worden alleen pakketten voor het wassen van weefsels in de wachtrij geplaatst. Als de wachtrijlimiet vervolgens wordt verhoogd naar 70, houdt het CSAR op om alle pakketten - inclusief materiaal- pings - in de wachtrij voor de lijnkaart te plaatsen. Zowel het GRP als alle lijnkaarten hebben 64k CSAR segmentatiebuffers waarin berichten worden opgeslagen. Als deze buffers bezig zijn, gebruikt de router een software hold wachtrij om de berichten op te slaan. Tevens wordt een timer ingesteld om er zeker van te zijn dat wasberichten niet te lang in deze rij blijven staan.
-
-
Hoog CPU-gebruik op de lijnkaart - vaak gezien tijdens herberekening van een grote Cisco Express Forwarding (CEF)-tabel na een enorme routingtabelwijziging of na een link-flap en Border Gateway Protocol (BGP)-sessie opnieuw ingesteld. De CPU kan ook hoog zijn bij het overschakelen van verkeer in software. Dit gebeurt voornamelijk op Engine 0 lijnkaarten waar de meeste functies in software worden geïmplementeerd. Als dit probleem zich voordoet, kunt u de configuratie van de lijnkaart controleren en de functies verwijderen die de CPU’s kunnen beïnvloeden op engine 0 LC. Een hoog CPU-gebruik kan ook worden veroorzaakt door een bug. Bepaal het CPU-gebruik met de opdracht <sleuf#> sleuf#-on tonen proc cpu-opdracht of sleuf <sleuf#>uitvoeren" indien de vorige opdracht niet wordt ondersteund in de Cisco IOS-softwareversie die op de router actief is. Overweeg een upgrade naar de nieuwste Cisco IOS-softwarerelease in uw trein om bekende problemen aan te pakken.
-
De lijnkaart loopt op Interproces Communication (IPC)-buffers, die worden gebruikt om controleberichten tussen de lijnkaarten en het GRP uit te wisselen. Zie de stappen voor het oplossen van problemen in foutmeldingen met probleemoplossing voor CEF. Als uw problemen oplossen bij een probleem met IPC wijst, zorg er dan voor dat uw Cisco 12000 Series Internet Router een minimum van Cisco IOS-softwarerelease 12.0(18)S heeft. Deze release heeft een grotere standaardgrootte van 5000 geïntroduceerd voor het IPC cache om de stabiliteit en schaalbaarheid te vergroten.
-
Hardware-probleem op de lijnkaart. Het is belangrijk om op te merken dat minder dan 10% van de fouten in het weefsel het gevolg zijn van een hardwareprobleem. Voordat u contact opneemt met de Cisco TAC om vervangende hardware te vragen, probeert u de volgende stappen:
-
Bekijk de IPC timeout berichten gedrukt voor de stof ping mislukking. Zie ook de IPC sectie hieronder.
-
Herhaal de lijnkaart.
-
Stroomprogramma van de router.
-
Als u geen fysieke toegang tot de router hebt, voert u de opdracht voor het opnieuw laden van de sleuf <sleuf #> uit om de lijnkaart handmatig te herladen.
-
Probleem met switchingfabric
Het hart van Cisco 12000 Series Internet Router is het circuitsysteem van de switchfabric, dat gesynchroniseerde Gigabit snelheid interconnects voor de lijnkaarten en het GRP biedt. Het schakelsysteem bevat twee soorten kaarten:
-
Klokkaart en plannerkaarten (CSC’s)
-
Switch Fabric-kaarten (SFC’s)
Als een van deze kaarten faalt, kunnen de ping boodschappen niet langer door het weefsel heen gaan. In dit geval dient u ook andere berichten te zien die wijzen op de defecte stof, zoals:
%FABRIC-3-CRC: Switch card 18
Gebruik de opdracht Show controllers om te bepalen of u een slechte CSC of SFC hebt. Gebruik de executie-on al show controllers fia opdracht om uitvoer van alle lijnkaarten op te nemen. Vergelijk de uitvoer van het GRP met de uitvoer van de lijnkaarten om te bepalen of een defecte switchfabric-kaart moet worden vervangen.
De volgende voorbeelduitvoer wijst op een probleem met sfc0 in sleuf 18. Probeer eerst deze kaart opnieuw in te voeren en vraag vervolgens om vervanging als de foutteller crc16 blijft toenemen.
Router#show controllers fia
Fabric configuration: Full bandwidth redundant
Master Scheduler: Slot 17
From Fabric FIA Errors
-----------------------
redund FIFO parity 0 redund overflow 0 cell drops 1
crc32 lkup parity 0 cell parity 0 crc32 0
Switch cards present 0x001F Slots 16 17 18 19 20
Switch cards monitered 0x001F Slots 16 17 18 19 20
Slot: 16 17 18 19 20
Name: csc0 csc1 sfc0 sfc1 sfc2
-------- -------- -------- -------- --------
Los 0 0 0 0 0
state Off Off Off Off Off
crc16 0 0 4334 0 0
! --- Check the CRCs under SFC0 (slot 18)
To Fabric FIA Errors
-----------------------
sca not pres 0 req error 0 uni FIFO overflow 0
grant parity 0 multi req 0 uni FIFO undrflow 0
cntrl parity 0 uni req 0 crc32 lkup parity 0
multi FIFO 0 empty DST req 0 handshake error 0
cell parity 0
Probleem met GRP
In sommige rapporten van materiaal ping mislukkingen, rapporteerde de router de foutmeldingen van de cyclische overtollige controle (CRC) vóór de mislukking. Controleer op CRC's op de switching-fabric-kaarten door gebruik te maken van de opdracht show controllers op de GRP en executie van alle show controllers op de lijnkaarten. CRC-fouten alleen op het GRP (en niet op een lijnkaart) wijzen naar een defecte GRP. Probeer eerst de GRP-oplossing opnieuw in te voeren en vraag vervolgens om vervanging als de CRC-fouten blijven toenemen.
Bekende problemen met IPC
Problemen met de IPC-software (Inter-Procech Communication) tussen de GRP-kaart en de lijnkaarten zijn opgelost in verschillende releases van Cisco IOS-softwarerelease 12.0S. In dit geval, zou u sommige IPC-gerelateerde foutmeldingen in het logbestand moeten zien, samen met het pingelen van tijdelijke berichten van de stof. Probeer de nieuwste Cisco IOS-softwarerelease uit te voeren om bekende problemen met IPC te oplossen. Zie ook het Cisco Download Software gebied voor hulp bij het selecteren van een release.
Bekende problemen met Cisco Express Forwarding (CEF)
Zie Problemen oplossen CEF-gerelateerde foutmeldingen als de uitvoer van het opdracht logboek een bericht weergeeft dat betrekking heeft op de CEF Forwarding Information Base (FIB), vergelijkbaar met de volgende:
%FIB-3-FIBDISABLE: Fatal error, slot 2: IPC failure
Handig debug en tonen opdrachten
Gebruik de volgende debug en show opdrachten om weefsel door te dringen in de tijd-out/mislukkingsberichten op de Cisco 12000 Series Internet-router:
-
bug van weefsels - hiermee worden fouten afgedrukt die door de GRP zijn gedetecteerd. Dit debug genereert zeer weinig berichten en alleen in een foutmelding.
-
fijnafschermen van weefsels - hiermee worden fouten afgedrukt die in het weefselpingproces door het GRP zijn gedetecteerd. Dit debug genereert zeer weinig berichten en alleen in een foutmelding.
Leg de volgende opdrachten vast voor elke reset-lijnkaart. Plaats X terug met het juiste nummer.
-
Sleuf X uitvoeren debug van weefsel gebeurtenissen - Afdrukfouten die door de lijnkaart zijn gedetecteerd in zijn ping-responsen. Deze opdracht produceert weinig berichten en alleen in een foutmelding.
-
Sleuf X debug fabric ping - Drukt een bericht af wanneer de lijnkaart een ping van de stof ontvangt. Dit debug genereert elke seconde één uitvoerlijn voor elke lijnkaart waarop het is ingeschakeld.
Nadat de lijnkaart crasht, vangen de volgende opdrachten uit de GRP-console:
-
alle details van context tonen
-
wasgoed
-
demonstranten fia
-
toont controllers voor de csar wachtrij
-
uitvoering van alle knoppenbalk
-
toontechniek
-
toonlogboek
Leg ook de volgende opdrachten over de status van de lijnkaart op:
-
sleuf <sleuf#> met executie-on-sleuf tonen proc CPU
-
uitvoeringssleuf <sleuf#> toont controller-fab-wachtrij
-
invoersleuf <sleuf#> toont controller-tofab stat
-
sleuf <sleuf#> met uitvoeringssleuf voor controller in de wachtrij
-
uitvoeringssleuf <sleuf#> met controller uit de lucht laten zien
-
uitvoeringssleuf <sleuf#> toont invoerstatus
-
uitvoeringssleuf <sleuf#> toont ipc-wachtrij
-
uitvoeringssleuf <sleuf#> tonen stapel
-
executie-on sleuf <sleuf#> show tech
Als u nog steeds problemen ondervindt na alle stappen voor het oplossen van problemen te hebben gevolgd, verzamel alle vereiste informatie hierboven en neem uw Cisco TAC vertegenwoordiger op om verdere problemen op te lossen.
Hier is de output van een paar nuttige show opdrachten:
router#show controllers csar
From Fabric Error Stats
------------------------
0 out of order, 0 unexpected first
0 unexpected last, 0 unknown rx type, 0 corrupted pak, 0 parity
0 first/last, 0 sequence, 0 cell avail, 0 reassembly,
To Fabric Stats
------------------------
Slot Tx Pkts TX Th Pkts Rx Pkts Rx Th Pkts To Fab timeout
0 580278 490214 281061 1336470 0
1 18854 66592 18390 945419 0
2 6 50824 0 896290 0
3 0 0 0 0 0
4 0 51909 0 895430 0
5 0 0 0 0 0
6 0 35113 0 880247 0
7 0 52690 0 52690 0
8 0 0 0 0 0
9 0 0 0 0 0
10 0 0 0 0 0
11 0 0 0 0 0
12 0 0 0 0 0
13 0 0 0 0 0
14 0 0 0 0 0
15 0 0 0 0 0
0 too big, 1 Buf0 free, 1 Buf1 free
0 Copy fail
Fabric access Error Stats
--------------------------
0 parity errors, 0 bad access size, 0 invalid address
0 queue full parity, 0 flushed buffer
router#show controllers fia
Fabric configuration: Full bandwidth, nonredundant fabric
Master Scheduler: Slot 16
From Fabric FIA Errors
-----------------------
redund fifo parity 0 redund overflow 0 cell drops 0
crc32 lkup parity 0 cell parity 0 crc32 0
Switch cards present 0x001D Slots 16 18 19 20
Switch cards monitored 0x001D Slots 16 18 19 20
Slot: 16 17 18 19 20
Name: csc0 csc1 sfc0 sfc1 sfc2
-------- -------- -------- -------- --------
los 0 0 0 0 0
state Off Off Off Off Off
crc16 0 254 0 0 0
! --- Check the CRC error here. In this case CSC1 in slot 17.
To Fabric FIA Errors
-----------------------
sca not pres 0 req error 0 uni FIFO overflow 0
grant parity 0 multi req 0 uni FIFO undrflow 0
cntrl parity 0 uni req 0 crc32 lkup parity 0
multi FIFO 0 empty dst req 0 handshake error 0
cell parity 0
U kunt meer details vinden in de opdracht controllers tonen bij het lezen van de uitvoer van de opdracht Bestuurder tonen.
router#show fabric Dest ToFab FrFab Bad Seq Unexpected Slot Pkts Pkts Pkts ---------------------------------------------------- Slot0 26327 26327 0 0 Slot1 26325 26325 0 0 Slot2 26321 26321 0 0 Slot4 26315 26315 0 0 Slot6 26311 26311 0 0 Slot7 26334 26334 0 0 multicast timeout 0 failed pak 0 Current fabric timeout is 6000 fabric send fails 58
Om te verzamelen informatie als u een TAC-case opent
| Als u nog steeds hulp nodig hebt nadat u de bovenstaande stappen voor het oplossen van problemen hebt gevolgd en u een servicestaanvraag wilt maken met de Cisco TAC, sluit u de volgende informatie aan uw case voor het oplossen van problemen met fabric-problemen op de Cisco 12000 Series internetrouter: |
|---|
N.B.: Laad de router niet handmatig opnieuw of gebruik het programma niet voordat u de bovenstaande informatie verzamelt, indien mogelijk, omdat hierdoor belangrijke informatie kan verloren gaan die nodig is om de oorzaak van het probleem te bepalen. |
Gerelateerde informatie
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)