Probleemoplossing Punt Fabric Data Path Failure op Tomahawk en Lightspeed Card
Inhoud
Inleiding
Dit document beschrijft foutmeldingen van het point fabric-gegevenspad die worden gezien tijdens een werking van Cisco Aggregation Services Router (ASR) 9000 Series.
Achtergrondinformatie
Het bericht wordt in deze bestandsindeling weergegeven:
- Het alarm wordt gezien op de routerconsole zoals hier getoond.
- Het betekent dat de loopback pad van deze berichten ergens is gebroken.
RP/0/RP0/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :
Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3,
(slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)
De kwestie komt voor NP1 en NP3 op 0/9/CPU0 eerder vermeld.
Dit document is bedoeld voor iedereen die de foutmelding wil begrijpen en de acties die moeten worden ondernomen als het probleem wordt gezien.
De op Tomahawk gebaseerde lijnkaart (LC) is beschikbaar als een Service Edge geoptimaliseerde (verbeterde QoS) of Packet Transport Optimaliseerde (basis-QoS) LC.
- SE - Geoptimaliseerde servicesedge
- TR - geoptimaliseerd pakkettransport
De 4-poorts en 8-poorts 100 Gigabit Ethernet-lijnkaart is beschikbaar in twee varianten die ondersteuning bieden voor LAN/WAN/ISDN Unified PHY CPAK-poorten of LAN PHY-only CPAK-poorten.
Deze LC's zijn gebaseerd op Tomahawk:
- A9K-8X100G-LB-SE
- A9K-8X100G-LB-TR
- A9K-8X100 GE-SE
- A9K-8X 100 GE-TR
- A9K-4X100 GE-SE
- A9K-4X100 GE-TR
- A9K-400G-DWDM-TR
- A9K-MOD400-SE
- A9K-MOD400-TR
- A9K-MOD200-SE
- A9K-MOD200-TR
- A9K-24X10 GE-1G-SE
- A9K-24X10 GE-1G-TR
- A9K-48X10 GE-1G-SE
- A9K-48X 10 GE-1G-TR
- A990-12X100 GE
- A990-8X100 GE-SE switch
- A990-8X100 GE-TR
Opmerking: op Tomahawk gebaseerde LC-onderdeelnummers die beginnen met A99-X zijn compatibel met de Cisco ASR 9904, ASR 9906, ASR 9910, ASR 9912 en ASR 9922 chassis. Ze zijn niet compatibel met de Cisco ASR 9006 en ASR 9010 routers.
Op Lightspeed gebaseerde LC's zijn mogelijk beschikbaar als een Service Edge geoptimaliseerde (uitgebreide QoS) of Packet Transport Geoptimaliseerde (basis-QoS) LC. In tegenstelling tot op Tomahawk gebaseerde LC's is niet elk LC-model beschikbaar in zowel -SE- als -TR-types.
- SE - Geoptimaliseerde servicesedge
- TR - geoptimaliseerd pakkettransport
Deze LC's zijn gebaseerd op Lightspeed:
- A9K-16X100 GE-TR
- A990-16X100 GE-X-SE switch
- A990-32X100 GE-TR
Op LSP (LSP) gebaseerde LC's zijn beschikbaar als een Service Edge geoptimaliseerde (verbeterde QoS) of Packet Transport Optimized (basis QoS) LC.
Deze LC's zijn LSP-gebaseerd:
- A9K-4HG-FLEX-TR
- A9K-4HG-FLEX-SE
- A990-4HG-FLEX-TR
- A990-4HG-FLEX-SE switch
- A9K-8HG-FLEX-TR
- A9K-8HG-FLEX-SE
- A9K-20HG-FLEX-TR
- A9K-20HG-FLEX-SE
- A990-32X100 GE-X-TR
- A990-32X100 GE-X-SE switch
- A990-10X400GE-X-TR
- A990-10X400GE-X-SE switch
Punt Fabric diagnostisch pakketpad
- De diagnostische toepassing die wordt uitgevoerd op de routeprocessorkaart CPU injecteert diagnostische pakketten die periodiek voor elke netwerkprocessor (NP) zijn bestemd.
- Het diagnostische pakket wordt teruggeleefd binnen het NP en opnieuw geïnjecteerd naar de routeprocessorkaart CPU die het pakket afkomstig is.
- Deze periodieke gezondheidscontrole van elk NP met een uniek pakket per NP door de diagnostische toepassing op de routeprocessorkaart geeft een waarschuwing voor functionele fouten op het gegevenspad tijdens routerwerking.
- Het is essentieel om op te merken dat de diagnostische toepassing op zowel de actieve routeprocessor als de standby routeprocessor periodiek één pakket per NP injecteert en een per-NP succes of mislukkingstelling handhaaft.
- Elke minuut wordt een diagnostisch pakket naar NP verzonden (naar elke Virtual Queues Interface (VQI) vier keer (in totaal vier minuten/VQI) en loopt over alle VQI's van dat NP). Om het kort te houden, geeft u een voorbeeld:
Beschouw de LC heeft vier NP's, online diagnostiek moet alle NP's (om te weten dat ze gezond zijn - stof paden) uit te oefenen. Nu kan elk NP 20 VQI's hebben elk (0-19, 20 - 39, 40-59, 60-79).
In de eerste minuut stuurt de online diagnostiek één pakket naar elk NP.
1 min : against VQI 0, 20, 40, 60 (to all 4 NPs)
2 min:""""""""
3 min: """""""
4 min : """""
5th min : against VQI 1, 21, 41, 61..
6 min : """"""""
Dit herhaalt zich in een cyclus als alle VQI zijn voltooid.
- Wanneer een drempelwaarde van verloren diagnostische pakketten wordt bereikt, wordt een alarm in Platform Fault Manager (PFM) opgeroepen.
RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Apr 7 01:04:04 2022PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 0 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Apr 7 00:54:52 2022|0 |PUNT_FABRIC_DATA_PATH_FAILED |ER |10042 >>ID |System Punt/Fa|0x2000004
Leg deze opdrachtoutput vast om alle informatie over PFM-alarmen te verzamelen:
show pfm location all
show pfm trace location all
Als u meer informatie wilt zien over alarmen die door een specifiek proces worden opgeroepen, kunt u deze opdracht gebruiken:
show pfm process name <process_name> location <location> >>> location where the PFM alarm is observed
Architectuur op hoog niveau van de LC
Tomahawk LC
8x100G-architectuur
Tomahawk - 8x100G LC
12 x 100G architectuur
Tomahawk 12 * 100G LC
Lightspeed LC
A9K-20HG-FLEX-SE/TR
A9K-20HG-FLEX-SE/TR
A990-32x100 GE-X-SE/TR
A990-32x100 GE-X-SE/TR
A9K-8HG-FLEX-SE/TR
LC-architectuur
LC-architectuur
Virtuele uitgangswachtrijen en de arbiter
Elke RSP/RP (Route Switch Processor/Switch Processor) heeft twee fabric chips die beide worden bestuurd door één gemeenschappelijke arbiter (dubbele RSP's/RP's betekent veerkrachtige arbiters per chassis). Alleen de scheidsrechter op de actieve RSP/RP bestuurt alle vier stoffen chips (uitgaande van dubbele RSP's). Beide arbiters ontvangen echter de verzoeken om toegang tot de stof om op elk moment de staat van het hele systeem te kennen, zodat failover tussen RSP’s/RP’s onmiddellijk kan plaatsvinden. Er is geen keepalive tussen de arbiters, maar de RSP's/RP's hebben een Complex Programmable Logic Device (CPLD) ASIC (vergelijkbaar met een FPGA) en een van zijn functies is om de andere RSP/RP-status te volgen via lage keepalives en vast te stellen welke de actieve arbiter is.
Elke Fabric Interconnect ASIC heeft een set VQI's, wat een set wachtrijen is die een 100G-entiteit in het systeem (voor Tomahawk) vertegenwoordigen. Elke 100G-entiteit (1x100G-poorten op één uitgaande NP worden weergegeven met één 100G VQI in een NP van de toegang) heeft meerdere prioriteitsklassen.
Elke VQI heeft vier Virtual Output Queues (VOQ’s), voor verschillende pakketprioriteiten, waarvan er drie worden gebruikt in ASR 9000 voorwaartse architectuur. Deze komen overeen met prioriteitsniveaus 1 en 2 en blijven standaard in het beleid van toegang-QoS. Er zijn twee strikte prioriteitswachtrijen en één normale wachtrij (de vierde wachtrij is voor multicast en wordt niet gebruikt voor unicast-doorsturen).
Over het algemeen begint de standaardwachtrij eerst pakketten te laten vallen tijdens tegendruk van de uitgaande NP VQI's. Alleen wanneer de uitgaande Network Processing Unit (NPU) overbelast raakt (meer Bps of PPS bedienen dan de circuits kunnen verwerken), begint het tegendruk uit te oefenen op de ingress LC/NP. Dit wordt vertegenwoordigd door een VQI stroom die op de Fabric Interface ASIC (FIA) op dat ingangsLC stapelt.
Voorbeeld:
RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0 >>> LC0 is installed in slot 2
Node: 0/0/CPU0:
----------------------------------------------------------------
NP Bridge Fia Ports
-- ------ --- ---------------------------------------------------
0 -- 0 TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9
1 -- 1 TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3
2 -- 2 HundredGigE0/0/0/4 - HundredGigE0/0/0/5 >>>Below is the VQI assignment
3 -- 3 HundredGigE0/0/0/6 - HundredGigE0/0/0/7
RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 2
slot = 2
fia_inst = 2 >>>FIA 2
VQI = 40 SPEED_100G
VQI = 41 SPEED_100G
VQI = 42 SPEED_100G
VQI = 43 SPEED_100G
VQI = 44 SPEED_100G
VQI = 45 SPEED_100G
VQI = 46 SPEED_100G
VQI = 47 SPEED_100G
VQI = 56 SPEED_100G
VQI = 57 SPEED_100G
VQI = 58 SPEED_100G
VQI = 59 SPEED_100G
VQI = 60 SPEED_100G
VQI = 61 SPEED_100G
VQI = 62 SPEED_100G
VQI = 63 SPEED_100G
Wanneer de ingress LC besluit dat het een bepaald pakket naar een bepaalde uitgang NPU wil verzenden, dan heeft de modificeer (MDF)-fase op de ingress LC een pakket ingekapseld met een fabric-doelheader. Wanneer de FIA naar dat "adres" kijkt, controleert het de VOQ voor de bijzondere uitgang NPU/destation/LC en ziet of er genoeg bandbreedte beschikbaar is. Wanneer het klaar is om het te dewachteren aan die LC, vraagt de toegang FIA een subsidie van de stof (de arbiter) voor die bestemming LC. Het Arbitrage algoritme is QOS bewust, het zorgt ervoor dat P1 klassenpakketten voorkeur over P2 klasse enzovoort hebben. De arbiter zendt het verzoek om subsidie van de indringende FIA door aan de uitgaande FIA.
De indringende FIA kan meerdere pakketten samenvoegen die naar dezelfde uitgang LC gaan in wat een superframe wordt genoemd. Dit betekent dat het niet de eigen frames/pakketten zijn die over de switch fabric links gaan, maar superframes. Dit is belangrijk om op te merken omdat, in een test van een constante 100pps, de CLI de stoftellers kan tonen die slechts 50pps melden. Dit is geen pakketverlies, het zou enkel betekenen dat er twee pakketten in elke superframe die over de switch stof overbrengen zijn. Superframes omvatten het rangschikken van informatie en de steun FIAs van de bestemming het opnieuw ordenen (de pakketten kunnen "worden besproeid" over veelvoud van stoffenverbindingen). Alleen unicastpakketten worden in superframes geplaatst, nooit in multicast.
Zodra het pakket is ontvangen door de uittredende LC, wordt de subsidie teruggegeven aan de arbiter. De arbiter heeft een eindig aantal tokens per VOQ. Wanneer de arbiter de indringende FIA toestaat om een (super) frame naar een specifieke VOQ te sturen, wordt dat token alleen teruggegeven aan het zwembad wanneer de uitgaande FIA de frames levert aan de uitgaande NP. Als de uitgaande NP een tegendruksignaal naar de uitgaande FIA heeft gebracht, blijft de token bezet. Dit is hoe de arbiter uiteindelijk geen tokens meer heeft voor die VOQ in de indringingsFIA. Wanneer dat gebeurt, begint de indringende FIA de inkomende pakketten te laten vallen. De trigger voor de tegendruk is het benuttingsniveau van Receive Frame Descriptor (RFD)-buffers in een uitgaande NP. RFD-buffers houden de pakketten vast terwijl de NP-microcode ze verwerkt. Hoe meer de functieverwerking van het pakket doorgaat, hoe langer het in RFD buffers blijft.
- Ingress FIA doet verzoeken om stof aan alle chassis arbiters.
- Actieve arbiters controleren op gratis toegangskaarttokens en verwerken hun QoS-algoritme als er congestie aanwezig is.
- Kredietmechanisme van lokale arbiter aan actieve arbiter op RSP.
- Actieve arbiter stuurt fabric grant token naar de ingang FIA.
- Ingress FIA load-balances (super)frames over verbindingen van de stof.
- De uitgaande FIA geeft een fabric token aan de centrale arbiter.
Het is beter om het kredietmechanisme te noemen van de lokale arbiter naar de actieve arbiter op RSP. Voeg ook een andere sectie toe om mogelijke gevallen van arbiter fouten te behandelen (te hoeven niet te vermelden foutcodes, maar te hebben een blik op arbiter ASIC fouten) om te kijken in geval van een arbiter probleem en niet het krijgen van subsidies vanwege lokale of centrale arbiter en dat veroorzaakt opstapeling van de wachtrij.
Overzicht van virtuele uitvoerwachtrij
Virtuele uitvoerwachtrij
Pakketten die naar verschillende uitgaande NP's gaan, worden in verschillende VOQ-sets geplaatst. Congestie op één NP blokkeert niet het pakket dat naar verschillende NP's gaat.
Fabric Arbiter Diagram
Fabric Arbiter
Fabric-verbindingen
ASR 9006 en ASR 9010 Switch fabric interconnects
ASR 9006 en ASR 9010 Switch fabric interconnects
ASR 9922 Switch fabric interconnects
De ASR 9912 is hetzelfde met ondersteuning voor slechts 10 LC's en een single Fabric Interconnect Chip.
ASR 9922 Switch fabric interconnects
ASR 9922 en ASR 9912 backplane
ASR 9922 en ASR 9912 backplane
Overzicht van online diagnostiek
- De online diagnostische tool werkt zowel op LC als RP CPU.
- De diagnostische tests die het voorwaartse pad testen zijn:
- PuntFabricDataPath test die op actieve en standby RP CPU wordt uitgevoerd, die kenmerkende pakketten verzenden naar elke actieve NP in het systeem. Actieve RP verstuurt.
- PuntFabricDataPath diagnostische pakketten als unicast, terwijl stand-by ze als multicast verstuurt. Reactiepakketten worden teruggestuurd naar de oorspronkelijke RP CPU.
- De diagnostische tests die het voorwaartse pad testen zijn:
- NP Loopback test binnen LC.
- NPULoopback test die op elke LC CPU draait, die diagnostische pakketten naar elke NP stuurt. De reactiepakketten worden teruggestuurd naar LC CPU.
Triage in het probleem
De stappen hier bieden enkele aanwijzingen hoe de kwesties met betrekking tot het punt-pad falen te beperken. Ze hoeven niet exact in dezelfde volgorde te worden gevolgd.
Informatie die nodig is om de Triage te starten
- Zoek het aangetaste NP en LC:
show logging | inc “PUNT_FABRIC_DATA_PATH”
RP/0/RP1/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :
Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3, (slot, NP)
failed: (0/9/CPU0, 1) (0/9/CPU0, 3)
De kwestie komt voor NP1 en NP3 op 0/9/CPU0 eerder vermeld.
- Om de chassissleuf te vinden, voert u de
run nslot alluit. - PFM-alarm
RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0
node: node0_RP1_CPU0
---------------------
CURRENT TIME: Mar 25 12:11:29 2022
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 0 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Mar 25 12:03:30 2022|1 |PUNT_FABRIC_DATA_PATH_FAILED |ER |8947 |System Punt/Fa|0x2000004
RP/0/RP1/CPU0:AG2-2#sh pfm process 8947 location 0/rp1/CPU0
node: node0_RP1_CPU0
---------------------
CURRENT TIME: Mar 25 12:12:36 2022
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 0 CRITICAL(CR): 0 ERROR(ER): 1
PER PROCESS TOTAL: 0 EM: 0 CR: 0 ER: 0
Device/Path[1 ]:Fabric loopbac [0x2000003 ] State:RDY Tot: 0
Device/Path[2 ]:System Punt/Fa [0x2000004 ] State:RDY Tot: 1
1 Fault Id: 432
Sev: ER
Fault Name: PUNT_FABRIC_DATA_PATH_FAILED
Raised Timestamp: Mar 25 12:03:30 2022
Clear Timestamp: Mar 25 12:07:32 2022
Changed Timestamp: Mar 25 12:07:32 2022
Resync Mismatch: FALSE
MSG: failure threshold is 3, (slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)
Diagnostiek van Packet Flow Diagram
- DIAG-pakketpad tussen RP en LC (het diagnostische pakketinterval is één minuut).
Packet path op RP:
online_diags <===> SPP <===> Fabric <===> NP
Packet path op LC:
online_diags <===> SPP <===> Punt-switch <====> NP
- NP-teruglooptest binnen LC
Elke minuut wordt er een DIAGS-pakket per NP van de LC CPU naar de Punt-Switch geïnjecteerd, en allemaal worden ze bij de NP's herleid. Ze gaan helemaal NIET naar het weefsel. Het omslagpunt of halverwege het merkteken is de microcode van elk NP.
- Diagnostic send path: LC: online diagnostiek > Injecteren > LC-NP > (loop)
- Diagnostisch retourpad: LC-NP > Punt > online diagnostiek: LC
Diagnostische test
RP/0/RP0/CPU0:AG2-2(admin)#show diagnostic content location <> >>> (in cXR)
RP/0/RP0/CPU0:AG2-2#show diagnostic content location <> >>> (in eXR)
A9K-8X100GE-L-SE 0/0/CPU0:
Diagnostics test suite attributes:
M/C/* - Minimal bootup level test / Complete bootup level test / NA
B/O/* - Basic ondemand test / not Ondemand test / NA
P/V/* - Per port test / Per device test / NA
D/N/* - Disruptive test / Non-disruptive test / NA
S/* - Only applicable to standby unit / NA
X/* - Not a health monitoring test / NA
F/* - Fixed monitoring interval test / NA
E/* - Always enabled monitoring test / NA
A/I - Monitoring is active / Monitoring is inactive
n/a - Not applicable
Test Interval Thre- Timeout
ID Test Name Attributes (day hh:mm:ss.ms shold ms )
==== ================================== ============ ================= ===== =====
1) CPUCtrlScratchRegister ----------> *B*N****A 000 00:01:00.000 3 n/a
2) DBCtrlScratchRegister -----------> *B*N****A 000 00:01:00.000 3 n/a
3) PortCtrlScratchRegister ---------> *B*N****A 000 00:01:00.000 3 n/a
4) PHYScratchRegister --------------> *B*N****A 000 00:01:00.000 3 n/a
5) NPULoopback ---------------------> *B*N****A 000 00:01:00.000 3 n/a
RP/0/RP0/CPU0:AG2-2#show diagnostic result location 0/0/CPU0
A9K-8X100GE-L-SE 0/0/CPU0:
Overall diagnostic result: PASS
Diagnostic level at card bootup: bypass
Test results: (. = Pass, F = Fail, U = Untested)
1 ) CPUCtrlScratchRegister ----------> .
2 ) DBCtrlScratchRegister -----------> .
3 ) PortCtrlScratchRegister ---------> .
4 ) PHYScratchRegister --------------> .
5 ) NPULoopback ---------------------> .
- U kunt deze parameter "Injecteer diags pakketten" handmatig in detail testen zoals wordt aangegeven in dit voorbeeld:
admin diag start location 0/x/cpu0 test NPULoopback (cXR)
RP/0/RP0/CPU0:AG3_1#diagnostic start location 0/0/CPU0 test NPULoopback >>> eXR
Fri May 13 06:53:00.902 EDT
RP/0/RP0/CPU0:AG3_1#show diagnostic res location 0/0/CPU0 test 5 detail >>> Here there are
multiple test 1-5 (check previous examples)
Test results: (. = Pass, F = Fail, U = Untested)
___________________________________________________________________________
5 ) NPULoopback ---------------------> .
Error code ------------------> 0 (DIAG_SUCCESS)
Total run count -------------> 67319
Last test execution time ----> Fri May 13 06:53:01 2022
First test failure time -----> n/a
Last test failure time ------> n/a
Last test pass time ---------> Fri May 13 06:53:01 2022
Total failure count ---------> 0
Consecutive failure count ---> 0
___________________________________________________________________________
- Controleer of NP DIAG-berichten ontvangt/verstuurt:
RP/0/RSP1/CPU0:AG2-2#show controllers np counters location | inc DIAG| LC_CPU
108 PARSE_RSP_INJ_DIAGS_CNT 25195 0 >>> total DIAG packets injected by Active+Stdby RP
904 PUNT_DIAGS_RSP_ACT 12584 0 >>> Loopbacks to Active RP
906 PUNT_DIAGS_RSP_STBY 12611 0 >>> Loopbacks to Stdby R
122 PARSE_LC_INJ_DIAGS_CNT 2618 0 >>> total DIAG packets injected by LC
790 DIAGS 12618 0 >>> total DIAG packets replied back to LC
16 MDF_TX_LC_CPU 3998218312 937 >>> a packet punted to LC CPU PARSE_RSP_INJ_DIAGS_CNT should match (PUNT_DIAGS_RSP_ACT + PUNT_DIAGS_RSP_STDBY)
PARSE_LC_INJ_DIAGS_CNT should match DIAGS
PARSE_XX_INJ_DIAGS_CNT should increment periodically.
- Controleren of de Software Packet Path (SPP) DIAG-berichten verzenden/ontvangen:
show spp sid stats location | inc DIAG 2. DIAG 35430
2. DIAG 35430
Deze worden ontvangen en verzonden DIAG tellers. Ze kunnen altijd matchen en samen stappen op LC.
- debug punt-inject l2-pakketten diag np 0 locatie 0/9/CPU0
Voorbeeld Logs: SPP verzendt en ontvangt het diagnostische pakket met opeenvolging geen 0x4e pakketten.
LC/0/1/CPU0:Jun 6 04:14:05.581 : spp[89]: Sent DIAG packet. NP:0 Slot:0 Seq:0x4e
LC/0/1/CPU0:Jun 6 04:14:05.584 : spp[89]: Rcvd DIAG packet. NP:0 Slot:0 Seq:0x4e
- Controleer op eventuele dalingen in het pakketpad:
show drops all location
show drops all ongoing location
- Controleer online diagnostische debugs (in cXR):
Online-diagnostiek zijn nuttig vaak in het controleren van de tijdstempels toen de pakketten werden verzonden/ontvangen of gemist. Dergelijke tijdstempels kunnen worden vergeleken met SPP-opnamen voor pakketcorrelatie.
admin debug diagnostic engineer location
admin debug diagnostic error location
Opmerking: Voer de admin undebug all opdracht om deze debugs uit te schakelen.
De output van de steekproef van debugs:
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: Slot 1 has 4 NPs >>> Sending DIAG
messages to NPs on slot 1
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 0, sfp=0xc6
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 1, sfp=0xde
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 2, sfp=0xf6
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 3, sfp=0x10e
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Time took to receive 22 pkts: 503922888 nsec, timeout value: 500000000 nsec
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Received 22 packets, expected 24 => Some replies missed
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Got a packet from physical slot 1, np 0
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified
a packet, seq. no.: 25
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Got a packet from physical slot 1, np 2 <= Replies from NP1 and NP3 missing
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified
a packet, seq. no.: 25
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Got a packet from physical slot 3, np 0
- Diagnostisch spoor:
RP/0/RP1/CPU0:AG2-2#show diagnostic trace location 0/rp1/CPU0
Fri Mar 25 12:16:40.866 IST
1765 wrapping entries (3136 possible, 2048 allocated, 0 filtered, 3503120 total)
Mar 16 02:40:21.641 diags/online/gold_error 0/RP1/CPU0 t7356 Failed to get ack: got 0 responses,
expected 1
Mar 16 02:40:36.490 diags/online/message 0/RP1/CPU0 t8947 My nodeid 0x120, rack# is 0, slot# 1,
board type = 0x100327
Mar 16 02:40:36.948 diags/online/message 0/RP1/CPU0 t8947 dev cnt=25, path cnt=3, shm loc for
dev alarms@0x7fd4f0bec000, path alarms@0x7fd4f0bec01c, path alarm data@0x7fd4f0bec028
Mar 16 02:40:37.022 diags/online/message 0/RP1/CPU0 t8947 Last rpfo time: 1647378637
Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 2105# t9057 PuntFabricDataPath test error:
physical slot 11(LC# 9): expected np mask: 0x0000000f, actual: 0x0000000b, failed: 0x00000004
Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 634# t9057 PuntFabricDataPath test failure detected,
detail in the form of (0-based) (slot, NP: count): (LC9,2: 13)
Fabric-triage
- Fabricgezondheid (dit geeft een samenvatting van de status van de link, statistieken, druppels en alarmen):
show controllers fabric health location <>
- Gezondheid van de wervelkolom:
show controllers fabric health spine all
- Vastlegging fouten aan boord (OBFL) (na herladen is ook dit beschikbaar):
admin
sysadmin-vm:0_RP0# show logging onboard fabric location 0/0
- Controleer stoftellers op ingress LC FIA:
show controllers fabric fia errors ingress location <>
show controllers fabric fia stats location
- Ingress LC crossbar (niet van toepassing op Trident en SIP-700):
show controllers fabric crossbar statistics instance [0-1] location <>
- Voorste kruisbalk LC (niet van toepassing op Trident en SIP-700):
show controllers fabric crossbar statistics instance [0-1] location <>
- Uitgaande LC FIA:
show controllers fabric fia errors egress location <>
show controllers fabric fia stats location
- Statistieken wervelkolom:
show controllers fabric crossbar statistics instance [0-1] spine [0-6]
- Controleer de weefseldruppels:
- Ingress LC FIA:
show controllers fabric fia drops ingress location <>
- Uitgaande LC FIA:
show controllers fabric fia drops egress location <>
- ASIC-fouten:
- LSP:
show controllers fabric crossbar asic-errors instance 0 location<>
show asic-errors fia <> all location <>
-
- Tomahawk :
show asic-errors fia <> all location <>
RP/0/RP0/CPU0:AG3_1#show controllers np fabric-counters all np0 location 0/0/CPU0
Node: 0/0/CPU0:
----------------------------------------------------------------
Egress fabric-to-bridge interface 2 counters for NP 0
INTERLAKEN_CNT_TX_BYTES 0x000073fc 23b6d99b
INTERLAKEN_CNT_TX_FRM_GOOD 0x000000ae a79d6612
INTERLAKEN_CNT_TX_FRM_BAD 0x00000000 00000000 >>> this is 0 which is good,
need to check if it is incremented
-------------------------------------------------------------
Egress fabric-to-bridge interface 3 counters for NP 0
INTERLAKEN_CNT_TX_BYTES 0x0004abdd fe02068d
INTERLAKEN_CNT_TX_FRM_GOOD 0x000005b8 089aac95
INTERLAKEN_CNT_TX_FRM_BAD 0x00000000 00000000
-------------------------------------------------------------
Node: 0/0/CPU0:
----------------------------------------------------------------
Ingress fabric-to-bridge interface 2 counters for NP 0
INTERLAKEN_CNT_RX_BYTES 0x0004aeb5 a4b9dbbe
INTERLAKEN_CNT_RX_FRM_GOOD 0x0000058e b7b91c15
INTERLAKEN_CNT_RX_FRM_BAD 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC32_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC24_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_SIZE_ERROR 0x00000000 00000000
-------------------------------------------------------------
Ingress fabric-to-bridge interface 3 counters for NP 0
INTERLAKEN_CNT_RX_BYTES 0x000094ce b8783f95
INTERLAKEN_CNT_RX_FRM_GOOD 0x000000f5 33cf9ed7
INTERLAKEN_CNT_RX_FRM_BAD 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC32_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC24_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_SIZE_ERROR 0x00000000 00000000
- Zo verifieert u de koppelingsstatus van de FIA:
show controllers fabric fia link-status location
RP/0/RP0/CPU0:AG3_1#show controllers fabric fia link-status location 0/0/CPU0
********** FIA-0 **********
Category: link-0
spaui link-0 Up >>> FIA to NP link
spaui link-1 Up >>> FIA to NP link
arb link-0 Up >>> Arbitor link
xbar link-0 Up >>> FIA to XBAR link
xbar link-1 Up >>> FIA to XBAR link
xbar link-2 Up >>> FIA to XBAR link
- Zo verifieert u de verbindingsstatus van XBAR:
RP/0/RP0/CPU0:AG3_1#show controllers fabric crossbar link-status instance 0 lo 0/0/CPU0
Mon May 2 04:05:06.161 EDT
PORT Remote Slot Remote Inst Logical ID Status
======================================================
00 0/0/CPU0 01 2 Up
01 0/FC3 01 0 Up
02 0/FC3 00 0 Up
03 0/FC4 01 0 Up
04 0/FC2 01 0 Up
05 0/FC4 00 0 Up
06 0/FC2 00 0 Up
07 0/FC1 01 0 Up
10 0/FC1 00 0 Up
14 0/FC0 01 0 Up
15 0/FC0 00 0 Up
16 0/0/CPU0 02 0 Up
18 0/0/CPU0 02 2 Up
19 0/0/CPU0 02 1 Up
20 0/0/CPU0 03 2 Up
21 0/0/CPU0 03 1 Up
22 0/0/CPU0 03 0 Up
23 0/0/CPU0 00 2 Up
24 0/0/CPU0 00 1 Up
25 0/0/CPU0 00 0 Up
26 0/0/CPU0 01 0 Up
27 0/0/CPU0 01 1 Up
Als u deze logbestanden in de LSP-kaart waarneemt:
LC/0/3/CPU0:Jul 5 13:05:53.365 IST: fab_xbar[172]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
sfe[1]: An interface-err error has occurred causing packet drop transient.
ibbReg17.ibbExceptionHier.ibbReg17.ibbExceptionLeaf0.intIpcFnc0UcDataErr Threshold has been exceeded
17*2 helpt hier de poort te identificeren met de show controllers fabric crossbar link-status instance 1 lo 0/3/CPU0 opdracht:
Logbestanden verzamelen:
show platform
show inventory
show tech fabric
show tech np
show tech ethernet interface
show logging
show pfm location all
show pfm trace location <location id>
show controllers pm vqi location all
show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)
show controllers fti trace <process-name> location <Card location>
admin show tech obfl
Cxr:
From Admin:
show logging onboard common location <>
show logging onboard error location <>
Exr:
From sysadmin/calvados:
show logging onboard fabric location <>
- Als er ASIC-fouten in FIA zijn:
Voor LS:
show controllers asic LS-FIA instance <instance> block <block_name> register-name <register_name> location <>
Voor LSP:
show controllers asic LSP-FIA instance <instance> block <block_name> register-name <register_name> location <>
Als de gemelde fout als volgt is:
LC/0/9/CPU0:Mar 1 05:12:25.474 IST: fialc[137]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
fia[3]: A link-err error has occurred causing performance loss persistent.
fnc2serdesReg1.fnc2serdesExceptionHier.fnc2serdesReg1.fnc2serdesExceptionLeaf0.
iNTprbsErrTxphyrdydropped6 Threshold has been exceeded
- De instantie is het instantienummer van de FIA ASIC. Hier is het "3" block_name is "fnc2serdesReg1" en register_name is "fnc2serdesExceptionLeaf0".
- Als ASIC-fouten op LC/RSP XBAR:
show controllers asic SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location <>
Als de gemelde fout als volgt is:
LC/0/7/CPU0:Mar 4 06:42:01.241 IST: fab_xbar[213]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
sfe[0]: An interface-err error has occurred causing packet drop transient.
ibbReg11.ibbExceptionHier.ibbReg11.ibbExceptionLeaf0.intIpcFnc1UcDataErr Threshold has been exceeded
- De instantie is de instantie van een nummer van de SFE/XBAR ASIC. Hier is "0" block_name "ibbReg11" en register_name "ibbExceptionLeaf0".
- Indien ASIC-fouten worden gerapporteerd in FC XBAR:
show controllers asic FC2-SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location
Als de gemelde fout als volgt is:
RP/0/RP0/CPU0:Mar 4 06:41:14.398 IST: fab_xbar_sp3[156]: %PLATFORM-CIH-3-ASIC_ERROR_SPECIAL_HANDLE_THRESH :
fc3xbar[1]: A link-err error has occurred causing packet drop transient.
cflReg17.cflExceptionHier.cflReg17.cflExceptionLeaf4.intCflPal1RxAlignErrPktRcvd Threshold has been exceeded
Dan is ASIC "FC3-SKB-XBAR" instantie is de instantie een nummer van de SFE/XBAR ASIC. Hier is het "1", beide komen van "fc3xbar[1]" block_name is "cflReg17" en register_name is "cflExceptionLeaf4".
Voorbeeld:
RP/0/RSP0/CPU0: AG2-10#sh logging | i ASIC
RP/0/RSP0/CPU0:May 11 20:48:57.658 IST: fab_xbar[184]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
sfe[0]: An interface-err error has occurred causing packet drop transient.
ibbReg13.ibbExceptionHier.ibbReg13.ibbExceptionLeaf0.intIpcFnc0UcDataErr Threshold has been exceeded
RP/0/RSP0/CPU0: AG2-10#sh controllers fabric crossbar link-status instance 0 location 0/rsp0/CPU0
PORT Remote Slot Remote Inst Logical ID Status
======================================================
04 0/0/CPU0 00 1 Up
06 0/0/CPU0 00 0 Up
08 0/7/CPU0 00 1 Up
10 0/7/CPU0 00 0 Up
24 0/2/CPU0 00 0 Up
26 0/2/CPU0 00 1 Up
>>> ibbReg13 >> 13*2 = 26 SO IT IS POINTING TO LC2 – IN THIS CASE YOU CAN DO OIR TO RECOVER THE ASIC ERROR
40 0/RSP0/CPU0 00 0 Up
RP/0/RSP0/CPU0: AG2-10#show controllers asic SKB-XBAR instance 0 block-name ibbReg13 register-name ibbExceptionLeaf0 location 0/RSP0/CPU0
address name value
0x00050d080 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Stat 0x00000000 (4 bytes)
address name value
0x00050d084 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1StatRw1s 0x00000000 (4 bytes)
address name value
0x00050d088 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Enable 0xfffffffb (4 bytes)
address name value
0x00050d08c SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1First 0x00000000 (4 bytes)
address name value
0x00050d090 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Stat 0x00000c50 (4 bytes)
address name value
0x00050d094 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2StatRw1s 0x00000c50 (4 bytes)
address name value
0x00050d098 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Enable 0x00000000 (4 bytes)
address name value
0x00050d09c SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2First 0x00000000 (4 bytes)
address name value
0x00050d0a0 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_haltEnable 0x00000000 (4 bytes)
address name value
0x00050d0a4 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_fault 0x00000000 (4 bytes)
address name value
0x00050d0a8 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_intMulti 0x00000840 (4 bytes)
address name value
0x00050d0ac SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_leaf 0x00000000 (4 bytes)
RP/0/RSP0/CPU0:AG2-10#
Arbiter Fault Triage
Zo controleert u de status van de link:
RP/0/RSP0/CPU0:AG2-10#sho controllers fabric arbiter link-status location 0/1/$
Port Remote Slot Remote Elem Remote Inst Status
=======================================================
00 0/1/CPU0 FIA 0 Up
01 0/1/CPU0 FIA 1 Up
24 0/RSP0/CPU0 ARB 0 Up
25 0/RSP1/CPU0 ARB 0 Up
Zo controleert u de beschikbaarheid van VQI:
RP/0/RP0/CPU0:AG3_1#sh controllers fabric vqi assignment all
Current mode: Highbandwidth mode - 2K VQIs
Node Number of VQIs
----------------------------
0/0/CPU0 80
0/1/CPU0 40
0/2/CPU0 48
0/3/CPU0 80
0/5/CPU0 80
0/7/CPU0 80
0/12/CPU0 64
RP*/RSP* 8
----------------------------
In Use = 480
Available = 1568
Controleer de snelheid die is toegewezen aan VQI:
RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 7
Thu May 12 07:58:59.897 EDT
slot = 7
fia_inst = 0
VQI = 400 SPEED_100G
VQI = 401 SPEED_100G
VQI = 402 SPEED_100G
VQI = 403 SPEED_100G
VQI = 404 SPEED_100G
VQI = 405 SPEED_100G
VQI = 406 SPEED_100G
slot = 7
fia_inst = 1
VQI = 416 SPEED_40G
VQI = 417 SPEED_40G
VQI = 418 SPEED_40G
VQI = 419 SPEED_40G
VQI = 420 SPEED_100G
Als u staartdruppels ziet op FIA, controleer dan deze stappen:
Controleer op wachtrijdiepte in VQI:
RP/0/RP0/CPU0:AG3_1#show controllers fabric fia q-depth location 0/0/CPU0
Thu May 12 08:00:42.186 EDT
********** FIA-0 **********
Category: q_stats_a-0
Voq ddr pri Cellcnt Slot_FIA_NP
28 0 2 2 LC0_1_1
********** FIA-0 **********
Category: q_stats_b-0
Voq ddr pri Cellcnt Slot_FIA_NP
********** FIA-1 **********
Category: q_stats_a-1
Voq ddr pri Cellcnt Slot_FIA_NP
7 0 2 12342 LC0_0_0
>>> Here Packet count is high so we need to check for LC0 FIA0 NP0 (egress) is there any congestion
or any other issue in LC0 FIA0 or NP0
Here Pri = 2 is the default queue (BE) , Pri = 0 is P1 (Voice, real time) queue, Pri = 1 is P2
97 0 2 23 LC1_0_0
RP/0/RP0/CPU0:AG3_1#show controllers fabric vqi assignment slot 02
slot = 2
fia_inst = 0
VQI = 0 SPEED_10G
VQI = 1 SPEED_10G
VQI = 2 SPEED_10G
VQI = 3 SPEED_10G
VQI = 4 SPEED_10G
VQI = 5 SPEED_10G
VQI = 6 SPEED_10G
VQI = 7 SPEED_10G
Poortmapping voor de VQI:
RP/0/RP0/CPU0:AG3_1#show controllers pm vqi location 0/0/CPU0
Platform-manager VQI Assignment Information
Interface Name | ifh Value | VQI | NP#
--------------------------------------------------
TenGigE0_0_0_0_1 | 0x4000680 | 1 | 0
TenGigE0_0_0_0_2 | 0x40006c0 | 2 | 0
TenGigE0_0_0_0_3 | 0x4000700 | 3 | 0
TenGigE0_0_0_0_4 | 0x4000740 | 4 | 0
TenGigE0_0_0_0_5 | 0x4000780 | 5 | 0
TenGigE0_0_0_0_6 | 0x40007c0 | 6 | 0
TenGigE0_0_0_0_7 | 0x4000800 | 7 | 0
RP/0/RP0/CPU0:AG3_1#show controllers pm interface tenGigE 0/0/0/0/7
Ifname(1): TenGigE0_0_0_0_7, ifh: 0x4000800 :
iftype 0x1e
egress_uidb_index 0x12, 0x0, 0x0, 0x0
ingress_uidb_index 0x12, 0x0, 0x0, 0x0
port_num 0x0
subslot_num 0x0
ifsubinst 0x0
ifsubinst port 0x7
phy_port_num 0x7
channel_id 0x0
channel_map 0x0
lag_id 0x7e
virtual_port_id 0xa
switch_fabric_port 7 >>> VQI matching for the ports
in_tm_qid_fid0 0x38001e
in_tm_qid_fid1 0x0
in_qos_drop_base 0xa69400
out_tm_qid_fid0 0x1fe002
out_tm_qid_fid1 0xffffffff
np_port 0xd3
Logbestanden verzamelen:
Show tech fabric
Show tech np
show controllers pm trace ?
async Platform manager async trace
creation Platform manager interface creation/deletion trace
error Platform manager error trace
information Platform manager information trace
init Platform manager init trace
other Platform manager common trace
stats Platform manager stats trace
NP-foutentriage
NP-belastingverificatie:
RP/0/RP0/CPU0:AG3_1#show controller np load all location 0/0/CPU0
Node: 0/0/CPU0:
----------------------------------------------------------------
Load Packet Rate
NP0: 2% utilization 3095766 pps
NP1: 3% utilization 5335675 pps
NP2: 0% utilization 498 pps
NP3: 0% utilization 1117 pps
Poorttoewijzing:
RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0
Node: 0/0/CPU0:
----------------------------------------------------------------
NP Bridge Fia Ports
-- ------ --- ---------------------------------------------------
0 -- 0 TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9
1 -- 1 TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3
2 -- 2 HundredGigE0/0/0/4 - HundredGigE0/0/0/5
3 -- 3 HundredGigE0/0/0/6 - HundredGigE0/0/0/7
Tomahawk
Let op, dit is de beheermodus:
sysadmin-vm:0_RP0# show controller switch statistics location 0/LC0/LC-SW
Thu May 12 12:32:37.160 UTC+00:00
Rack Card Switch Rack Serial Number
--------------------------------------
0 LC0 LC-SW
Tx Rx
Phys State Drops/ Drops/
Port State Changes Tx Packets Rx Packets Errors Errors Connects To
----------------------------------------------------------------------------
0 Up 2 3950184361 3977756349 0 0 NP0
1 Up 2 0 0 0 0 NP0
8 Up 1 1319787462 209249871 0 0 LC CPU N0 P0
9 Up 1 3374323096 1819796660 0 0 LC CPU N0 P1
16 Up 2 2245174606 1089972811 0 0 NP1
17 Up 2 0 0 0 0 NP1
18 Up 2 65977 16543963 0 0 NP2
19 Up 2 0 0 0 0 NP2
32 Up 2 128588820 3904804720 0 0 NP3
33 Up 2 0 0 0 0 NP3
show asic-error np <> all loc <> >>> Ignore the macwrap errors as they are seen for every
interface flaps/ Execute 3-4 times to verify the drops increment
show controller np fast-drop <> loc <> >>> Execute 3-4 times to verify the drops increment
RP/0/RP0/CPU0:AG3_1#show controller np fast-drop np0 location 0/0/CPU0
Thu May 12 10:13:22.981 EDT
Node: 0/0/CPU0:
----------------------------------------------------------------
All fast drop counters for NP 0:
TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority1] 0
TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority2] 0
TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority3] 0
TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority1] 0
TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority2] 0
TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority3] 0
show controllers np punt-path-counters all HOST-IF-0 np<> location <>
[Check for IF_CNT_RX_FRM & IF_CNT_TX_FRM] >>> To check if diagnostic packets make it to the LC NP
Host CPU network port
Lichtsnelheid
show asic-error np <> all loc <> >>> Ignore the macwrap errors as they are seen for every interface flap
RP/0/RP0/CPU0:AG3_1#sho asic-errors np 0 all location 0/5/CPU0
************************************************************
* 0_5_CPU0 *
************************************************************
************************************************************
* Single Bit Errors *
************************************************************
************************************************************
* Multiple Bit Errors *
************************************************************
************************************************************
* Parity Errors *
************************************************************
************************************************************
* Generic Errors *
************************************************************
ASR, ASR9K Lightspeed 20*100GE SE LC, 0/5/CPU0, npu[0]
Name : mphmacwrapReg1.mphmacwrapExceptionLeaf4.mphWrapIrqUmacIpInt82
Leaf ID : 0x2023e082
Error count : 1
Last clearing : Thu Apr 7 11:41:47 2022
Last N errors : 1
--------------------------------------------------------------
First N errors.
@Time, Error-Data
------------------------------------------
show controller np fast-drop <> loc <> >>> Execute 3-4 times to verify the drops increment
RP/0/RP0/CPU0:AG3_1#show controller np fast-drop np0 location 0/5/CPU0
Thu May 12 10:13:28.321 EDT
Node: 0/5/CPU0:
----------------------------------------------------------------
All fast drop counters for NP 0:
HundredGigE0_5_0_0[Crit] 0
HundredGigE0_5_0_0[HP] 0
HundredGigE0_5_0_0[LP2] 0
HundredGigE0_5_0_0[LP1] 0
HundredGigE0_5_0_0[Crit+HP_OOR] 0
HundredGigE0_5_0_0[LP2+LP1_OOR] 0
HundredGigE0_5_0_1[Crit] 0
HundredGigE0_5_0_1[HP] 0
HundredGigE0_5_0_1[LP2] 0
HundredGigE0_5_0_1[LP1] 0
HundredGigE0_5_0_1[Crit+HP_OOR] 0
Let op, dit is de beheermodus:
sysadmin-vm:0_RP0# show controller switch statistics location 0/LC5/LC-SW >>> Execute 3-4
times to verify the errors increment
Rack Card Switch Rack Serial Number
--------------------------------------
0 LC5 LC-SW
Tx Rx
Phys State Drops/ Drops/
Port State Changes Tx Packets Rx Packets Errors Errors Connects To
-----------------------------------------------------------------------------
0 Up 4 1456694749 329318054 0 4 CPU -- EOBC
1 Up 2 21 23 0 0 CPU -- flexE
2 Up 4 1063966999 87683758 0 0 CPU -- PUNT
3 Up 4 885103800 3021484524 0 0 CPU -- BFD
4 Up 3 329319167 1456700372 0 0 RP0
5 Up 3 0 0 0 0 RP1
6 Up 1 11887785 2256 0 0 IPU 0
7 Up 1 0 1086 0 0 IPU 1
9 Up 4 74028034 3025657779 0 0 NP0
10 Up 4 5 0 0 0 NP0
11 Down 1 0 0 0 0 PHY0 -- flexE
12 Up 4 264928 264929 0 0 NP1
13 Up 2 5 0 0 0 NP1
14 Down 1 0 0 0 0 PHY1 -- flexE
15 Up 4 1516538834 1159586563 0 0 NP2
Logbestanden verzamelen:
show tech np
show tech fabric
show asic-errors fia trace all location <>
- In eXR, verzamel np_datalog:
RP/0/RP0/CPU0:AG3_1#run chvrf 0 ssh lc0_xr
LC : [one time capture]
show_np -e <> -d npdatalog [<> should be the affected NP]
Path where NP datalogs is saved : /misc/scratch/np/NPdatalog_0_0_CPU0_np0_prm__20220512-105332.txt.gz
LC : 5 to 10 times
show_np -e <> -d pipeline [<> should be the affected NP]
- Voor NP Init-fout op LSP:
RP/0/RP0/CPU0:AG2-2#show controllers np ports all location 0/6/CPU0
Node: 0/6/CPU0:
----------------------------------------------------------------
NP Bridge Fia Ports
-- ------ --- ---------------------------------------------------
0 -- 0 HundredGigE0/6/0/0 - HundredGigE0/6/0/31 --
1 -- 1 HundredGigE0/6/0/4 - HundredGigE0/6/0/7
NP2 is down. >>>>>>>>>. NP Down/Init Failure
3 -- 3 HundredGigE0/6/0/12 - HundredGigE0/6/0/154 --
4 -- 4 HundredGigE0/6/0/16 - HundredGigE0/6/0/19
In deze logboeken wordt opgemerkt:
LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL :
Failed to initialize lda_bb_np_reset_process 13795 inst 0x2 LC INIT: Failed in NP HAL
Reset np (0x00000001 - Operation not permitted) : npu_server_lsp : (PID=4597) :
-Traceback= 7fea2d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031
7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a9dbd691e9
LC/0/6/CPU0:Mar 23 02:53:56.185 IST: npu_server_lsp[138]: %PLATFORM-NP-4-INIT_DEBUG_MSG :
LDA NP2 Reset failed!! Check for a downlevel IPU version.
Logbestanden verzamelen:
show tech-support ethernet interfaces
show tech-support ethernet controllers
show tech-support np
show tech-support fpd
admin show tech-support ctrace (in eXR)
show tech fabric
show asic-errors fia trace all location <>
show logging
gather (in eXR)
RP/0/RP0/CPU0:AG3_1#admin
sysadmin-vm:0_RP0#
[sysadmin-vm:0_RP0:~]$bash -l
[sysadmin-vm:0_RP0:~]$ gather
File will be generated and will get saved in rp0_xr:/misc/disk1
Algemene logcollectie voor Tomahawk, LSQ en LSP
show platform
show inventory
show tech fabric
show tech np
show tech ethernet interface
show logging
show pfm location all
show pfm trace location <location id>
sh pfm process <> location <>
show controllers pm vqi location all
show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)
show controllers fti trace <process-name> location <card location>
Cxr:
From admin:
show logging onboard common location <>
show logging onboard error location <>
Exr:
From sysadmin/calvados:
show logging onboard fabric location <>"
Gemeenschappelijke foutenhandtekening en aanbeveling
| Categorie |
Fout |
Opmerkingen |
Aanbeveling |
| NP-initiële fout |
LC/0/0/CPU0:sep 29 00:41:13.171 IST: pfm_node_lc[304]: %PLATFORM-NP-1-NP_INIT_FAIL_NO_RESET: Set|prm_server_ty[168018]|0x1008006|Persistent NP-initialisatiefout, het opnieuw laden van de lijnkaart is niet vereist. |
NP kan in NP gaan in persistente fout door HW parity/TCAM fout die NP dwingt om naar beneden te gaan. |
LC Reload via CLI om te herstellen. |
| De kwestie kan zich herstellen indien van voorbijgaande aard na de eerste herlading van LC. |
Voltooi een Return Material Authorisation (RMA) voor herhaalde gevallen van dezelfde fout. |
||
| RMA als herhaalde gevallen worden gezien. (Maak een foto van het defecte bord om te controleren op beschadigingen/bogen pennen in SR). |
|||
| De nieuwe kaart kan hetzelfde probleem hebben als gevolg van foutieve veldoverhandeling. |
|||
| Interface in kaart gebracht aan NP blijft neer/Geen impact. |
|||
| ASIC FATAL ERROR-Dubbele bit ECC-fout |
LC/0/8/CPU0:May 29 18:29:09.836 IST: pfm_node_lc[301]: %FABRIC-FIA-0-ASIC_FATAL_ERROR: Set|fialc[159811]|0x108a00|Fabric interface asic ASIC0 aangetroffen fatale fout 0x1 - DDR DUBBELE ECC FOUT |
Dit is een dubbele-bit ECC fout op FIA is een Harde fout. |
HW-fout op FIA. |
| De fout kan opnieuw verschijnen en dus admin sluiten van LC wordt aanbevolen. |
RMA de kaart. |
||
| Interface in kaart gebracht aan NP/FIA blijft neer/Geen impact. |
|||
| Het probleem is te zien in een van de gevallen waarin FIA met het fib_mgr-procesblok kwam. |
|||
| SERDES-fout |
·RP/0/RSP1/CPU0:apr 17 12:22:10.690 IST: pfm_node_rp[378]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LNK0: Set|fab_xbar[209006]|0x101702f|XBAR_1_Slot_1 |
Fabric fout op LC stof of RSP stof |
LC Reload door CLI om de transient / CRC fout te herstellen voor herhaalde fout. |
| GEGEVENS_NB_SERDES_1_FAIL_0 |
LC/0/3/CPU0:apr 10 18:55:03.213 IST: pfm_node_lc[304]: %FABRIC-FIA-1-DATA_NB_SERDES_1_FAIL_0: Set|fialc[168004]|0x103d001|Data NB-servers Link 1 Fout op FIA 1 RP/0/RSP0/CPU0:apr 10 18:55:13.043 IST: FABMGR[227]: %PLATFORM-FABMGR-2-FABRIC_INTERNE_ERROR: 0/3/CPU0 (sleuf 3) aangetroffen fabric error. Interfaces zullen worden uitgeschakeld. |
Interfaceomleidingsmechanisme om de SERDES-fout op de stof automatisch te herstellen. In het geval van een HW-probleem kan de fout opnieuw optreden op LC of RSP. De interface blijft omhoog / frequente fouten op SERDES beïnvloedden het verkeer. |
RMA voor herhaalde gevallen na OIR. |
| SIC INIT-fouten |
·LC/0/6/CPU0:Jul 17 00:01:40.738 2019:pfm_node_lc[301]: %FABRIC-FIA-1-ASIC_INIT_ERROR: Set|fialc[168003]|0x108a00|ASIC INIT-fout gedetecteerd op FIA-instantie 0 |
FIA instant event voor een van de FIA on LC met ASIC INIT ERROR in Syslog. |
LC Reload door CLI om elk tijdelijk probleem uit te sluiten. |
| FATAL-fout FIA ASIC (TS_NI_INTR_LCL_TIMER_VERLOPEN) |
LC/0/19/CPU0:Mar 8 04:52:29.020 IST: pfm_node_lc[301]: %FABRIC-FIA-0-FATAL_INTERRUPT_ERROR: Set|fialc[172098]|0x108a003|FIA fatale fout onderbreking op FIA 3: TS_NI_INTR_LCL_TIMER_EXPATED |
Bij de nieuwe kaart is gebleken dat de unit tijdens het transport/de installatie verkeerd is behandeld, wat fysieke schade aan het bord heeft veroorzaakt. Een paar planken vertoonden geen fysieke schade, maar tijdens EFA werd een soldeerbarst waargenomen. Dit duidt op overbelasting van de verpakking en op een mogelijk defect in de loop van de tijd. De interface blijft omhoog / frequente fouten op SERDES beïnvloedden het verkeer. |
Als het probleem zich blijft voordoen, gaat u verder met RMA/R&R. |
| NP snelle reset (Tomahawk ) |
LC/0/4/CPU0:Jul 6:04:06:49.259 IST: prm_server_ty[318]: %PLATFORM-NP-3-ECC: prm_ser_check: Voltooide NP snel gereset om succesvol te herstellen van een zachte fout op NP 1. Er zijn geen verdere corrigerende maatregelen vereist. |
NP detecteert het probleem van de zachte pariteit en probeert het op te lossen door te proberen de NP snel reset. |
Geen RMA bij het eerste voorkomen. |
| NP gelijkheids LC-herlading |
LC/0/6/CPU0:Jan 27 20:38:08.011 IST: prm_server_to[315]: %PLATFORM-NP-0-LC_RELOAD: NP3 had 3 snelle resets binnen een uur, initiërend NPdatalogusverzameling en automatische LC reboot |
Gewoonlijk, na drie herstelpogingen, laadt de LC op zichzelf voor het bevestigen van de pariteitskwestie op NP gewoonlijk gezien voor de kaart van Tomahawk. LC neemt auto-recovery actie door het herladen van de LC en het vastleggen van de zachte niet-herstelbare pariteitskwestie in het gerapporteerde NP. De interface aan NP wordt in kaart gebracht daalt met het terugstellen/geen effect die. |
RMA voor herhaalde gevallen van dezelfde fout. |
| LC_NP_LOOPBACK_MISLUKT |
LC/0/1/CPU0:Jul 26 17:29:06.146 IST: pfm_node_lc[304]: %PLATFORM-DIAGS-0-LC_NP_LOOPBACK_FAIL_TX_PATH: Set|online_diag_lc[168022]|NPU-loopback Test(0x2000006)|Link failure mask is 0x1. |
LC NP loopback diag test fout op een van de NP. |
LC Reload door CLI om elk tijdelijk probleem uit te sluiten. |
| Alarminstelling in PFM als "LC_NP_LOOPBACK_MISLUKTE_XX_PATH". |
RMA voor herhaalde gevallen van dezelfde fout. |
||
| De interface aan NP wordt in kaart gebracht daalt met het terugstellen/geen effect die. |
|||
| FABRIC-FIA-1-DUURZAAM_CRC_ERR |
LC/0/5/CPU0:Mar 6 05:47:34.748 IST: pfm_node_lc[303]: %FABRIC-FIA-1-SUSTAined_CRC_ERR: Set|fialc[168004]|0x103d000|Fabric interface ASIC-0 heeft CRC-fouten ondersteund |
Fia shutdown vanwege FABRIC FIA AANHOUDENDE CRC fout. |
LC Reload door CLI om elk tijdelijk probleem uit te sluiten. |
| Met FIA shutdown wordt ook de interface op de FIA uitgeschakeld. |
RMA voor herhaalde gevallen van dezelfde fout. |
||
| De interface blijft omhoog / Geen impact. |
|||
| FAB ARB XIF1-FOUT |
·LC/0/6/CPU0:jan 25 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR: Wis|fab_arb[163918]|0x1001001|LIT_XIF1_K_CHAR_ERR LC/0/6/CPU0:jan 25 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-SYNC_ERR: Wis|fab_arb[163918]|0x1001001|LIT_XIF1_LOSS_SYNC LC/0/6/CPU0:jan 25 19:33:23.010 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR: Set|fab_arb[163918]|0x1001001|LIT_XIF1_DISP_ERR |
PUNT fout voor LC & Fabric arbiter sync & rx_link fout. De interface blijft omhoog / Geen impact. |
OIR de kaart om een tijdelijke kwestie uit te sluiten. RMA voor herhaalde gevallen van dezelfde fout. |
| FPOE_read_write fout |
xbar fout spoor (toon tech stof) |
Cisco bug-id CSCv45788 |
Software defect |
| FIA_XBAR-SERVERS |
#show controller stof fia link-status locatie 0/9/CPU0 |
OIR de kaart om een tijdelijke kwestie uit te sluiten. RMA voor herhaalde gevallen van dezelfde fout. |
|
| NP DIAG ICFD snelle reset |
NP-DIAG op NP0, ICFD (STS-1), NP kan 0-4 zijn NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot |
Triggers een FAST reset van NP LC herlaadt als 3 NP snel terugstelt in een uur. |
Als LC meerdere malen herlaadt, RMA. |
| PRM-bewaking van status is niet gelukt pakket-NP snel te herstellen |
NP-DIAG-fout bij gezondheidstoezicht NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot |
Triggers een FAST reset van NP LC herlaadt als 3 NP snel terugstelt in een uur. |
Als LC meerdere malen herlaadt, RMA. |
| PRM-bewaking van status wordt beschadigd pakketsnelheid-NP-reset |
NP-DIAG gezondheidsmonitoring corruptie op NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot |
Triggers een FAST reset van NP LC herlaadt als 3 NP snel terugstelt in een uur. |
Als LC meerdere malen herlaadt, RMA. |
| Belangrijkste inactiviteitsfout |
NP-DIAG-fout op NP Onderbreek van Ucode op Top inactiviteit - doet NP snel terugstellen |
Triggers een FAST reset van NP LC herlaadt als 3 NP snel terugstelt in een uur. |
Als LC meerdere malen herlaadt, RMA. |
| LSP-NP-initiële fout |
LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL: Kan lda_bb_np_reset_process 13795 niet initialiseren tegen 0x2 LC INIT: Mislukt in NP HAL Reset np (0x00000001 - Handeling niet toegestaan): npu_server_lsp : (PID=4597) : -Traceback= 7fea2d5cd9f67d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031 7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a9dbd691e9 |
Deze informatie moet worden verzameld:
Bestand wordt gegenereerd en wordt opgeslagen in rp0_xr:/misc/disk1
|
LC Reload door CLI om elk tijdelijk probleem uit te sluiten. |
| Tomahawk NP Init Failure (DDR-training MISLUKT) |
+++ tonen prm server spoor fout locatie 0/7/CPU0 [14:36:59.520 IST za 29 jan 2022] ++++ 97 inpakken (2112 mogelijk, 320 toegewezen, 0 gefilterd, 97 totaal) Jan 29 00:22:10.135 prm_server/fout 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 fout bij aandrijven kanaal 3 fase 4 Jan 29 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Power phase 4 is mislukt op kanaal 3 Jan 29 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3 is niet opgestart, opnieuw proberen. Nummer 1 opnieuw proberen Jan 29 00:22:35.125 prm_server/fout 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 fout bij aandrijven kanaal 3 fase 4 Jan 29 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Power phase 4 is mislukt op kanaal 3 Jan 29 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3 is niet opgestart, opnieuw proberen. Nummer 2 opnieuw proberen Jan 29 00:22:59.075 prm_server/fout 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 fout bij aandrijven kanaal 3 fase 4 Jan 29 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Power phase 4 is mislukt op kanaal 3 Jan 29 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup Na 3 pogingen is NP3 niet geïnitialiseerd. Jan 29 00:23:00.087 prm_server/error 0/7/CPU0 t10 prm_send_pfm_msg: Persistent NP initialisatiefout, linecard reload niet vereist. Logbestanden van NP-stuurprogramma controleren <NP#3>DDR-training FAALT (status 0x1) <NP#3>ddr3TipRunAlg: afstemming mislukt 0 <NP#3>Opcode ddrTipRunAlgo: ddr3TipRunAlg is mislukt (fout 0x1) <NP#3>*** fout: onbekend 0x1 |
knooppunt: knooppunt0_7_CPU0 29 jan. 00:22:58|8 |NP_INIT_FAIL_NO_RESET |E/A|5356 |Netwerkprocessen|0x1008000 |
LC Reload door CLI om elk tijdelijk probleem uit te sluiten. Als het probleem nog steeds RMA de LC Cisco fout-id CSCwa85165 |
| LSP NP-fout bij openen (HBMReadParticleError-fout) |
LC/0/13/CPU0:jan 10 13:34:59.106 IST: npu_server_lsp[278]: %PLATFORM-NP-4-SHUTDOWN_START: NP4: EMRHIMREG.ch1Psch0HbmReadParticleError-fout gedetecteerd, NP-stopzetting in uitvoering LC/0/13/CPU0:jan 10 13:34:59.106 IST: pfm_node_lc[330]: %PLATFORM-NP-0-UNRECOVERABLE_ERROR: Set|npu_server_lsp[4632]|0x10a5004|Op NP4 is een niet-herstelbare fout gedetecteerd |
+++ tonen controllers np onderbreekt alle locatie 0/13/CPU0 [16:02:16.712 IST Mon Jan 10 2022] ++++ Knooppunt: 0/13/CPU0: ---------------------------------------------------------------- NPU Interrupt Naam ID vervolg — ------------------------------------------------------------------------------------------ -------------- ------- <knip> 4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1PSCH1 0x201dc013 1 4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1PSCH0 0x201dc012 1 |
Controleer of Cisco bug-id CSCvt59803 is geïnstalleerd. LC reload door CLI helpt te herstellen. |
| Arbitor Link Down met Standby |
Fabric Manager: |
OIR de kaart om een tijdelijke kwestie uit te sluiten. RMA voor herhalingsinstantie van dezelfde fout. |
|
| Serdes-fout |
tonen serdes traceringsplaats 0/X/CPU0 | i "HTL_ERR_APPARAATNIET_CONNECTED") zie je deze fouten: |
Cisco bug-id CSCvz75552 |
Software defect |
Bekende gebreken
| Cisco bug-ID | Samengesteld | Titel |
| Cisco bug-id CSCvy00012 | asr9k-diags-online | Uitputting van pakketgeheugen door online_diag_rsp |
| Cisco bug-id CSCvw57721 | asr9k-servicepack | Umbrella SMU met bijgewerkte firmware voor Lightspeed NP en arbiter serdes |
| Cisco bug-id CSCvz75552 | asr9k-vic-ls | PHY-firmware hangt en veroorzaakt optica niet herkend worden op A9K-20HG-FLEX |
| Cisco bug-id CSCvz76691 | asr9k-servicepack | Umbrella SMU met verbeterde linkstatus interrupt handling voor Tomahawk linecards |
| Cisco bug-id CSCvz84139 | asr9k-ls-fabric | fab_si crash wanneer router geüpgraded naar 742 |
| Cisco fout-id CSCwa81006 | asr9k-pfm | ASR9K/eXR kan de uitschakeling van de error-manager datapath-poort in sommige scenario's niet uitvoeren |
| Cisco bug-id CSCvz16840 | asr9k-fia | BLB-sessies flap bij CLI reload LC omdat het doorsturen van pad vroegtijdig is afgesloten vanwege wijzigingen toegevoegd in 6.5.2 |
| Cisco fout-id CSCwb64255 | asr9k-fab-xbar | nieuwe SI-instellingen voor SKB in Starscream(9912) en Megatron(9922) chassis |
| Cisco fout-id CSCwa09794 | asr9k-fab-xbar | nieuwe SI na fijnafstemming voor RO-chassis voor SKB-SM15 |
| Cisco bug-id CSCv45788 | asr9k-fab-xbar | fab_xbar en mgid-programmeur die tegelijkertijd toegang hebben tot hoe |
| Cisco fout-id CSCwd22196 | asr9k-prm | Uitputting van RFD-buffer tussen ILKN-link op Tomahawk LC |
| Cisco fout-id CSCwb66960 | asr9k-fab-infra | Foutisolatie van ASR9k punt-stof |
| Cisco fout-id CSCwa79758 | asr9k-fab-xbar | Multicastverlies op LSP LC na het doen van OIR van een andere LSP LC met XBAR verbindingsfout |
| Cisco bug-id CSCvw88284 | asr9k-lda-ls | RSP5 BW standaard tot 200G op 9910/9906 chassis in plaats van 600G. |
| Cisco bug-id CSCvm82379 | asr9k-fab-arb | fab-arb crashte tijdens het nemen van haar tech stof |
| Cisco bug-id CSCvh00349 | asr9k-fia | ASR9k-fabric kan omgekeerde pakketten verwerken die tijdens standby worden verzonden |
| Cisco bug-id CSCvk44688 | asr9k-fia | FPGA had herhaaldelijk fouten en kon niet herstellen |
| Cisco bug-id CSCvy31670 | asr9k-ls-fia | LSP: Door FC0 te verwijderen wordt de snelheidsbegrenzer van het weefsel ingeschakeld, FC4 niet |
| Cisco fout-id CSCvt59803 | asr9k-LS-NPdriver | LSP: PLATFORM-NP-4-SHUTDOWN IMRHIMREG.ch1Psch1HBMReadParticleError |
Gedrag van fault-manager datapath port shutdown/toggle Opdracht
- Het
fault-manager datapath port shutdownDe opdracht helpt bij het afsluiten van de poorten van de respectievelijke FIA/NP waarvoor het Point Datapath Failure-alarm is ingesteld, op Active RP/RSP, en de interface komt niet automatisch omhoog totdat u de LC opnieuw laadt. Deze CLI-opdracht werkt niet zoals verwacht van de 7. x.x-release. (CLI-opdrachtfault-manager datapath port shutdownwerkt niet volgens ontwerp van 7. x.x) - vast in 7.7.2. - Het
fault-manager datapath port toggleCLI-opdracht werkt prima. Het opent de haven zodra het Punt Datapath Failure alarm duidelijk is. - Dit helpt om een servicestoring te voorkomen als er juiste redundantie op linkniveau en beschikbaarheid van bandbreedte op het redundante pad beschikbaar is.
Testen - voor het valideren van de eerder vermelde opdrachtbewerking.
Het introduceren van PUNT-foutgeneratie op NP0 LC7:
RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0
Wed Jul 7 14:15:17.489 UTC
Usage of NP monitor is recommended for cisco internal use only.
Please use instead 'show controllers np capture' for troubleshooting packet drops in NP
and 'monitor np interface' for per (sub)interface counter monitoring
Warning: Every packet captured will be dropped! If you use the 'count'
option to capture multiple protocol packets, this could disrupt
protocol sessions (eg, OSPF session flap). So if capturing protocol
packets, capture only 1 at a time.
Warning: A mandatory NP reset will be done after monitor to clean up.
This will cause ~150ms traffic outage. Links will stay Up.
Proceed y/n [y] > y
Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)
Wed Jul 7 14:17:08 2021 -- NP0 packet
From Fabric: 127 byte packet
0000: 00 09 00 00 b4 22 00 00 ff ff ff ff 00 00 ff ff ....4"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 LLLL****UUUU...
(count 1 of 20)
Wed Jul 7 14:18:09 2021 -- NP0 packet
From Fabric: 256 byte packet
0000: 00 09 00 00 b5 22 00 00 ff ff ff ff 00 00 ff ff ....5"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00 LLLL****UUUU....
0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff ................
0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc ........ppppLLLL
00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00 ****UUUU........
00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff ................
00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
(count 2 of 20)
Wed Jul 7 14:19:09 2021 -- NP0 packet
Actual packet size 515 bytes truncated size 384:
From Fabric: 384 byte packet
0000: 00 09 00 00 b6 22 00 00 ff ff ff ff 00 00 ff ff ....6"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00 LLLL****UUUU....
0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff ................
0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc ........ppppLLLL
00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00 ****UUUU........
00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff ................
00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0100: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0110: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0120: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0130: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0140: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0150: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0160: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0170: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/RP0/CPU0
Wed Jul 7 14:19:17.174 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:19:17 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
Jul 7 14:19:09 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED |ER |9429 |System Punt/Fa|0x2000004
RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/Rp0/CPU0
Wed Jul 7 14:19:37.128 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:19:37 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
PER PROCESS TOTAL: 0 EM: 0 CR: 0 ER: 0
Device/Path[1 ]:Fabric loopbac [0x2000003 ] State:RDY Tot: 0
Device/Path[2 ]:System Punt/Fa [0x2000004 ] State:RDY Tot: 1
1 Fault Id: 432
Sev: ER
Fault Name: PUNT_FABRIC_DATA_PATH_FAILED
Raised Timestamp: Jul 7 14:19:09 2021
Clear Timestamp: N/A
Changed Timestamp: N/A
Resync Mismatch: FALSE
MSG: failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)
Device/Path[3 ]:Crossbar Switc [0x108c000 ] State:RDY Tot: 0
Device/Path[4 ]:Crossbar Switc [0x108c001 ] State:RDY Tot: 0
Device/Path[5 ]:Crossbar Switc [0x108c002 ] State:RDY Tot: 0
Device/Path[6 ]:Crossbar Switc [0x108c003 ] State:RDY Tot: 0
Device/Path[7 ]:Crossbar Switc [0x108c004 ] State:RDY Tot: 0
Device/Path[8 ]:Crossbar Switc [0x108c005 ] State:RDY Tot: 0
Device/Path[9 ]:Crossbar Switc [0x108c006 ] State:RDY Tot: 0
Device/Path[10]:Crossbar Switc [0x108c007 ] State:RDY Tot: 0
Device/Path[11]:Crossbar Switc [0x108c008 ] State:RDY Tot: 0
Device/Path[12]:Crossbar Switc [0x108c009 ] State:RDY Tot: 0
Device/Path[13]:Crossbar Switc [0x108c00a ] State:RDY Tot: 0
Device/Path[14]:Crossbar Switc [0x108c00b ] State:RDY Tot: 0
Device/Path[15]:Crossbar Switc [0x108c00c ] State:RDY Tot: 0
Device/Path[16]:Crossbar Switc [0x108c00d ] State:RDY Tot: 0
Device/Path[17]:Crossbar Switc [0x108c00e ] State:RDY Tot: 0
Device/Path[18]:Fabric Interfa [0x108b000 ] State:RDY Tot: 0
Device/Path[19]:Fabric Arbiter [0x1086000 ] State:RDY Tot: 0
Device/Path[20]:CPU Controller [0x108d000 ] State:RDY Tot: 0
Device/Path[21]:Device Control [0x109a000 ] State:RDY Tot: 0
Device/Path[22]:ClkCtrl Contro [0x109b000 ] State:RDY Tot: 0
Device/Path[23]:NVRAM [0x10ba000 ] State:RDY Tot: 0
Device/Path[24]:Hooper switch [0x1097000 ] State:RDY Tot: 0
Device/Path[25]:Hooper switch [0x1097001 ] State:RDY Tot: 0
Device/Path[26]:Hooper switch [0x1097002 ] State:RDY Tot: 0
Device/Path[27]:Hooper switch [0x1097003 ] State:RDY Tot: 0
De haven ging in dit geval niet naar beneden:
RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0
Wed Jul 7 14:21:29.693 UTC
Interface IP-Address Status Protocol Vrf-Name
TenGigE0/7/0/0 unassigned Down Down default
TenGigE0/7/0/1 unassigned Down Down default
TenGigE0/7/0/2 unassigned Down Down default
TenGigE0/7/0/3 unassigned Down Down default
TenGigE0/7/0/4 unassigned Down Down default
TenGigE0/7/0/5 unassigned Down Down default
TenGigE0/7/0/6 unassigned Down Down default
TenGigE0/7/0/7 unassigned Shutdown Down default
TenGigE0/7/0/8 unassigned Shutdown Down default
TenGigE0/7/0/9 unassigned Shutdown Down default
TenGigE0/7/0/10 unassigned Down Down default
TenGigE0/7/0/11 unassigned Down Down default
TenGigE0/7/0/12 unassigned Down Down default
TenGigE0/7/0/13 unassigned Shutdown Down default
TenGigE0/7/0/14 unassigned Shutdown Down default
TenGigE0/7/0/15 unassigned Shutdown Down default
TenGigE0/7/0/16 unassigned Shutdown Down default
TenGigE0/7/0/17 unassigned Shutdown Down default
TenGigE0/7/0/18 unassigned Down Down default
TenGigE0/7/0/19 unassigned Up Up default >>>>>>> Port is UP
RP/0/RP0/CPU0:ASR-9922-A#sh logging last 200 | in 0/7/0
Wed Jul 7 14:22:35.715 UTC
RP/0/RP0/CPU0:ASR-9922-A#
Testcase 1.2:
NP/Poorten-gedrag met de fault-manager datapath port toggle opdracht:
RP/0/RP0/CPU0:ASR-9922-A#sh run formal | in data
Wed Jul 7 14:52:11.714 UTC
Building configuration...
fault-manager datapath port toggle
RP/0/RP0/CPU0:ASR-9922-A#
Geen alarm in PFM:
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/Rp0/CPU0
Wed Jul 7 14:55:13.410 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:55:13 2021
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 0
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
RP/0/RP0/CPU0:ASR-9922-A#
PUNT fout generatie in NP0 LC7:
RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0
Wed Jul 7 14:51:18.596 UTC
Usage of NP monitor is recommended for cisco internal use only.
Please use instead 'show controllers np capture' for troubleshooting packet drops in NP
and 'monitor np interface' for per (sub)interface counter monitoring
Warning: Every packet captured will be dropped! If you use the 'count'
option to capture multiple protocol packets, this could disrupt
protocol sessions (eg, OSPF session flap). So if capturing protocol
packets, capture only 1 at a time.
Warning: A mandatory NP reset will be done after monitor to clean up.
This will cause ~150ms traffic outage. Links will stay Up.
Proceed y/n [y] > y
Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)
Wed Jul 7 14:53:21 2021 -- NP0 packet
From Fabric: 127 byte packet
0000: 00 09 00 00 d8 22 00 00 ff ff ff ff 00 00 ff ff ....X"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 LLLL****UUUU...
(count 1 of 20)
Wed Jul 7 14:54:22 2021 -- NP0 packet
From Fabric: 256 byte packet
0000: 00 09 00 00 d9 22 00 00 ff ff ff ff 00 00 ff ff ....Y"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00 LLLL****UUUU....
0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff ................
0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc ........ppppLLLL
00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00 ****UUUU........
00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff ................
00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
(count 2 of 20)
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/Rp0/CPU0
Wed Jul 7 14:56:24.459 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:56:24 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
Jul 7 14:55:23 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED |ER |9429 |System Punt/Fa|0x2000004
RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/RP0/CPU0
Wed Jul 7 14:56:39.961 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:56:40 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
PER PROCESS TOTAL: 0 EM: 0 CR: 0 ER: 0
Device/Path[1 ]:Fabric loopbac [0x2000003 ] State:RDY Tot: 0
Device/Path[2 ]:System Punt/Fa [0x2000004 ] State:RDY Tot: 1
1 Fault Id: 432
Sev: ER
Fault Name: PUNT_FABRIC_DATA_PATH_FAILED
Raised Timestamp: Jul 7 14:55:23 2021
Clear Timestamp: N/A
Changed Timestamp: N/A
Resync Mismatch: FALSE
MSG: failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)
Device/Path[3 ]:Crossbar Switc [0x108c000 ] State:RDY Tot: 0
Device/Path[4 ]:Crossbar Switc [0x108c001 ] State:RDY Tot: 0
Device/Path[5 ]:Crossbar Switc [0x108c002 ] State:RDY Tot: 0
Device/Path[6 ]:Crossbar Switc [0x108c003 ] State:RDY Tot: 0
Device/Path[7 ]:Crossbar Switc [0x108c004 ] State:RDY Tot: 0
Device/Path[8 ]:Crossbar Switc [0x108c005 ] State:RDY Tot: 0
Device/Path[9 ]:Crossbar Switc [0x108c006 ] State:RDY Tot: 0
Device/Path[10]:Crossbar Switc [0x108c007 ] State:RDY Tot: 0
Device/Path[11]:Crossbar Switc [0x108c008 ] State:RDY Tot: 0
Device/Path[12]:Crossbar Switc [0x108c009 ] State:RDY Tot: 0
Device/Path[13]:Crossbar Switc [0x108c00a ] State:RDY Tot: 0
Device/Path[14]:Crossbar Switc [0x108c00b ] State:RDY Tot: 0
Device/Path[15]:Crossbar Switc [0x108c00c ] State:RDY Tot: 0
Device/Path[16]:Crossbar Switc [0x108c00d ] State:RDY Tot: 0
Device/Path[17]:Crossbar Switc [0x108c00e ] State:RDY Tot: 0
Device/Path[18]:Fabric Interfa [0x108b000 ] State:RDY Tot: 0
Device/Path[19]:Fabric Arbiter [0x1086000 ] State:RDY Tot: 0
Device/Path[20]:CPU Controller [0x108d000 ] State:RDY Tot: 0
Device/Path[21]:Device Control [0x109a000 ] State:RDY Tot: 0
Device/Path[22]:ClkCtrl Contro [0x109b000 ] State:RDY Tot: 0
Device/Path[23]:NVRAM [0x10ba000 ] State:RDY Tot: 0
Device/Path[24]:Hooper switch [0x1097000 ] State:RDY Tot: 0
Device/Path[25]:Hooper switch [0x1097001 ] State:RDY Tot: 0
Device/Path[26]:Hooper switch [0x1097002 ] State:RDY Tot: 0
Device/Path[27]:Hooper switch [0x1097003 ] State:RDY Tot: 0
Interface TenGigE0/7/0/19 ging omlaag van NP0:
RP/0/RP0/CPU0:ASR-9922-A#show logging last 200 | in 0/7/0
Wed Jul 7 14:58:42.959 UTC
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
Interface TenGigE0/7/0/19, changed state to Down
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
Line protocol on Interface TenGigE0/7/0/19, changed state to Down
RP/0/RP0/CPU0:Jul 7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)
LC/0/7/CPU0:Jul 7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :
Interface TenGigE0/7/0/19, Detected Remote Fault
LC/0/7/CPU0:Jul 7 14:55:26.936 UTC: lda_server[114]: %PKT_INFRA-FM-2-FAULT_CRITICAL :
ALARM_CRITICAL :OPTICS RX POWER LANE-0 LOW ALARM :CLEAR : Te0/7/0/0:
Gestopt PUNT fout genereren:
RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0
Wed Jul 7 14:59:16.322 UTC
Interface IP-Address Status Protocol Vrf-Name
TenGigE0/7/0/0 unassigned Down Down default
TenGigE0/7/0/1 unassigned Down Down default
TenGigE0/7/0/2 unassigned Down Down default
TenGigE0/7/0/3 unassigned Down Down default
TenGigE0/7/0/4 unassigned Down Down default
TenGigE0/7/0/5 unassigned Down Down default
TenGigE0/7/0/6 unassigned Down Down default
TenGigE0/7/0/7 unassigned Shutdown Down default
TenGigE0/7/0/8 unassigned Shutdown Down default
TenGigE0/7/0/9 unassigned Shutdown Down default
TenGigE0/7/0/10 unassigned Down Down default
TenGigE0/7/0/11 unassigned Down Down default
TenGigE0/7/0/12 unassigned Down Down default
TenGigE0/7/0/13 unassigned Shutdown Down default
TenGigE0/7/0/14 unassigned Shutdown Down default
TenGigE0/7/0/15 unassigned Shutdown Down default
TenGigE0/7/0/16 unassigned Shutdown Down default
TenGigE0/7/0/17 unassigned Shutdown Down default
TenGigE0/7/0/18 unassigned Down Down default
TenGigE0/7/0/19 unassigned Down Down default >>>>>>
Alarmmelding gestopt:
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/Rp0/CPU0
Wed Jul 7 15:01:44.478 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 15:01:44 2021
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 0
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
RP/0/RP0/CPU0:ASR-9922-A#
De interface verscheen:
RP/0/RP0/CPU0:ASR-9922-A#show logging | in 0/7/0/19
Wed Jul 7 15:06:11.532 UTC
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
Interface TenGigE0/7/0/19, changed state to Down
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
Line protocol on Interface TenGigE0/7/0/19, changed state to Down
RP/0/RP0/CPU0:Jul 7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)
LC/0/7/CPU0:Jul 7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :
Interface TenGigE0/7/0/19, Detected Remote Fault
LC/0/7/CPU0:Jul 7 15:03:27.204 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
Interface TenGigE0/7/0/19, changed state to Up
LC/0/7/CPU0:Jul 7 15:03:27.206 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
Line protocol on Interface TenGigE0/7/0/19, changed state to Up
RP/0/RP0/CPU0:Jul 7 15:03:29.219 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
TenGigE0/7/0/19 is Active as part of Bundle-Ether854
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
1.0 |
09-Jan-2023 |
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)