Inhoud

Inleiding

Achtergrondinformatie

Punt Fabric diagnostisch pakketpad

Architectuur op hoog niveau van de LC

Tomahawk LC

8x100G-architectuur

12 x 100G architectuur

Lightspeed LC

A9K-20HG-FLEX-SE/TR

A990-32x100 GE-X-SE/TR

A9K-8HG-FLEX-SE/TR

Virtuele uitgangswachtrijen en de arbiter

Overzicht van virtuele uitvoerwachtrij

Fabric Arbiter Diagram

Fabric-verbindingen

ASR 9006 en ASR 9010 Switch fabric interconnects

ASR 9922 Switch fabric interconnects

ASR 9922 en ASR 9912 backplane

Overzicht van online diagnostiek

Triage in het probleem

Informatie die nodig is om de Triage te starten

Diagnostische test

Fabric-triage

Arbiter Fault Triage

NP-foutentriage

Algemene logcollectie voor Tomahawk, LSQ en LSP

Gemeenschappelijke foutenhandtekening en aanbeveling

Bekende gebreken

Gedrag van error-manager datapadpoort, afsluiten/schakelen, opdracht

Inleiding

Dit document beschrijft foutmeldingen van het point fabric-gegevenspad die worden gezien tijdens een werking van Cisco Aggregation Services Router (ASR) 9000 Series.

Achtergrondinformatie

Het bericht wordt in deze bestandsindeling weergegeven:

- Het alarm wordt gezien op de routerconsole zoals hier getoond.

- Het betekent dat de loopback pad van deze berichten ergens is gebroken.

RP/0/RP0/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :

Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3,

(slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)

De kwestie komt voor NP1 en NP3 op 0/9/CPU0 eerder vermeld.

Dit document is bedoeld voor iedereen die de foutmelding wil begrijpen en de acties die moeten worden ondernomen als het probleem wordt gezien.

De op Tomahawk gebaseerde lijnkaart (LC) is beschikbaar als een Service Edge geoptimaliseerde (verbeterde QoS) of Packet Transport Optimaliseerde (basis-QoS) LC.

- SE - Geoptimaliseerde servicesedge

- TR - geoptimaliseerd pakkettransport

De 4-poorts en 8-poorts 100 Gigabit Ethernet-lijnkaart is beschikbaar in twee varianten die ondersteuning bieden voor LAN/WAN/ISDN Unified PHY CPAK-poorten of LAN PHY-only CPAK-poorten.

Deze LC's zijn gebaseerd op Tomahawk:

- A9K-8X100G-LB-SE

- A9K-8X100G-LB-TR

- A9K-8X100 GE-SE

- A9K-8X 100 GE-TR

- A9K-4X100 GE-SE

- A9K-4X100 GE-TR

- A9K-400G-DWDM-TR

- A9K-MOD400-SE

- A9K-MOD400-TR

- A9K-MOD200-SE

- A9K-MOD200-TR

- A9K-24X10 GE-1G-SE

- A9K-24X10 GE-1G-TR

- A9K-48X10 GE-1G-SE

- A9K-48X 10 GE-1G-TR

- A990-12X100 GE

- A990-8X100 GE-SE switch

- A990-8X100 GE-TR

Opmerking: Op Tomahawk gebaseerde LC-onderdeelnummers die beginnen met A99-X zijn compatibel met de Cisco ASR 9904, ASR 9906, ASR 9910, ASR 9912 en ASR 9922 chassis. Ze zijn niet compatibel met de Cisco ASR 9006 en ASR 9010 routers.

Op Lightspeed gebaseerde LC's zijn mogelijk beschikbaar als een Service Edge geoptimaliseerde (uitgebreide QoS) of Packet Transport Geoptimaliseerde (basis-QoS) LC. In tegenstelling tot op Tomahawk gebaseerde LC's is niet elk LC-model beschikbaar in zowel -SE- als -TR-types.

- SE - Geoptimaliseerde servicesedge

- TR - geoptimaliseerd pakkettransport

Deze LC's zijn gebaseerd op Lightspeed:

- A9K-16X100 GE-TR

- A990-16X100 GE-X-SE switch

- A990-32X100 GE-TR

Op LSP (LSP) gebaseerde LC's zijn beschikbaar als een Service Edge geoptimaliseerde (verbeterde QoS) of Packet Transport Optimized (basis QoS) LC.

Deze LC's zijn LSP-gebaseerd:

- A9K-4HG-FLEX-TR

- A9K-4HG-FLEX-SE

- A990-4HG-FLEX-TR

- A990-4HG-FLEX-SE switch

- A9K-8HG-FLEX-TR

- A9K-8HG-FLEX-SE

- A9K-20HG-FLEX-TR

- A9K-20HG-FLEX-SE

- A990-32X100 GE-X-TR

- A990-32X100 GE-X-SE switch

- A990-10X400GE-X-TR

- A990-10X400GE-X-SE switch

Punt Fabric diagnostisch pakketpad

- De diagnostische toepassing die wordt uitgevoerd op de routeprocessorkaart CPU injecteert diagnostische pakketten die periodiek voor elke netwerkprocessor (NP) zijn bestemd.

- Het diagnostische pakket wordt teruggeleefd binnen het NP en opnieuw geïnjecteerd naar de routeprocessorkaart CPU die het pakket afkomstig is.

- Deze periodieke gezondheidscontrole van elk NP met een uniek pakket per NP door de diagnostische toepassing op de routeprocessorkaart geeft een waarschuwing voor functionele fouten op het gegevenspad tijdens routerwerking.

- Het is essentieel om op te merken dat de diagnostische toepassing op zowel de actieve routeprocessor als de standby routeprocessor periodiek één pakket per NP injecteert en een per-NP succes of mislukkingstelling handhaaft.

- Elke minuut wordt een diagnostisch pakket naar NP verzonden (naar elke Virtual Queues Interface (VQI) vier keer (in totaal vier minuten/VQI) en loopt over alle VQI's van dat NP). Om het kort te houden, geeft u een voorbeeld:

Beschouw de LC heeft vier NP's, online diagnostiek moet alle NP's (om te weten dat ze gezond zijn - stof paden) uit te oefenen. Nu kan elk NP 20 VQI's hebben elk (0-19, 20 - 39, 40-59, 60-79).

In de eerste minuut stuurt de online diagnostiek één pakket naar elk NP.

1 min : against VQI 0, 20, 40, 60 (to all 4 NPs)

2 min:""""""""

3 min: """""""

4 min : """""

5th min : against VQI 1, 21, 41, 61..

6 min : """"""""

Dit herhaalt zich in een cyclus als alle VQI zijn voltooid.

- Wanneer een drempelwaarde van verloren diagnostische pakketten wordt bereikt, wordt een alarm in Platform Fault Manager (PFM) opgeroepen.

RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Apr  7 01:04:04 2022PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 0   CRITICAL(CR): 0   ERROR(ER): 1

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Apr  7 00:54:52 2022|0 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |10042 >>ID |System Punt/Fa|0x2000004

Leg deze opdrachtoutput vast om alle informatie over PFM-alarmen te verzamelen:

show pfm location all

show pfm trace location all

Als u meer informatie wilt zien over alarmen die door een specifiek proces worden opgeroepen, kunt u deze opdracht gebruiken:

show pfm process name <process_name> location <location> >>> location where the PFM alarm is observed

Architectuur op hoog niveau van de LC

Tomahawk LC

8x100G-architectuur

Tomahawk - 8x100G LC

12 x 100G architectuur

Tomahawk 12 * 100G LC

Lightspeed LC

A9K-20HG-FLEX-SE/TR

A9K-20HG-FLEX-SE/TR

A990-32x100 GE-X-SE/TR

A990-32x100 GE-X-SE/TR

A9K-8HG-FLEX-SE/TR

LC-architectuur

LC-architectuur

Virtuele uitgangswachtrijen en de arbiter

Elke RSP/RP (Route Switch Processor/Switch Processor) heeft twee fabric chips die beide worden bestuurd door één gemeenschappelijke arbiter (dubbele RSP's/RP's betekent veerkrachtige arbiters per chassis). Alleen de scheidsrechter op de actieve RSP/RP bestuurt alle vier stoffen chips (uitgaande van dubbele RSP's). Beide arbiters ontvangen echter de verzoeken om toegang tot de stof om op elk moment de staat van het hele systeem te kennen, zodat failover tussen RSP’s/RP’s onmiddellijk kan plaatsvinden. Er is geen keepalive tussen de arbiters, maar de RSP's/RP's hebben een Complex Programmable Logic Device (CPLD) ASIC (vergelijkbaar met een FPGA) en een van zijn functies is om de andere RSP/RP-status te volgen via lage keepalives en vast te stellen welke de actieve arbiter is.

Elke Fabric Interconnect ASIC heeft een set VQI's, wat een set wachtrijen is die een 100G-entiteit in het systeem (voor Tomahawk) vertegenwoordigen. Elke 100G-entiteit (1x100G-poorten op één uitgaande NP worden weergegeven met één 100G VQI in een NP van de toegang) heeft meerdere prioriteitsklassen.

Elke VQI heeft vier Virtual Output Queues (VOQ’s), voor verschillende pakketprioriteiten, waarvan er drie worden gebruikt in ASR 9000 voorwaartse architectuur. Deze komen overeen met prioriteitsniveaus 1 en 2 en blijven standaard in het beleid van toegang-QoS. Er zijn twee strikte prioriteitswachtrijen en één normale wachtrij (de vierde wachtrij is voor multicast en wordt niet gebruikt voor unicast-doorsturen).

Over het algemeen begint de standaardwachtrij eerst pakketten te laten vallen tijdens tegendruk van de uitgaande NP VQI's. Alleen wanneer de uitgaande Network Processing Unit (NPU) overbelast raakt (meer Bps of PPS bedienen dan de circuits kunnen verwerken), begint het tegendruk uit te oefenen op de ingress LC/NP. Dit wordt vertegenwoordigd door een VQI stroom die op de Fabric Interface ASIC (FIA) op dat ingangsLC stapelt.

Voorbeeld:

RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0  >>> LC0 is installed in slot 2

Node: 0/0/CPU0:

----------------------------------------------------------------

NP Bridge Fia                       Ports

-- ------ --- ---------------------------------------------------

0  --     0   TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9

1  --     1   TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3

2  --     2   HundredGigE0/0/0/4 - HundredGigE0/0/0/5  >>>Below is the VQI assignment

3  --     3   HundredGigE0/0/0/6 - HundredGigE0/0/0/7

RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 2

slot = 2

fia_inst = 2 >>>FIA 2

VQI = 40       SPEED_100G

VQI = 41       SPEED_100G

VQI = 42       SPEED_100G

VQI = 43       SPEED_100G

VQI = 44       SPEED_100G

VQI = 45       SPEED_100G

VQI = 46       SPEED_100G

VQI = 47       SPEED_100G

VQI = 56       SPEED_100G

VQI = 57       SPEED_100G

VQI = 58       SPEED_100G

VQI = 59       SPEED_100G

VQI = 60       SPEED_100G

VQI = 61       SPEED_100G

VQI = 62       SPEED_100G

VQI = 63       SPEED_100G

Wanneer de ingress LC besluit dat het een bepaald pakket naar een bepaalde uitgang NPU wil verzenden, dan heeft de modificeer (MDF)-fase op de ingress LC een pakket ingekapseld met een fabric-doelheader. Wanneer de FIA naar dat "adres" kijkt, controleert het de VOQ voor de bijzondere uitgang NPU/destation/LC en ziet of er genoeg bandbreedte beschikbaar is. Wanneer het klaar is om het te dewachteren aan die LC, vraagt de toegang FIA een subsidie van de stof (de arbiter) voor die bestemming LC. Het Arbitrage algoritme is QOS bewust, het zorgt ervoor dat P1 klassenpakketten voorkeur over P2 klasse enzovoort hebben. De arbiter zendt het verzoek om subsidie van de indringende FIA door aan de uitgaande FIA.

De indringende FIA kan meerdere pakketten samenvoegen die naar dezelfde uitgang LC gaan in wat een superframe wordt genoemd. Dit betekent dat het niet de eigen frames/pakketten zijn die over de switch fabric links gaan, maar superframes. Dit is belangrijk om op te merken omdat, in een test van een constante 100pps, de CLI de stoftellers kan tonen die slechts 50pps melden. Dit is geen pakketverlies, het zou enkel betekenen dat er twee pakketten in elke superframe die over de switch stof overbrengen zijn. Superframes omvatten het rangschikken van informatie en de steun FIAs van de bestemming het opnieuw ordenen (de pakketten kunnen "worden besproeid" over veelvoud van stoffenverbindingen). Alleen unicastpakketten worden in superframes geplaatst, nooit in multicast.

Zodra het pakket is ontvangen door de uittredende LC, wordt de subsidie teruggegeven aan de arbiter. De arbiter heeft een eindig aantal tokens per VOQ. Wanneer de arbiter de indringende FIA toestaat om een (super) frame naar een specifieke VOQ te sturen, wordt dat token alleen teruggegeven aan het zwembad wanneer de uitgaande FIA de frames levert aan de uitgaande NP. Als de uitgaande NP een tegendruksignaal naar de uitgaande FIA heeft gebracht, blijft de token bezet. Dit is hoe de arbiter uiteindelijk geen tokens meer heeft voor die VOQ in de indringingsFIA. Wanneer dat gebeurt, begint de indringende FIA de inkomende pakketten te laten vallen. De trigger voor de tegendruk is het benuttingsniveau van Receive Frame Descriptor (RFD)-buffers in een uitgaande NP. RFD-buffers houden de pakketten vast terwijl de NP-microcode ze verwerkt. Hoe meer de functieverwerking van het pakket doorgaat, hoe langer het in RFD buffers blijft.

1. Ingress FIA doet verzoeken om stof aan alle chassis arbiters.

2. Actieve arbiters controleren op gratis toegangskaarttokens en verwerken hun QoS-algoritme als er congestie aanwezig is.

3. Kredietmechanisme van lokale arbiter aan actieve arbiter op RSP.

4. Actieve arbiter stuurt fabric grant token naar de ingang FIA.

5. Ingress FIA load-balances (super)frames over verbindingen van de stof.

6. De uitgaande FIA geeft een fabric token aan de centrale arbiter.

Het is beter om het kredietmechanisme te noemen van de lokale arbiter naar de actieve arbiter op RSP. Voeg ook een andere sectie toe om mogelijke gevallen van arbiter fouten te behandelen (te hoeven niet te vermelden foutcodes, maar te hebben een blik op arbiter ASIC fouten) om te kijken in geval van een arbiter probleem en niet het krijgen van subsidies vanwege lokale of centrale arbiter en dat veroorzaakt opstapeling van de wachtrij.

Overzicht van virtuele uitvoerwachtrij

Virtuele uitvoerwachtrij

Pakketten die naar verschillende uitgaande NP's gaan, worden in verschillende VOQ-sets geplaatst. Congestie op één NP blokkeert niet het pakket dat naar verschillende NP's gaat.

Fabric Arbiter Diagram

Fabric Arbiter

Fabric-verbindingen

ASR 9006 en ASR 9010 Switch fabric interconnects

ASR 9006 en ASR 9010 Switch fabric interconnects

ASR 9922 Switch fabric interconnects

De ASR 9912 is hetzelfde met ondersteuning voor slechts 10 LC's en een single Fabric Interconnect Chip.

ASR 9922 Switch fabric interconnects

ASR 9922 en ASR 9912 backplane

ASR 9922 en ASR 9912 backplane

Overzicht van online diagnostiek

- De online diagnostische tool werkt zowel op LC als RP CPU.

- De diagnostische tests die het voorwaartse pad testen zijn:

- PuntFabricDataPath test die op actieve en standby RP CPU wordt uitgevoerd, die kenmerkende pakketten verzenden naar elke actieve NP in het systeem. Actieve RP verstuurt.

- PuntFabricDataPath diagnostische pakketten als unicast, terwijl stand-by ze als multicast verstuurt. Reactiepakketten worden teruggestuurd naar de oorspronkelijke RP CPU.

- NP Loopback test binnen LC.

- NPULoopback test die op elke LC CPU draait, die diagnostische pakketten naar elke NP stuurt. De reactiepakketten worden teruggestuurd naar LC CPU.

Triage in het probleem

De stappen hier geven enkele aanwijzingen voor het beperken van de kwesties die te maken hebben met het punt-pad falen. Ze hoeven niet exact in dezelfde volgorde te worden gevolgd.

Informatie die nodig is om de Triage te starten

- Zoek het aangetaste NP en LC:

show logging | inc “PUNT_FABRIC_DATA_PATH”

RP/0/RP1/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :

Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3, (slot, NP)

failed: (0/9/CPU0, 1) (0/9/CPU0, 3)

De kwestie komt voor NP1 en NP3 op 0/9/CPU0 eerder vermeld.

- Om de chassissleuf te vinden, voert u de run nslot all opdracht in.

- PFM-alarm

RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0

node: node0_RP1_CPU0

---------------------

CURRENT TIME: Mar 25 12:11:29 2022

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 0   CRITICAL(CR): 0   ERROR(ER): 1

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Mar 25 12:03:30 2022|1 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |8947   |System Punt/Fa|0x2000004

RP/0/RP1/CPU0:AG2-2#sh pfm process 8947 location 0/rp1/CPU0

node: node0_RP1_CPU0

---------------------

CURRENT TIME: Mar 25 12:12:36 2022

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 0   CRITICAL(CR): 0   ERROR(ER): 1

PER PROCESS TOTAL: 0   EM: 0   CR: 0   ER: 0

Device/Path[1 ]:Fabric loopbac  [0x2000003 ] State:RDY  Tot: 0

Device/Path[2 ]:System Punt/Fa  [0x2000004 ] State:RDY  Tot: 1

1   Fault Id:          432

Sev:               ER

Fault Name:        PUNT_FABRIC_DATA_PATH_FAILED

Raised Timestamp:  Mar 25 12:03:30 2022

Clear Timestamp:   Mar 25 12:07:32 2022

Changed Timestamp: Mar 25 12:07:32 2022

Resync Mismatch:   FALSE

MSG:               failure threshold is 3, (slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)

Diagnostiek van Packet Flow Diagram

- DIAG-pakketpad tussen RP en LC (het diagnostische pakketinterval is één minuut).

Packet path op RP:

online_diags <===> SPP <===> Fabric <===> NP

Packet path op LC:

online_diags <===> SPP <===> Punt-switch <====> NP

- NP-teruglooptest binnen LC

Elke minuut wordt er een DIAGS-pakket per NP van de LC CPU naar de Punt-Switch geïnjecteerd, en allemaal worden ze bij de NP's herleid. Ze gaan helemaal NIET naar het weefsel. Het omslagpunt of halverwege het merkteken is de microcode van elk NP.

- Diagnostisch verzendpad: LC: online diagnostiek > Injecteren > LC-NP > (loop)

- Diagnostisch retourpad: LC-NP > Punt > online diagnose: LC

Diagnostische test

RP/0/RP0/CPU0:AG2-2(admin)#show diagnostic content location <> >>> (in cXR)

RP/0/RP0/CPU0:AG2-2#show diagnostic content location <> >>> (in eXR)

A9K-8X100GE-L-SE 0/0/CPU0:

Diagnostics test suite attributes:

M/C/* - Minimal bootup level test / Complete bootup level test / NA

B/O/* - Basic ondemand test / not Ondemand test / NA

P/V/* - Per port test / Per device test / NA

D/N/* - Disruptive test / Non-disruptive test / NA

S/* - Only applicable to standby unit / NA

X/* - Not a health monitoring test / NA

F/* - Fixed monitoring interval test / NA

E/* - Always enabled monitoring test / NA

A/I - Monitoring is active / Monitoring is inactive

n/a -  Not applicable

Test Interval    Thre- Timeout

ID   Test Name                          Attributes     (day hh:mm:ss.ms shold ms   )

==== ================================== ============ ================= =====  =====

1) CPUCtrlScratchRegister ----------> *B*N****A       000 00:01:00.000 3 n/a

2) DBCtrlScratchRegister -----------> *B*N****A       000 00:01:00.000 3 n/a

3) PortCtrlScratchRegister ---------> *B*N****A       000 00:01:00.000 3 n/a

4) PHYScratchRegister --------------> *B*N****A       000 00:01:00.000 3 n/a

5) NPULoopback ---------------------> *B*N****A       000 00:01:00.000 3 n/a

RP/0/RP0/CPU0:AG2-2#show diagnostic result location 0/0/CPU0

A9K-8X100GE-L-SE 0/0/CPU0:

Overall diagnostic result: PASS

Diagnostic level at card bootup: bypass

Test results: (. = Pass, F = Fail, U = Untested)

1  ) CPUCtrlScratchRegister ----------> .

2  ) DBCtrlScratchRegister -----------> .

3  ) PortCtrlScratchRegister ---------> .

4  ) PHYScratchRegister --------------> .

5  ) NPULoopback ---------------------> .

- U kunt deze parameter "Injecteer diags pakketten" handmatig in detail testen zoals wordt aangegeven in dit voorbeeld:

admin diag start location 0/x/cpu0 test NPULoopback (cXR)

RP/0/RP0/CPU0:AG3_1#diagnostic start location 0/0/CPU0 test NPULoopback   >>> eXR

Fri May 13 06:53:00.902 EDT

RP/0/RP0/CPU0:AG3_1#show diagnostic res location 0/0/CPU0 test 5 detail >>> Here there are

multiple test 1-5 (check previous examples)

Test results: (. = Pass, F = Fail, U = Untested)

___________________________________________________________________________

5  ) NPULoopback ---------------------> .

Error code ------------------> 0 (DIAG_SUCCESS)

Total run count -------------> 67319

Last test execution time ----> Fri May 13 06:53:01 2022

First test failure time -----> n/a

Last test failure time ------> n/a

Last test pass time ---------> Fri May 13 06:53:01 2022

Total failure count ---------> 0

Consecutive failure count ---> 0

___________________________________________________________________________

- Controleer of NP DIAG-berichten ontvangt/verstuurt:

RP/0/RSP1/CPU0:AG2-2#show controllers np counters location | inc DIAG| LC_CPU

108  PARSE_RSP_INJ_DIAGS_CNT               25195          0  >>> total DIAG packets injected by Active+Stdby RP

904  PUNT_DIAGS_RSP_ACT                    12584          0  >>> Loopbacks to Active RP

906  PUNT_DIAGS_RSP_STBY                   12611          0  >>> Loopbacks to Stdby R

122  PARSE_LC_INJ_DIAGS_CNT                2618           0  >>> total DIAG packets injected by LC

790  DIAGS                                12618           0  >>> total DIAG packets replied back to LC

16  MDF_TX_LC_CPU                     3998218312         937  >>> a packet punted to LC CPU

PARSE_RSP_INJ_DIAGS_CNT should match (PUNT_DIAGS_RSP_ACT + PUNT_DIAGS_RSP_STDBY)

PARSE_LC_INJ_DIAGS_CNT should match DIAGS

PARSE_XX_INJ_DIAGS_CNT should increment periodically.

- Controleren of de Software Packet Path (SPP) DIAG-berichten verzenden/ontvangen:

show spp sid stats location | inc DIAG

2. DIAG                        35430

2. DIAG                        35430

Deze worden ontvangen en verzonden DIAG tellers. Zij kunnen altijd aanpassen en samen verhogen op LC.

- debug punt-inject l2-pakketten diag np 0 locatie 0/9/CPU0

Voorbeeldlogs: SPP verzendt en ontvangt het diagnostische pakket met opeenvolging geen 0x4e pakketten.

LC/0/1/CPU0:Jun 6 04:14:05.581 : spp[89]: Sent DIAG packet. NP:0 Slot:0 Seq:0x4e

LC/0/1/CPU0:Jun 6 04:14:05.584 : spp[89]: Rcvd DIAG packet. NP:0 Slot:0 Seq:0x4e

- Controleer op eventuele dalingen in het pakketpad:

show drops all location

show drops all ongoing location

- Controleer online diagnostische debugs (in cXR):

Online diagnostiek is nuttig vaak in het controleren van de tijdstempels wanneer de pakketten werden verzonden/ontvangen of gemist. Dergelijke tijdstempels kunnen met SPP worden vergeleken vangt voor pakketcorrelatie.

admin debug diagnostic engineer location

admin debug diagnostic error location

Opmerking: admin undebug all Voer de opdracht in om deze debugs uit te schakelen.

De output van de steekproef van debugs:

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: Slot 1 has 4 NPs  >>> Sending DIAG

messages to NPs on slot 1

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending

a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 0, sfp=0xc6

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending

a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 1, sfp=0xde

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending

a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 2, sfp=0xf6

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending

a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 3, sfp=0x10e

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:

Time took to receive 22 pkts: 503922888 nsec, timeout value: 500000000 nsec

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:

Received 22 packets, expected 24  => Some replies missed

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:

Got a packet from physical slot 1, np 0

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified

a packet, seq. no.: 25

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:

Got a packet from physical slot 1, np 2  <= Replies from NP1 and NP3 missing

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified

a packet, seq. no.: 25

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:

Got a packet from physical slot 3, np 0

- Diagnostisch spoor:

RP/0/RP1/CPU0:AG2-2#show diagnostic trace location 0/rp1/CPU0

Fri Mar 25 12:16:40.866 IST

1765 wrapping entries (3136 possible, 2048 allocated, 0 filtered, 3503120 total)

Mar 16 02:40:21.641 diags/online/gold_error 0/RP1/CPU0 t7356 Failed to get ack: got 0 responses,

expected 1

Mar 16 02:40:36.490 diags/online/message 0/RP1/CPU0 t8947 My nodeid 0x120, rack# is 0, slot# 1,

board type = 0x100327

Mar 16 02:40:36.948 diags/online/message 0/RP1/CPU0 t8947 dev cnt=25, path cnt=3, shm loc for

dev alarms@0x7fd4f0bec000, path alarms@0x7fd4f0bec01c, path alarm data@0x7fd4f0bec028

Mar 16 02:40:37.022 diags/online/message 0/RP1/CPU0 t8947 Last rpfo time: 1647378637

Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 2105# t9057 PuntFabricDataPath test error:

physical slot 11(LC# 9): expected np mask: 0x0000000f, actual: 0x0000000b, failed: 0x00000004

Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 634# t9057 PuntFabricDataPath test failure detected,

detail in the form of (0-based) (slot, NP: count): (LC9,2: 13)

Fabric-triage

- Fabricgezondheid (dit geeft een samenvatting van de status van de link, statistieken, druppels en alarmen):

show controllers fabric health location <>

- Gezondheid van de wervelkolom:

show controllers fabric health spine all

- Vastlegging fouten aan boord (OBFL) (na herladen is ook dit beschikbaar):

admin

sysadmin-vm:0_RP0# show logging onboard fabric location 0/0

- Controleer stoftellers op ingress LC FIA:

show controllers fabric fia errors ingress location <>

show controllers fabric fia stats location

- Ingress LC crossbar (niet van toepassing op Trident en SIP-700):

show controllers fabric crossbar statistics instance [0-1] location <>

- Voorste kruisbalk LC (niet van toepassing op Trident en SIP-700):

show controllers fabric crossbar statistics instance [0-1] location <>

- Uitgaande LC FIA:

show controllers fabric fia errors egress location <>

show controllers fabric fia stats location

- Statistieken wervelkolom:

show controllers fabric crossbar statistics instance [0-1] spine [0-6]

- Controleer de weefseldruppels:

- Ingress LC FIA:

show controllers fabric fia drops ingress location <>

- Uitgaande LC FIA:

show controllers fabric fia drops egress location <>

- ASIC-fouten:

- LSP:

show controllers fabric crossbar asic-errors instance 0 location<>

show asic-errors fia <> all location <>

- Tomahawk :

show asic-errors fia <> all location <>

RP/0/RP0/CPU0:AG3_1#show controllers np fabric-counters all np0 location 0/0/CPU0

Node: 0/0/CPU0:

----------------------------------------------------------------

Egress fabric-to-bridge interface 2 counters for NP 0

INTERLAKEN_CNT_TX_BYTES                       0x000073fc 23b6d99b

INTERLAKEN_CNT_TX_FRM_GOOD                    0x000000ae a79d6612

INTERLAKEN_CNT_TX_FRM_BAD                     0x00000000 00000000 >>> this is 0 which is good,

need to check if it is incremented

-------------------------------------------------------------

Egress fabric-to-bridge interface 3 counters for NP 0

INTERLAKEN_CNT_TX_BYTES                       0x0004abdd fe02068d

INTERLAKEN_CNT_TX_FRM_GOOD                    0x000005b8 089aac95

INTERLAKEN_CNT_TX_FRM_BAD                     0x00000000 00000000

-------------------------------------------------------------

Node: 0/0/CPU0:

----------------------------------------------------------------

Ingress fabric-to-bridge interface 2 counters for NP 0

INTERLAKEN_CNT_RX_BYTES                       0x0004aeb5 a4b9dbbe

INTERLAKEN_CNT_RX_FRM_GOOD                    0x0000058e b7b91c15

INTERLAKEN_CNT_RX_FRM_BAD                     0x00000000 00000000

INTERLAKEN_CNT_RX_BURST_CRC32_ERROR           0x00000000 00000000

INTERLAKEN_CNT_RX_BURST_CRC24_ERROR           0x00000000 00000000

INTERLAKEN_CNT_RX_BURST_SIZE_ERROR            0x00000000 00000000

-------------------------------------------------------------

Ingress fabric-to-bridge interface 3 counters for NP 0

INTERLAKEN_CNT_RX_BYTES                       0x000094ce b8783f95

INTERLAKEN_CNT_RX_FRM_GOOD                    0x000000f5 33cf9ed7

INTERLAKEN_CNT_RX_FRM_BAD                     0x00000000 00000000

INTERLAKEN_CNT_RX_BURST_CRC32_ERROR           0x00000000 00000000

INTERLAKEN_CNT_RX_BURST_CRC24_ERROR           0x00000000 00000000

INTERLAKEN_CNT_RX_BURST_SIZE_ERROR            0x00000000 00000000

- Zo verifieert u de koppelingsstatus van de FIA:

show controllers fabric fia link-status location

RP/0/RP0/CPU0:AG3_1#show controllers fabric fia link-status location 0/0/CPU0

********** FIA-0 **********

Category: link-0

spaui link-0                       Up >>> FIA to NP link

spaui link-1                       Up >>> FIA to NP link

arb  link-0                       Up >>> Arbitor link

xbar link-0                       Up >>> FIA to XBAR link

xbar link-1                       Up >>> FIA to XBAR link

xbar link-2                       Up >>> FIA to XBAR link

- Zo verifieert u de verbindingsstatus van XBAR:

RP/0/RP0/CPU0:AG3_1#show controllers fabric crossbar link-status instance 0 lo 0/0/CPU0

Mon May  2 04:05:06.161 EDT

PORT    Remote Slot  Remote Inst    Logical ID  Status

======================================================

00      0/0/CPU0            01             2        Up

01      0/FC3               01             0        Up

02      0/FC3               00             0        Up

03      0/FC4               01             0        Up

04      0/FC2               01             0        Up

05      0/FC4               00             0        Up

06      0/FC2               00             0        Up

07      0/FC1               01             0        Up

10      0/FC1               00             0        Up

14      0/FC0               01             0        Up

15      0/FC0               00             0        Up

16      0/0/CPU0            02             0        Up

18      0/0/CPU0            02             2        Up

19      0/0/CPU0            02             1        Up

20      0/0/CPU0            03             2        Up

21      0/0/CPU0            03             1        Up

22      0/0/CPU0            03             0        Up

23      0/0/CPU0            00             2        Up

24      0/0/CPU0            00             1        Up

25      0/0/CPU0            00             0        Up

26      0/0/CPU0            01             0        Up

27      0/0/CPU0            01             1        Up

Als u deze logbestanden in de LSP-kaart waarneemt:

LC/0/3/CPU0:Jul  5 13:05:53.365 IST: fab_xbar[172]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :

sfe[1]: An interface-err error has occurred causing  packet drop transient.

ibbReg17.ibbExceptionHier.ibbReg17.ibbExceptionLeaf0.intIpcFnc0UcDataErr  Threshold has been exceeded

17*2 helpt hier om de poort te identificeren met de show controllers fabric crossbar link-status instance 1 lo 0/3/CPU0 opdracht:

Logbestanden verzamelen:

show platform

show inventory

show tech fabric

show tech np

show tech ethernet interface

show logging

show pfm location all

show pfm trace location <location id>

show controllers pm vqi location all

show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)

show controllers fti trace <process-name>  location  <Card location>

admin show tech obfl

Cxr:

From Admin:

show logging onboard common location <>

show logging onboard error location <>

Exr:

From sysadmin/calvados:

show logging onboard fabric location <>

- Als er ASIC-fouten in FIA zijn:

Voor LS:

show controllers asic LS-FIA instance <instance> block <block_name> register-name <register_name> location <>

Voor LSP:

show controllers asic LSP-FIA instance <instance> block <block_name> register-name <register_name> location <>

Als de gemelde fout als volgt is:

LC/0/9/CPU0:Mar  1 05:12:25.474 IST: fialc[137]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :

fia[3]: A link-err error has occurred causing  performance loss persistent.

fnc2serdesReg1.fnc2serdesExceptionHier.fnc2serdesReg1.fnc2serdesExceptionLeaf0.

iNTprbsErrTxphyrdydropped6  Threshold has been exceeded

- De instantie is het instantienummer van de FIA ASIC. Hier is het "3" block_name is "fnc2serdesReg1" en register_name is "fnc2serdesExceptionLeaf0".

- Als ASIC-fouten op LC/RSP XBAR:

show controllers asic SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location <>

Als de gemelde fout als volgt is:

LC/0/7/CPU0:Mar  4 06:42:01.241 IST: fab_xbar[213]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :

sfe[0]: An interface-err error has occurred causing  packet drop transient.

ibbReg11.ibbExceptionHier.ibbReg11.ibbExceptionLeaf0.intIpcFnc1UcDataErr  Threshold has been exceeded

- De instantie is de instantie van een nummer van de SFE/XBAR ASIC. Hier is "0" block_name "ibbReg11" en register_name "ibbExceptionLeaf0".

- Indien ASIC-fouten worden gerapporteerd in FC XBAR:

show controllers asic FC2-SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location

Als de gemelde fout als volgt is:

RP/0/RP0/CPU0:Mar  4 06:41:14.398 IST: fab_xbar_sp3[156]: %PLATFORM-CIH-3-ASIC_ERROR_SPECIAL_HANDLE_THRESH :

fc3xbar[1]: A link-err error has occurred causing  packet drop transient.

cflReg17.cflExceptionHier.cflReg17.cflExceptionLeaf4.intCflPal1RxAlignErrPktRcvd  Threshold has been exceeded

Dan is ASIC "FC3-SKB-XBAR" instantie is de instantie een nummer van de SFE/XBAR ASIC. Hier is het "1", beide komen van "fc3xbar[1]" block_name is "cflReg17" en register_name is "cflExceptionLeaf4".

Voorbeeld:

RP/0/RSP0/CPU0: AG2-10#sh logging | i ASIC

RP/0/RSP0/CPU0:May 11 20:48:57.658 IST: fab_xbar[184]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :

sfe[0]: An interface-err error has occurred causing  packet drop transient.

ibbReg13.ibbExceptionHier.ibbReg13.ibbExceptionLeaf0.intIpcFnc0UcDataErr  Threshold has been exceeded

RP/0/RSP0/CPU0: AG2-10#sh controllers fabric crossbar link-status instance 0 location 0/rsp0/CPU0

PORT    Remote Slot  Remote Inst    Logical ID  Status

======================================================

04      0/0/CPU0            00             1        Up

06      0/0/CPU0            00             0        Up

08      0/7/CPU0            00             1        Up

10      0/7/CPU0            00             0        Up

24      0/2/CPU0            00             0        Up

26      0/2/CPU0            00             1        Up

>>> ibbReg13 >> 13*2 = 26 SO IT IS POINTING TO LC2 – IN THIS CASE YOU CAN DO OIR TO RECOVER THE ASIC ERROR

40      0/RSP0/CPU0         00             0        Up

RP/0/RSP0/CPU0: AG2-10#show controllers asic SKB-XBAR instance 0 block-name ibbReg13 register-name ibbExceptionLeaf0 location 0/RSP0/CPU0

address   name                value

0x00050d080  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Stat 0x00000000 (4 bytes)

address   name                value

0x00050d084  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1StatRw1s 0x00000000 (4 bytes)

address   name                value

0x00050d088  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Enable 0xfffffffb (4 bytes)

address   name                value

0x00050d08c  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1First 0x00000000 (4 bytes)

address   name                value

0x00050d090  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Stat 0x00000c50 (4 bytes)

address   name                value

0x00050d094  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2StatRw1s 0x00000c50 (4 bytes)

address   name                value

0x00050d098  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Enable 0x00000000 (4 bytes)

address   name                value

0x00050d09c  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2First 0x00000000 (4 bytes)

address   name                value

0x00050d0a0  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_haltEnable 0x00000000 (4 bytes)

address   name                value

0x00050d0a4  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_fault 0x00000000 (4 bytes)

address   name                value

0x00050d0a8  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_intMulti 0x00000840 (4 bytes)

address   name                value

0x00050d0ac  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_leaf 0x00000000 (4 bytes)

RP/0/RSP0/CPU0:AG2-10#

Arbiter Fault Triage

Zo controleert u de status van de link:

RP/0/RSP0/CPU0:AG2-10#sho controllers fabric arbiter link-status location 0/1/$

Port    Remote Slot  Remote Elem    Remote Inst  Status

=======================================================

00      0/1/CPU0            FIA            0        Up

01      0/1/CPU0            FIA            1        Up

24      0/RSP0/CPU0         ARB            0        Up

25      0/RSP1/CPU0         ARB            0        Up

Zo controleert u de beschikbaarheid van VQI:

RP/0/RP0/CPU0:AG3_1#sh controllers fabric vqi assignment all

Current mode: Highbandwidth mode - 2K VQIs

Node          Number of VQIs

----------------------------

0/0/CPU0       80

0/1/CPU0       40

0/2/CPU0       48

0/3/CPU0       80

0/5/CPU0       80

0/7/CPU0       80

0/12/CPU0      64

RP*/RSP*       8

----------------------------

In Use   =      480

Available =    1568

Controleer de snelheid die is toegewezen aan VQI:

RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 7

Thu May 12 07:58:59.897 EDT

slot = 7

fia_inst = 0

VQI = 400      SPEED_100G

VQI = 401      SPEED_100G

VQI = 402      SPEED_100G

VQI = 403      SPEED_100G

VQI = 404      SPEED_100G

VQI = 405      SPEED_100G

VQI = 406      SPEED_100G

slot = 7

fia_inst = 1

VQI = 416      SPEED_40G

VQI = 417      SPEED_40G

VQI = 418      SPEED_40G

VQI = 419      SPEED_40G

VQI = 420      SPEED_100G

Als u staartdruppels ziet op FIA, controleer dan deze stappen:

Controleer op wachtrijdiepte in VQI:

RP/0/RP0/CPU0:AG3_1#show controllers fabric fia q-depth location 0/0/CPU0

Thu May 12 08:00:42.186 EDT

********** FIA-0 **********

Category: q_stats_a-0

Voq       ddr            pri            Cellcnt   Slot_FIA_NP

28        0              2              2         LC0_1_1

********** FIA-0 **********

Category: q_stats_b-0

Voq       ddr            pri            Cellcnt   Slot_FIA_NP

********** FIA-1 **********

Category: q_stats_a-1

Voq       ddr            pri            Cellcnt   Slot_FIA_NP

7         0              2              12342         LC0_0_0

>>> Here Packet count is high so we need to check for LC0 FIA0 NP0 (egress) is there any congestion

or any other issue in LC0 FIA0 or NP0

Here Pri = 2 is the default queue (BE) , Pri = 0 is P1 (Voice, real time) queue, Pri = 1 is P2

97        0              2                23           LC1_0_0

RP/0/RP0/CPU0:AG3_1#show controllers fabric vqi assignment slot 02

slot = 2

fia_inst = 0

VQI = 0        SPEED_10G

VQI = 1        SPEED_10G

VQI = 2        SPEED_10G

VQI = 3        SPEED_10G

VQI = 4        SPEED_10G

VQI = 5        SPEED_10G

VQI = 6        SPEED_10G

VQI = 7        SPEED_10G

Poortmapping voor de VQI:

RP/0/RP0/CPU0:AG3_1#show controllers pm vqi location 0/0/CPU0

Platform-manager VQI Assignment Information

Interface Name      | ifh Value | VQI | NP#

--------------------------------------------------

TenGigE0_0_0_0_1 | 0x4000680 |   1 |   0

TenGigE0_0_0_0_2 | 0x40006c0 |   2 |   0

TenGigE0_0_0_0_3 | 0x4000700 |   3 |   0

TenGigE0_0_0_0_4 | 0x4000740 |   4 |   0

TenGigE0_0_0_0_5 | 0x4000780 |   5 |   0

TenGigE0_0_0_0_6 | 0x40007c0 |   6 |   0

TenGigE0_0_0_0_7 | 0x4000800 |   7 |   0

RP/0/RP0/CPU0:AG3_1#show controllers pm interface tenGigE 0/0/0/0/7

Ifname(1): TenGigE0_0_0_0_7, ifh: 0x4000800 :

iftype             0x1e

egress_uidb_index  0x12, 0x0, 0x0, 0x0

ingress_uidb_index 0x12, 0x0, 0x0, 0x0

port_num           0x0

subslot_num        0x0

ifsubinst          0x0

ifsubinst port     0x7

phy_port_num       0x7

channel_id         0x0

channel_map        0x0

lag_id             0x7e

virtual_port_id    0xa

switch_fabric_port 7     >>> VQI matching for the ports

in_tm_qid_fid0     0x38001e

in_tm_qid_fid1     0x0

in_qos_drop_base   0xa69400

out_tm_qid_fid0    0x1fe002

out_tm_qid_fid1    0xffffffff

np_port            0xd3

Logbestanden verzamelen:

Show tech fabric

Show tech np

show controllers pm trace ?

async        Platform manager async trace

creation     Platform manager interface creation/deletion trace

error        Platform manager error trace

information  Platform manager information trace

init         Platform manager init trace

other        Platform manager common trace

stats        Platform manager stats trace

NP-foutentriage

NP-belastingverificatie:

RP/0/RP0/CPU0:AG3_1#show controller np load all location 0/0/CPU0

Node: 0/0/CPU0:

----------------------------------------------------------------

Load                Packet Rate

NP0:  2% utilization         3095766 pps

NP1:  3% utilization         5335675 pps

NP2:  0% utilization             498 pps

NP3:  0% utilization            1117 pps

Poorttoewijzing:

RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0

Node: 0/0/CPU0:

----------------------------------------------------------------

NP Bridge Fia                       Ports

-- ------ --- ---------------------------------------------------

0  --     0   TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9

1  --     1   TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3

2  --     2   HundredGigE0/0/0/4 - HundredGigE0/0/0/5

3  --     3   HundredGigE0/0/0/6 - HundredGigE0/0/0/7

Tomahawk

Let op, dit is de beheermodus:

sysadmin-vm:0_RP0# show controller switch statistics location 0/LC0/LC-SW

Thu May  12 12:32:37.160 UTC+00:00

Rack  Card  Switch  Rack Serial Number

--------------------------------------

0     LC0   LC-SW

Tx      Rx

Phys   State                            Drops/  Drops/

Port  State  Changes  Tx Packets  Rx Packets  Errors  Errors  Connects To

----------------------------------------------------------------------------

0     Up     2        3950184361  3977756349  0       0       NP0

1     Up     2        0           0           0       0       NP0

8     Up     1        1319787462  209249871   0       0       LC CPU N0 P0

9     Up     1        3374323096  1819796660  0       0       LC CPU N0 P1

16    Up     2        2245174606  1089972811  0       0       NP1

17    Up     2        0           0           0       0       NP1

18    Up     2        65977       16543963    0       0       NP2

19    Up     2        0           0           0       0       NP2

32    Up     2        128588820   3904804720  0       0       NP3

33    Up     2        0           0           0       0       NP3

show asic-error np <> all loc <>   >>> Ignore the macwrap errors as they are seen for every

interface flaps/ Execute 3-4 times to verify the drops increment

show controller np fast-drop <> loc <>  >>> Execute 3-4 times to verify the drops increment

RP/0/RP0/CPU0:AG3_1#show controller np fast-drop  np0 location 0/0/CPU0

Thu May 12 10:13:22.981 EDT

Node: 0/0/CPU0:

----------------------------------------------------------------

All fast drop counters for NP 0:

TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority1]    0

TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority2]    0

TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority3]    0

TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority1]    0

TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority2]    0

TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority3]    0

show controllers np punt-path-counters all HOST-IF-0 np<> location <>

[Check for IF_CNT_RX_FRM & IF_CNT_TX_FRM] >>> To check if diagnostic packets make it to the LC NP

Host CPU network port

Lichtsnelheid

show asic-error np <> all loc <>   >>> Ignore the macwrap errors as they are seen for every interface flap

RP/0/RP0/CPU0:AG3_1#sho asic-errors np 0 all location 0/5/CPU0

************************************************************

*                         0_5_CPU0                         *

************************************************************

************************************************************

*                    Single Bit Errors                     *

************************************************************

************************************************************

*                   Multiple Bit Errors                    *

************************************************************

************************************************************

*                      Parity Errors                       *

************************************************************

************************************************************

*                      Generic Errors                      *

************************************************************

ASR, ASR9K Lightspeed 20*100GE SE LC, 0/5/CPU0, npu[0]

Name            : mphmacwrapReg1.mphmacwrapExceptionLeaf4.mphWrapIrqUmacIpInt82

Leaf ID         : 0x2023e082

Error count     : 1

Last clearing   : Thu Apr  7 11:41:47 2022

Last N errors   : 1

--------------------------------------------------------------

First N errors.

@Time, Error-Data

------------------------------------------

show controller np fast-drop <> loc <> >>> Execute 3-4 times to verify the drops increment

RP/0/RP0/CPU0:AG3_1#show controller np fast-drop  np0 location 0/5/CPU0

Thu May 12 10:13:28.321 EDT

Node: 0/5/CPU0:

----------------------------------------------------------------

All fast drop counters for NP 0:

HundredGigE0_5_0_0[Crit]                      0

HundredGigE0_5_0_0[HP]                        0

HundredGigE0_5_0_0[LP2]                       0

HundredGigE0_5_0_0[LP1]                       0

HundredGigE0_5_0_0[Crit+HP_OOR]               0

HundredGigE0_5_0_0[LP2+LP1_OOR]               0

HundredGigE0_5_0_1[Crit]                      0

HundredGigE0_5_0_1[HP]                        0

HundredGigE0_5_0_1[LP2]                       0

HundredGigE0_5_0_1[LP1]                       0

HundredGigE0_5_0_1[Crit+HP_OOR]               0

Let op, dit is de beheermodus:

sysadmin-vm:0_RP0# show controller switch statistics location 0/LC5/LC-SW   >>> Execute 3-4

times to verify the errors increment

Rack  Card  Switch  Rack Serial Number

--------------------------------------

0     LC5   LC-SW

Tx      Rx

Phys   State                            Drops/  Drops/

Port  State  Changes  Tx Packets  Rx Packets  Errors  Errors  Connects To

-----------------------------------------------------------------------------

0     Up     4        1456694749  329318054   0       4       CPU -- EOBC

1     Up     2        21          23          0       0       CPU -- flexE

2     Up     4        1063966999  87683758    0       0       CPU -- PUNT

3     Up     4        885103800   3021484524  0       0       CPU -- BFD

4     Up     3        329319167   1456700372  0       0       RP0

5     Up     3        0           0           0       0       RP1

6     Up     1        11887785    2256        0       0       IPU 0

7     Up     1        0           1086        0       0       IPU 1

9     Up     4        74028034    3025657779  0       0       NP0

10    Up     4        5           0           0       0       NP0

11    Down   1        0           0           0       0       PHY0 -- flexE

12    Up     4        264928      264929      0       0       NP1

13    Up     2        5           0           0       0       NP1

14    Down   1        0           0           0       0       PHY1 -- flexE

15    Up     4        1516538834  1159586563  0       0       NP2

Logbestanden verzamelen:

show tech np

show tech fabric

show asic-errors fia trace all location <>

- In eXR, verzamel np_datalog:

RP/0/RP0/CPU0:AG3_1#run chvrf 0 ssh lc0_xr

LC : [one time capture]

show_np -e <> -d npdatalog [<> should be the affected NP]

Path where NP datalogs is saved : /misc/scratch/np/NPdatalog_0_0_CPU0_np0_prm__20220512-105332.txt.gz

LC : 5 to 10 times

show_np -e <> -d pipeline [<> should be the affected NP]

- Voor NP Init-fout op LSP:

RP/0/RP0/CPU0:AG2-2#show controllers np ports all location 0/6/CPU0

Node: 0/6/CPU0:

----------------------------------------------------------------

NP Bridge Fia                       Ports

-- ------ --- ---------------------------------------------------

0  --     0   HundredGigE0/6/0/0 - HundredGigE0/6/0/31  --

1 --      1   HundredGigE0/6/0/4 - HundredGigE0/6/0/7

NP2 is down. >>>>>>>>>. NP Down/Init Failure

3 --      3   HundredGigE0/6/0/12 - HundredGigE0/6/0/154  --

4 --      4  HundredGigE0/6/0/16 - HundredGigE0/6/0/19

In deze logboeken wordt opgemerkt:

LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL :

Failed to initialize lda_bb_np_reset_process 13795 inst 0x2 LC INIT: Failed in NP HAL

Reset np  (0x00000001 - Operation not permitted)  : npu_server_lsp : (PID=4597) :

-Traceback= 7fea2d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031

7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a9dbd691e9

LC/0/6/CPU0:Mar 23 02:53:56.185 IST: npu_server_lsp[138]: %PLATFORM-NP-4-INIT_DEBUG_MSG :

LDA NP2 Reset failed!!  Check for a downlevel IPU version.

Logbestanden verzamelen:

show tech-support ethernet interfaces

show tech-support ethernet controllers

show tech-support np

show tech-support fpd

admin show tech-support ctrace (in eXR)

show tech fabric

show asic-errors fia trace all location <>

show logging

gather (in eXR)

RP/0/RP0/CPU0:AG3_1#admin

sysadmin-vm:0_RP0#

[sysadmin-vm:0_RP0:~]$bash -l

[sysadmin-vm:0_RP0:~]$ gather

File will be generated and will get saved in rp0_xr:/misc/disk1

Algemene logcollectie voor Tomahawk, LSQ en LSP

show platform

show inventory

show tech fabric

show tech np

show tech ethernet interface

show logging

show pfm location all

show pfm trace location <location id>

sh pfm process <> location <>

show controllers pm vqi location all

show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)

show controllers fti trace <process-name> location <card location>

Cxr:

From admin:

show logging onboard common location <>

show logging onboard error location <>

Exr:

From sysadmin/calvados:

show logging onboard fabric location <>"

Gemeenschappelijke foutenhandtekening en aanbeveling

Categorie

Fout

Opmerkingen

Aanbeveling

NP-initiële fout

LC/0/0/CPU0:sep 29 00:41:13.171 IST: pfm_node_lc[304]: %PLATFORM-NP-1-NP_INIT_FAIL_NO_RESET: Set|prm_server_ty[168018]|0x1008006|Persistente NP-initialisatiefout, opnieuw laden van lijnkaart niet vereist.

NP kan in NP gaan in persistente fout door HW parity/TCAM fout die NP dwingt om naar beneden te gaan.

LC Reload via CLI om te herstellen.

De kwestie kan zich herstellen indien van voorbijgaande aard na de eerste herlading van LC.

Voltooi een Return Material Authorisation (RMA) voor herhaalde gevallen van dezelfde fout.

RMA als herhaalde gevallen worden gezien. (Maak een foto van het defecte bord om te controleren op beschadigingen/bogen pennen in SR).

De nieuwe kaart kan hetzelfde probleem hebben als gevolg van foutieve veldoverhandeling.

Interface in kaart gebracht aan NP blijft neer/Geen impact.

ASIC FATAL ERROR-Dubbele bit ECC-fout

LC/0/8/CPU0:mei 29 18:29:09.836 IST: pfm_node_lc[301]: %FABRIC-FIA-0-ASIC_FATAL_ERROR : Set|fialc[159811]|0x108a00|Fabric-interface asic ASIC0 aangetroffen fatale fout 0x1 - DDR DUBBELE ECC-FOUT

Dit is een dubbele-bit ECC fout op FIA is een Harde fout.

HW-fout op FIA.

De fout kan opnieuw verschijnen en dus admin sluiten van LC wordt aanbevolen.

RMA de kaart.

Interface in kaart gebracht aan NP/FIA blijft neer/Geen impact.

Het probleem is te zien in een van de gevallen waarin FIA met het fib_mgr-procesblok kwam.

SERDES-fout

·RP/0/RSP1/CPU0:apr 17 12:22:10.690 IST: pfm_knooppunt_rp[378]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LINK0 : Set|fab_xbar[209006]|0x101702f|XBAR_1_sleuf_1

Fabric fout op LC stof of RSP stof

LC Reload door CLI om de transient / CRC fout te herstellen voor herhaalde fout.

GEGEVENS_NB_SERDES_1_FAIL_0

LC/0/3/CPU0:apr 10 18:55:03.213 IST: pfm_node_lc[304]: %FABRIC-FIA-1-DATA_NB_SERDES_1_FAIL_0 : Set|fialc[168004]|0x103d001|Data NB - servers Link 1 mislukking op FIA 1

RP/0/RSP0/CPU0:apr 10 18:55:13.043 IST: FABMGR[227]: %PLATFORM-FABMGR-2-FABRIC_INTERNE_ERROR: 0/3/CPU0 (sleuf 3) aangetroffen fabric-fout. Interfaces zullen worden uitgeschakeld.

Interfaceomleidingsmechanisme om de SERDES-fout op de stof automatisch te herstellen.

In het geval van een HW-probleem kan de fout opnieuw optreden op LC of RSP.

De interface blijft omhoog / frequente fouten op SERDES beïnvloedden het verkeer.

RMA voor herhaalde gevallen na OIR.

SIC INIT-fouten

·LC/0/6/CPU0:jul 17 00:01:40.738 2019:pfm_node_lc[301]: %FABRIC-FIA-1-ASIC_INIT_ERROR : Set|fialc[168003]|0x108a00|ASIC INIT-fout gedetecteerd op FIA-exemplaar 0

FIA instant event voor een van de FIA on LC met ASIC INIT ERROR in Syslog.

LC Reload door CLI om elk tijdelijk probleem uit te sluiten.

FATAL-fout FIA ASIC

(TS_NI_INTR_LCL_TIMER_VERLOPEN)

LC/0/19/CPU0:Mar 8 04:52:29.020 IST: pfm_node_lc[301]: %FABRIC-FIA-0-FATAL_INTERRUPT_ERROR : Set|fialc[172098]|0x108a003|FIA fatale fout onderbroken op FIA 3: TS_NI_INTR_LCL_TIMER_VERLOPEN

Bij de nieuwe kaart is gebleken dat de unit tijdens het transport/de installatie verkeerd is behandeld, wat fysieke schade aan het bord heeft veroorzaakt.

Een paar planken vertoonden geen fysieke schade, maar tijdens EFA werd een soldeerbarst waargenomen. Dit duidt op overbelasting van de verpakking en op een mogelijk defect in de loop van de tijd.

De interface blijft omhoog / frequente fouten op SERDES beïnvloedden het verkeer.

Als het probleem zich blijft voordoen, gaat u verder met RMA/R&R.

NP snelle reset (Tomahawk )

LC/0/4/CPU0:jul 6 04:06:49.259 IST: prm_server_ty[318]: %PLATFORM-NP-3-ECC : prm_ser_check: Voltooid NP snel teruggesteld om met succes te herstellen van een zachte fout op NP 1. Geen verdere corrigerende actie is vereist.

NP detecteert het probleem van de zachte pariteit en probeert het op te lossen door te proberen de NP snel reset.

Geen RMA bij het eerste voorkomen.

NP gelijkheids LC-herlading

LC/0/6/CPU0:jan 27 20:38:08.011 IST: prm_server_to[315]: %PLATFORM-NP-0-LC_RELOAD: NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot

Gewoonlijk, na drie herstelpogingen, laadt de LC op zichzelf voor het bevestigen van de pariteitskwestie op NP gewoonlijk gezien voor de kaart van Tomahawk.

LC neemt auto-recovery actie door het herladen van de LC en het vastleggen van de zachte niet-herstelbare pariteitskwestie in het gerapporteerde NP.

De interface aan NP wordt in kaart gebracht daalt met het terugstellen/geen effect die.

RMA voor herhaalde gevallen van dezelfde fout.

LC_NP_LOOPBACK_MISLUKT

LC/0/1/CPU0:jul 26 17:29:06.146 IST: pfm_node_lc[304]: %PLATFORM-DIAGS-0-LC_NP_LOOPBACK_FAILLIET_TX_PATH : Set|online_diag_lc[168022]|Lijnkaart NPU loopback Test (0x2000006)|Link-failmasker is 0x1.

LC NP loopback diag test fout op een van de NP.

LC Reload door CLI om elk tijdelijk probleem uit te sluiten.

Alarminstelling in PFM als "LC_NP_LOOPBACK_MISLUKTE_XX_PATH".

RMA voor herhaalde gevallen van dezelfde fout.

De interface aan NP wordt in kaart gebracht daalt met het terugstellen/geen effect die.

FABRIC-FIA-1-DUURZAAM_CRC_ERR

LC/0/5/CPU0:Mar 6 05:47:34.748 IST: pfm_node_lc[303]: %FABRIC-FIA-1-SUSTAined_CRC_ERR : Set|fialc[168004]|0x103d000|Fabric-interface ASIC-0 heeft CRC-fouten ondersteund

Fia shutdown vanwege FABRIC FIA AANHOUDENDE CRC fout.

LC Reload door CLI om elk tijdelijk probleem uit te sluiten.

Met FIA shutdown wordt ook de interface op de FIA uitgeschakeld.

RMA voor herhaalde gevallen van dezelfde fout.

De interface blijft omhoog / Geen impact.

FAB ARB XIF1-FOUT

·LC/0/6/CPU0:jan 25 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR : Wissen|fab_arb[163918]|0x1001001|LIT_XIF1_K_CHAR_ERR

LC/0/6/CPU0:jan 25 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-SYNC_ERR : Wissen|fab_arb[163918]|0x1001001|LIT_XIF1_LOSS_SYNC

LC/0/6/CPU0:jan 25 19:33:23.010 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR : Set|fab_arb[163918]|0x1001001|LIT_XIF1_DISP_ERR

PUNT fout voor LC & Fabric arbiter sync & rx_link fout.

De interface blijft omhoog / Geen impact.

OIR de kaart om een tijdelijke kwestie uit te sluiten.

RMA voor herhaalde gevallen van dezelfde fout.

FPOE_read_write fout

xbar fout spoor (toon tech stof)

Maart 25 00:14:03.497 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_board_spec.c:90: (FOUT) sm15_tom_get_ha_status: lda_get_active(SUP) na opnieuw proberen 0

Maart 25 00:14:04.893 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_config.c:917: (FOUT) sm15_port_setup_auto_spread: asic:0 poort:12 fout, rc: 0 x 0

Maart 25 00:14:31.935 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:686: (FOUT) sm15_pcie_read_fpoe: write_fpoe_beg asic:0 poort:5 fpoe:2722 gegevens:0x6271268

Maart 25 00:14:31.935 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:166: (FOUT) sm15_rd_fpoe: RF_E:0x5 i:0 p:5 o:0x2 v:0x0

Maart 25 00:14:31.965 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:686: (FOUT) sm15_pcie_read_fpoe: write_fpoe_beg asic:0 poort:5 fpoe:2961 gegevens:0x6271624

Maart 25 00:14:31.965 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:166: (FOUT) sm15_rd_fpoe: RF_E:0x5 i:0 p:5 o:0xb91 v:0x0

Cisco bug-id CSCv45788

Software defect

FIA_XBAR-SERVERS

#show controller stof fia link-status locatie 0/9/CPU0

********** FIA-3-**********

Categorie: link-3

Arabische link-0 omhoog

Xbar link-0 omhoog

Xbar link-1 Up

xbar link-2 Down

xbar link-3 Down

LC/0/9/CPU0:okt. 15 05:51:50.677 IST: pfm_node_lc[252]: %FABRIC-FIA-1-DATA_NB_SERDES_2_FAIL_0 : Wissen|fialc[4574]|0x108b003|Data NB-servers Link 2 failliet op FIA 3 | LC/0/9/CPU0:okt 15 06:02:23.310 IST: pfm_node_lc[252]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LINK2 : Set|fab_xbar[4586]|0x1017008|FIA_3

| LC/0/9/CPU0:okt 15 06:02:33.311 IST: pfm_node_lc[252]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LINK2 : Wissen|fab_xbar[4586]|0x1017008|FIA_3

RP/0/RP1/CPU0:Mar 1 04:36:27.501 IST: FABMGR[218]: %PLATFORM-FABMGR-2-FABRIC_LINK_DOWN_ERROR : (0/8/CPU0 FIA 3) <—> (0/8/CPU0 XBAR 0) fabric link is down

RP/0/RP1/CPU0:Mar 1 04:36:27.504 IST: FABMGR[218]: %PLATFORM-FABMGR-2-FABRIC_INTERNE_ERROR:  0/8/CPU0 (sleuf 10) aangetroffen fabric-fout. Interfaces zullen worden uitgeschakeld.

OIR de kaart om een tijdelijke kwestie uit te sluiten. RMA voor herhaalde gevallen van dezelfde fout.

NP DIAG ICFD snelle reset

NP-DIAG op NP0, ICFD (STS-1), NP kan 0-4 zijn

NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot

Triggers een FAST reset van NP

LC herlaadt als 3 NP snel terugstelt in een uur.

Als LC meerdere malen herlaadt, RMA.

PRM-bewaking van status is niet gelukt pakket-NP snel te herstellen

NP-DIAG-fout bij gezondheidstoezicht

NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot

Triggers een FAST reset van NP

LC herlaadt als 3 NP snel terugstelt in een uur.

Als LC meerdere malen herlaadt, RMA.

PRM-bewaking van status wordt beschadigd pakketsnelheid-NP-reset

NP-DIAG gezondheidsmonitoring corruptie op

NP3 had 3 snelle resets binnen een uur, het initiëren van NPdatalogue collectie en automatische LC reboot

Triggers een FAST reset van NP

LC herlaadt als 3 NP snel terugstelt in een uur.

Als LC meerdere malen herlaadt, RMA.

Belangrijkste inactiviteitsfout

NP-DIAG-fout op NP

Onderbreek van Ucode op Top inactiviteit - doet NP snel terugstellen

Triggers een FAST reset van NP

LC herlaadt als 3 NP snel terugstelt in een uur.

Als LC meerdere malen herlaadt, RMA.

LSP-NP-initiële fout

LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL : Initialiseren lda_bb_np_reset_process 13795 tegen 0x2 LC INIT mislukt: NP HAL Reset Np (0x00000001 - Handeling niet toegestaan) is mislukt: npu_server_lsp : (PID=4597) :  -Traceback= 7fea2d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031 7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 DBD691e9

LC/0/6/CPU0:Mar 23 02:53:56.185 IST: npu_server_lsp[138]: %PLATFORM-NP-4-INIT_DEBUG_MSG : LDA NP2 Reset is mislukt!!  Controleer op een IPU-versie op het laagste niveau.

Deze informatie moet worden verzameld:

show tech-support ethernet interfaces

show tech-support ethernet controllers

show tech-support np

show tech-support fpd

admin show tech-support ctrace

show tech fabric

show logging

gather

RP/0/RP0/CPU0:AG3_1#admin

sysadmin-vm:0_RP0# run

[sysadmin-vm:0_RP0:~]$bash -l

[sysadmin-vm:0_RP0:~]$ gather

Bestand wordt gegenereerd en wordt opgeslagen in rp0_xr:/misc/disk1

Van sysadmin/calvados:

show logging onboard fabric location <>

LC Reload door CLI om elk tijdelijk probleem uit te sluiten.

Tomahawk NP Init Failure (DDR-training MISLUKT)

+++ tonen prm server spoor fout locatie 0/7/CPU0 [14:36:59.520 IST za 29 jan 2022] ++++

97 inpakken (2112 mogelijk, 320 toegewezen, 0 gefilterd, 97 totaal)

jan 29 00:22:10.135 prm_server/fout 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 Fout bij aandrijven kanaal 3 fase 4

Jan 29 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Stroomfase 4 mislukt op kanaal 3

Jan 29 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3 is niet opgestart, opnieuw proberen. Nummer 1 opnieuw proberen

jan 29 00:22:35.125 prm_server/fout 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 Fout bij aandrijven kanaal 3 fase 4

Jan 29 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Stroomfase 4 mislukt op kanaal 3

Jan 29 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3 is niet opgestart, opnieuw proberen. Nummer 2 opnieuw proberen

jan 29 00:22:59.075 prm_server/fout 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 Fout bij aandrijven kanaal 3 fase 4

Jan 29 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Stroomfase 4 mislukt op kanaal 3

Jan 29 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup Na 3 pogingen is NP3 niet geïnitialiseerd.

jan 29 00:23:00.087 prm_server/fout 0/7/CPU0 t10 prm_send_pfm_msg: Persistent NP initialisatiefout, linecard reload niet vereist.

Logbestanden van NP-stuurprogramma controleren

<NP#3>DDR-training FAALT (status 0x1)

<NP#3>ddr3TipRunAlg: tuning is mislukt 0

<NP#3>Opcode voor ddrTipRunAlgo: ddr3TipRunAlg mislukt (fout 0x1)

<NP#3>*** fout: Onbekend 0x1

knooppunt: knooppunt0_7_CPU0

---------------------

HUIDIGE TIJD: 3 mei 09:46:42 2022

PFM TOTAAL: 1 NOOD/WAARSCHUWING(E/A): 1 KRITISCH (CR): 0 FOUT (ER): 0

-------------------------------------------------------------------------------------------------

Verhoogde tijd |S#|Foutnaam |Sev|Proc_ID|Dev/Path-naam |Hendel

--------------------+—+-----------------------------------+—+-------+--------------+----------

29 jan. 00:22:58|8 |NP_INIT_FAIL_NO_RESET |E/A|5356 |Netwerkprocessen|0x1008000

LC Reload door CLI om elk tijdelijk probleem uit te sluiten. Als het probleem nog steeds RMA de LC

Cisco fout-id CSCwa85165

LSP NP-fout bij openen (HBMReadParticleError-fout)

LC/0/13/CPU0:jan 10 13:34:59.106 IST: npu_server_lsp[278]: %PLATFORM-NP-4-SHUTDOWN_START : NP4: EMRHIMREG.ch1Psch0HbmReadParticleError-fout gedetecteerd, NP-afsluiten is bezig

LC/0/13/CPU0:jan 10 13:34:59.106 IST: pfm_node_lc[330]: %PLATFORM-NP-0-UNRECOVERABLE_ERROR : Set|npu_server_lsp[4632]|0x10a5004|Er is een niet-herstelbare fout gedetecteerd op NP4

+++ tonen controllers np onderbreekt alle locatie 0/13/CPU0 [16:02:16.712 IST Mon Jan 10 2022] ++++

Knooppunt: 0/13/CPU0:

----------------------------------------------------------------

NPU Interrupt Naam ID vervolg

— ------------------------------------------------------------------------------------------ -------------- -------

<knip>

4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1PSCH1 0x201dc013 1

4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1PSCH0 0x201dc012 1

Controleer of Cisco bug-id CSCvt59803 is geïnstalleerd.

LC reload door CLI helpt te herstellen.

Arbitor Link Down met Standby

Fabric Manager:

##############

Slijpstatus

=====================================

0/RP0/CPU0-0 online

0/RP1/CPU0-0 online

0/200/CPU0 0 1 online

0/1/CPU0 0 1 online

0/8/CPU0 0 offline (backplane arbiter link omlaag)

0/8/CPU0 1 offline (backplane arbiter link omlaag)

0/8/CPU0 2 offline (backplane arbiter link omlaag)

0/8/CPU0 3 offline (backplane arbiter link omlaag)

OIR de kaart om een tijdelijke kwestie uit te sluiten. RMA voor herhalingsinstantie van dezelfde fout.

Serdes-fout

tonen serdes traceringsplaats 0/X/CPU0 | i "HTL_ERR_Device_NOT_CONNECTED") zie je deze fouten:

68413 aug 12 22:44:33.525 vkg_serdes/error 0/3/CPU0 t5234 Fout: vkg_mdx1_get_lasi_info() regel:2910 mdx1_serdes_status_get mislukt op apparaat 1 kanaal 12. rc=0x2103 - HTL_ERR_APPARAAT_NOT_CONNECTED

Cisco bug-id CSCvz75552

Software defect

Bekende gebreken

Cisco bug-ID

Samengesteld

Titel

Cisco bug-id CSCvy00012

asr9k-diags-online

Uitputting van pakketgeheugen door online_diag_rsp

Cisco bug-id CSCvw57721

asr9k-servicepack

Umbrella SMU met bijgewerkte firmware voor Lightspeed NP en arbiter serdes

Cisco bug-id CSCvz75552

asr9k-vic-ls

PHY-firmware hangt en veroorzaakt optica niet herkend worden op A9K-20HG-FLEX

Cisco bug-id CSCvz76691

asr9k-servicepack

Umbrella SMU met verbeterde linkstatus interrupt handling voor Tomahawk linecards

Cisco bug-id CSCvz84139

asr9k-ls-fabric

fab_si crash wanneer router geüpgraded naar 742

Cisco fout-id CSCwa81006

asr9k-pfm

ASR9K/eXR kan de uitschakeling van de error-manager datapath-poort in sommige scenario's niet uitvoeren

Cisco bug-id CSCvz16840

asr9k-fia

BLB-sessies flap bij CLI reload LC omdat het doorsturen van pad vroegtijdig is afgesloten vanwege wijzigingen toegevoegd in 6.5.2

Cisco fout-id CSCwb64255

asr9k-fab-xbar

nieuwe SI-instellingen voor SKB in Starscream(9912) en Megatron(9922) chassis

Cisco fout-id CSCwa09794

asr9k-fab-xbar

nieuwe SI na fijnafstemming voor RO-chassis voor SKB-SM15

Cisco bug-id CSCv45788

asr9k-fab-xbar

fab_xbar en mgid-programmeur die tegelijkertijd toegang hebben tot hoe

Cisco fout-id CSCwd22196

asr9k-prm

Uitputting van RFD-buffer tussen ILKN-link op Tomahawk LC

Cisco fout-id CSCwb66960

asr9k-fab-infra

Foutisolatie van ASR9k punt-stof

Cisco fout-id CSCwa79758

asr9k-fab-xbar

Multicastverlies op LSP LC na het doen van OIR van een andere LSP LC met XBAR verbindingsfout

Cisco bug-id CSCvw88284

asr9k-lda-ls

RSP5 BW standaard tot 200G op 9910/9906 chassis in plaats van 600G.

Cisco bug-id CSCvm82379

asr9k-fab-arb

fab-arb crashte tijdens het nemen van haar tech stof

Cisco bug-id CSCvh00349

asr9k-fia

ASR9k-fabric kan omgekeerde pakketten verwerken die tijdens standby worden verzonden

Cisco bug-id CSCvk44688

asr9k-fia

FPGA had herhaaldelijk fouten en kon niet herstellen

Cisco bug-id CSCvy31670

asr9k-ls-fia

LSP: Als FC0 wordt verwijderd, kan de snelheidsbegrenzer van het weefsel worden ingeschakeld, maar FC4 niet

Cisco fout-id CSCvt59803

asr9k-LS-NPdriver

LSP: PLATFORM-NP-4-SHUTDOWN IMRHIMREG.ch1Psch1HBMReadParticleError

Gedrag van fault-manager datapath port shutdown/toggle opdracht

- fault-manager datapath port shutdown De opdracht helpt bij het afsluiten van de poorten van de respectieve FIA/NP waarvoor het Point Datapath Failure-alarm is ingesteld, op Active RP/RSP, en de interface komt niet automatisch omhoog totdat u de LC opnieuw laadt. Deze CLI-opdracht werkt niet zoals verwacht van de 7. x.x-release. (CLI-opdracht fault-manager datapath port shutdown werkt niet volgens ontwerp van 7. x.x) - vast in 7.7.2.

- De opdracht CLI fault-manager datapath port toggle werkt prima. Het opent de haven zodra het Punt Datapath Failure alarm duidelijk is.

- Dit helpt om een servicestoring te voorkomen als er juiste redundantie op linkniveau en beschikbaarheid van bandbreedte op het redundante pad beschikbaar is.

Testen - voor het valideren van de eerder vermelde opdrachtbewerking.

Het introduceren van PUNT-foutgeneratie op NP0 LC7:

RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0

Wed Jul  7 14:15:17.489 UTC

Usage of NP monitor is recommended for cisco internal use only.

Please use instead 'show controllers np capture' for troubleshooting packet drops in NP

and 'monitor np interface' for per (sub)interface counter monitoring

Warning: Every packet captured will be dropped! If you use the 'count'

option to capture multiple protocol packets, this could disrupt

protocol sessions (eg, OSPF session flap). So if capturing protocol

packets, capture only 1 at a time.

Warning: A mandatory NP reset will be done after monitor to clean up.

This will cause ~150ms traffic outage. Links will stay Up.

Proceed y/n [y] > y

Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)

Wed Jul  7 14:17:08 2021 -- NP0 packet

From Fabric: 127 byte packet

0000: 00 09 00 00 b4 22 00 00 ff ff ff ff 00 00 ff ff   ....4"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00      LLLL****UUUU...

(count 1 of 20)

Wed Jul  7 14:18:09 2021 -- NP0 packet

From Fabric: 256 byte packet

0000: 00 09 00 00 b5 22 00 00 ff ff ff ff 00 00 ff ff   ....5"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00   LLLL****UUUU....

0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff   ................

0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc   ........ppppLLLL

00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00   ****UUUU........

00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff   ................

00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

(count 2 of 20)

Wed Jul  7 14:19:09 2021 -- NP0 packet

Actual packet size 515 bytes truncated size 384:

From Fabric: 384 byte packet

0000: 00 09 00 00 b6 22 00 00 ff ff ff ff 00 00 ff ff   ....6"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00   LLLL****UUUU....

0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff   ................

0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc   ........ppppLLLL

00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00   ****UUUU........

00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff   ................

00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0100: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0110: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0120: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0130: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0140: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0150: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0160: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0170: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/RP0/CPU0

Wed Jul  7 14:19:17.174 UTC

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:19:17 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

Jul  7 14:19:09 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |9429   |System Punt/Fa|0x2000004

RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/Rp0/CPU0

Wed Jul  7 14:19:37.128 UTC

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:19:37 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1

PER PROCESS TOTAL: 0   EM: 0   CR: 0   ER: 0

Device/Path[1 ]:Fabric loopbac  [0x2000003 ] State:RDY  Tot: 0

Device/Path[2 ]:System Punt/Fa  [0x2000004 ] State:RDY  Tot: 1

1   Fault Id:          432

Sev:               ER

Fault Name:        PUNT_FABRIC_DATA_PATH_FAILED

Raised Timestamp:  Jul  7 14:19:09 2021

Clear Timestamp:   N/A

Changed Timestamp: N/A

Resync Mismatch:   FALSE

MSG:               failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)

Device/Path[3 ]:Crossbar Switc  [0x108c000 ] State:RDY  Tot: 0

Device/Path[4 ]:Crossbar Switc  [0x108c001 ] State:RDY  Tot: 0

Device/Path[5 ]:Crossbar Switc  [0x108c002 ] State:RDY  Tot: 0

Device/Path[6 ]:Crossbar Switc  [0x108c003 ] State:RDY  Tot: 0

Device/Path[7 ]:Crossbar Switc  [0x108c004 ] State:RDY  Tot: 0

Device/Path[8 ]:Crossbar Switc  [0x108c005 ] State:RDY  Tot: 0

Device/Path[9 ]:Crossbar Switc  [0x108c006 ] State:RDY  Tot: 0

Device/Path[10]:Crossbar Switc  [0x108c007 ] State:RDY  Tot: 0

Device/Path[11]:Crossbar Switc  [0x108c008 ] State:RDY  Tot: 0

Device/Path[12]:Crossbar Switc  [0x108c009 ] State:RDY  Tot: 0

Device/Path[13]:Crossbar Switc  [0x108c00a ] State:RDY  Tot: 0

Device/Path[14]:Crossbar Switc  [0x108c00b ] State:RDY  Tot: 0

Device/Path[15]:Crossbar Switc  [0x108c00c ] State:RDY  Tot: 0

Device/Path[16]:Crossbar Switc  [0x108c00d ] State:RDY  Tot: 0

Device/Path[17]:Crossbar Switc  [0x108c00e ] State:RDY  Tot: 0

Device/Path[18]:Fabric Interfa  [0x108b000 ] State:RDY  Tot: 0

Device/Path[19]:Fabric Arbiter  [0x1086000 ] State:RDY  Tot: 0

Device/Path[20]:CPU Controller  [0x108d000 ] State:RDY  Tot: 0

Device/Path[21]:Device Control  [0x109a000 ] State:RDY  Tot: 0

Device/Path[22]:ClkCtrl Contro  [0x109b000 ] State:RDY  Tot: 0

Device/Path[23]:NVRAM           [0x10ba000 ] State:RDY  Tot: 0

Device/Path[24]:Hooper switch   [0x1097000 ] State:RDY  Tot: 0

Device/Path[25]:Hooper switch   [0x1097001 ] State:RDY  Tot: 0

Device/Path[26]:Hooper switch   [0x1097002 ] State:RDY  Tot: 0

Device/Path[27]:Hooper switch   [0x1097003 ] State:RDY  Tot: 0

De haven ging in dit geval niet naar beneden:

RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0

Wed Jul  7 14:21:29.693 UTC

Interface                      IP-Address      Status          Protocol Vrf-Name

TenGigE0/7/0/0                 unassigned      Down            Down     default

TenGigE0/7/0/1                 unassigned      Down            Down     default

TenGigE0/7/0/2                 unassigned      Down            Down     default

TenGigE0/7/0/3                 unassigned      Down            Down     default

TenGigE0/7/0/4                 unassigned      Down            Down     default

TenGigE0/7/0/5                 unassigned      Down            Down     default

TenGigE0/7/0/6                 unassigned      Down            Down     default

TenGigE0/7/0/7                 unassigned      Shutdown        Down     default

TenGigE0/7/0/8                 unassigned      Shutdown        Down     default

TenGigE0/7/0/9                 unassigned      Shutdown        Down     default

TenGigE0/7/0/10                unassigned      Down            Down     default

TenGigE0/7/0/11                unassigned      Down            Down     default

TenGigE0/7/0/12                unassigned      Down            Down     default

TenGigE0/7/0/13                unassigned      Shutdown        Down     default

TenGigE0/7/0/14                unassigned      Shutdown        Down     default

TenGigE0/7/0/15                unassigned      Shutdown        Down     default

TenGigE0/7/0/16                unassigned      Shutdown        Down     default

TenGigE0/7/0/17                unassigned      Shutdown        Down     default

TenGigE0/7/0/18                unassigned      Down            Down     default

TenGigE0/7/0/19                unassigned      Up              Up       default  >>>>>>> Port is UP

RP/0/RP0/CPU0:ASR-9922-A#sh logging last 200 | in 0/7/0

Wed Jul  7 14:22:35.715 UTC

RP/0/RP0/CPU0:ASR-9922-A#

Testcase 1.2:

NP/Poorten gedrag met de fault-manager datapath port toggle opdracht:

RP/0/RP0/CPU0:ASR-9922-A#sh run formal | in data

Wed Jul  7 14:52:11.714 UTC

Building configuration...

fault-manager datapath port toggle

RP/0/RP0/CPU0:ASR-9922-A#

Geen alarm in PFM:

RP/0/RP0/CPU0:ASR-9922-A#sh pfm location  0/Rp0/CPU0

Wed Jul  7 14:55:13.410 UTC

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:55:13 2021

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 0

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

RP/0/RP0/CPU0:ASR-9922-A#

PUNT fout generatie in NP0 LC7:

RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0

Wed Jul  7 14:51:18.596 UTC

Usage of NP monitor is recommended for cisco internal use only.

Please use instead 'show controllers np capture' for troubleshooting packet drops in NP

and 'monitor np interface' for per (sub)interface counter monitoring

Warning: Every packet captured will be dropped! If you use the 'count'

option to capture multiple protocol packets, this could disrupt

protocol sessions (eg, OSPF session flap). So if capturing protocol

packets, capture only 1 at a time.

Warning: A mandatory NP reset will be done after monitor to clean up.

This will cause ~150ms traffic outage. Links will stay Up.

Proceed y/n [y] > y

Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)

Wed Jul  7 14:53:21 2021 -- NP0 packet

From Fabric: 127 byte packet

0000: 00 09 00 00 d8 22 00 00 ff ff ff ff 00 00 ff ff   ....X"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00      LLLL****UUUU...

(count 1 of 20)

Wed Jul  7 14:54:22 2021 -- NP0 packet

From Fabric: 256 byte packet

0000: 00 09 00 00 d9 22 00 00 ff ff ff ff 00 00 ff ff   ....Y"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00   LLLL****UUUU....

0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff   ................

0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc   ........ppppLLLL

00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00   ****UUUU........

00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff   ................

00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

(count 2 of 20)

RP/0/RP0/CPU0:ASR-9922-A#sh pfm location  0/Rp0/CPU0

Wed Jul  7 14:56:24.459 UTC

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:56:24 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

Jul  7 14:55:23 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |9429   |System Punt/Fa|0x2000004

RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/RP0/CPU0

Wed Jul  7 14:56:39.961 UTC

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:56:40 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1

PER PROCESS TOTAL: 0   EM: 0   CR: 0   ER: 0

Device/Path[1 ]:Fabric loopbac  [0x2000003 ] State:RDY  Tot: 0

Device/Path[2 ]:System Punt/Fa  [0x2000004 ] State:RDY  Tot: 1

1   Fault Id:          432

Sev:               ER

Fault Name:        PUNT_FABRIC_DATA_PATH_FAILED

Raised Timestamp:  Jul  7 14:55:23 2021

Clear Timestamp:   N/A

Changed Timestamp: N/A

Resync Mismatch:   FALSE

MSG:               failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)

Device/Path[3 ]:Crossbar Switc  [0x108c000 ] State:RDY  Tot: 0

Device/Path[4 ]:Crossbar Switc  [0x108c001 ] State:RDY  Tot: 0

Device/Path[5 ]:Crossbar Switc  [0x108c002 ] State:RDY  Tot: 0

Device/Path[6 ]:Crossbar Switc  [0x108c003 ] State:RDY  Tot: 0

Device/Path[7 ]:Crossbar Switc  [0x108c004 ] State:RDY  Tot: 0

Device/Path[8 ]:Crossbar Switc  [0x108c005 ] State:RDY  Tot: 0

Device/Path[9 ]:Crossbar Switc  [0x108c006 ] State:RDY  Tot: 0

Device/Path[10]:Crossbar Switc  [0x108c007 ] State:RDY  Tot: 0

Device/Path[11]:Crossbar Switc  [0x108c008 ] State:RDY  Tot: 0

Device/Path[12]:Crossbar Switc  [0x108c009 ] State:RDY  Tot: 0

Device/Path[13]:Crossbar Switc  [0x108c00a ] State:RDY  Tot: 0

Device/Path[14]:Crossbar Switc  [0x108c00b ] State:RDY  Tot: 0

Device/Path[15]:Crossbar Switc  [0x108c00c ] State:RDY  Tot: 0

Device/Path[16]:Crossbar Switc  [0x108c00d ] State:RDY  Tot: 0

Device/Path[17]:Crossbar Switc  [0x108c00e ] State:RDY  Tot: 0

Device/Path[18]:Fabric Interfa  [0x108b000 ] State:RDY  Tot: 0

Device/Path[19]:Fabric Arbiter  [0x1086000 ] State:RDY  Tot: 0

Device/Path[20]:CPU Controller  [0x108d000 ] State:RDY  Tot: 0

Device/Path[21]:Device Control  [0x109a000 ] State:RDY  Tot: 0

Device/Path[22]:ClkCtrl Contro  [0x109b000 ] State:RDY  Tot: 0

Device/Path[23]:NVRAM           [0x10ba000 ] State:RDY  Tot: 0

Device/Path[24]:Hooper switch   [0x1097000 ] State:RDY  Tot: 0

Device/Path[25]:Hooper switch   [0x1097001 ] State:RDY  Tot: 0

Device/Path[26]:Hooper switch   [0x1097002 ] State:RDY  Tot: 0

Device/Path[27]:Hooper switch   [0x1097003 ] State:RDY  Tot: 0

Interface TenGigE0/7/0/19 ging omlaag van NP0:

RP/0/RP0/CPU0:ASR-9922-A#show logging last 200 | in 0/7/0

Wed Jul  7 14:58:42.959 UTC

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :

Interface TenGigE0/7/0/19, changed state to Down

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :

Line protocol on Interface TenGigE0/7/0/19, changed state to Down

RP/0/RP0/CPU0:Jul  7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :

TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)

LC/0/7/CPU0:Jul  7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :

Interface TenGigE0/7/0/19, Detected Remote Fault

LC/0/7/CPU0:Jul  7 14:55:26.936 UTC: lda_server[114]: %PKT_INFRA-FM-2-FAULT_CRITICAL :

ALARM_CRITICAL :OPTICS RX POWER LANE-0 LOW ALARM :CLEAR : Te0/7/0/0:

Gestopt PUNT fout genereren:

RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0

Wed Jul  7 14:59:16.322 UTC

Interface                      IP-Address      Status          Protocol Vrf-Name

TenGigE0/7/0/0                 unassigned      Down            Down     default

TenGigE0/7/0/1                 unassigned      Down            Down     default

TenGigE0/7/0/2                 unassigned      Down            Down     default

TenGigE0/7/0/3                 unassigned      Down            Down     default

TenGigE0/7/0/4                 unassigned      Down            Down     default

TenGigE0/7/0/5                 unassigned      Down            Down     default

TenGigE0/7/0/6                 unassigned      Down            Down     default

TenGigE0/7/0/7                 unassigned      Shutdown        Down     default

TenGigE0/7/0/8                 unassigned      Shutdown        Down     default

TenGigE0/7/0/9                 unassigned      Shutdown        Down     default

TenGigE0/7/0/10                unassigned      Down            Down     default

TenGigE0/7/0/11                unassigned      Down            Down     default

TenGigE0/7/0/12                unassigned      Down            Down     default

TenGigE0/7/0/13                unassigned      Shutdown        Down     default

TenGigE0/7/0/14                unassigned      Shutdown        Down     default

TenGigE0/7/0/15                unassigned      Shutdown        Down     default

TenGigE0/7/0/16                unassigned      Shutdown        Down     default

TenGigE0/7/0/17                unassigned      Shutdown        Down     default

TenGigE0/7/0/18                unassigned      Down            Down     default

TenGigE0/7/0/19                unassigned      Down            Down     default  >>>>>>

Alarmmelding gestopt:

RP/0/RP0/CPU0:ASR-9922-A#sh pfm location  0/Rp0/CPU0

Wed Jul  7 15:01:44.478 UTC

node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 15:01:44 2021

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 0

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

RP/0/RP0/CPU0:ASR-9922-A#

De interface verscheen:

RP/0/RP0/CPU0:ASR-9922-A#show logging  | in 0/7/0/19

Wed Jul  7 15:06:11.532 UTC

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :

Interface TenGigE0/7/0/19, changed state to Down

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :

Line protocol on Interface TenGigE0/7/0/19, changed state to Down

RP/0/RP0/CPU0:Jul  7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :

TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)

LC/0/7/CPU0:Jul  7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :

Interface TenGigE0/7/0/19, Detected Remote Fault

LC/0/7/CPU0:Jul  7 15:03:27.204 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :

Interface TenGigE0/7/0/19, changed state to Up

LC/0/7/CPU0:Jul  7 15:03:27.206 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :

Line protocol on Interface TenGigE0/7/0/19, changed state to Up

RP/0/RP0/CPU0:Jul  7 15:03:29.219 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :

TenGigE0/7/0/19 is Active as part of Bundle-Ether854