Problemen oplossen met onverwachte herladingen of crashes op de Nexus 9000

Inleiding

In dit document wordt beschreven hoe u problemen kunt oplossen met onverwachte herlaadbeurten of crashes op Nexus 9000-switches.

Voorwaarden

Er zijn geen voorwaarden voor dit document.

Gebruikte componenten

Dit document is niet beperkt tot specifieke software- en hardware-versies.

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Hoe de Nexus 9000-Switch breekt

Cisco NX-OS is een robuust besturingssysteem dat speciaal is ontworpen voor High Availability (HA) op netwerk-, systeem- en procesniveau. Er zijn 3 redenen waarom een nieuwe laadbeurt kan plaatsvinden op een Nexus 9000-Switch:

• Een proces in de gebruikersruimte kan een crash ervaren.
• Een proces of een stuk hardware kan een waakhond time-out of hartfalen ervaren.

• De kernel zelf stuit op een onherstelbare toestand en crasht.

Belangrijke gegevens om problemen met opnieuw laden en crashen op te lossen

• De exacte datum en tijd van de reload.
• Wat gebeurde er voor de herlading? Zijn er configuratiewijzigingen? Zijn er schaalveranderingen? Zijn er logs op het apparaat? Enige milieuverandering? Wordt het CPU-/geheugengebruik verhoogd?
• Zodra de switch is opgestart en stabiel is, verzamelt en controleert u de uitvoer. 
• Als de switch niet kan worden opgestart, opent u deze via de console en controleert u of er uitvoer is. Controleer ook de switch-LED's. U kunt LED-details vinden in de installatiehandleiding voor de hardware. 

reden voor systeemreset

N9K#show system reset-reason module 1
----- reset reason for Supervisor-module 1 (from Supervisor in slot 1) ---
1) At 21301 usecs after Tue Jan 17 20:29:20 2023
Reason: Reset Requested due to Fatal Module Error
Service: ipfib hap reset
Version: 9.3(8)

kernbestand

N9K#show cores
VDC  Module Instance  Process-name    PID      Date(Year-Month-Day Time)
--- ------ -------- --------------- -------- -------------------------
A     B       C         D             E          2024-01-04 19:17:25
copy core://<module-number>/<process-id>[/instance-num]
copy core://B/E/C ftp://<address>/<directory>

Onboard Logs

show logging onboard
show logging onboard kernel-trace
show logging onboard stack-trace
**************************************************************
STACK TRACE GENERATED AT Sun Sep 10 19:06:39 2023 CCT
**************************************************************
<snip>                                                                        >>>dumps kernel massages before reload
<0>[10925084.972289] [1694343998] sysServices Unexpected call in interrupt context, serviceId=824
<0>[10925084.980666] [1694343998] cctrl_set_card_offline - EOBC switch reset failed
<0>[10925084.987824] [1694343998] sysServices Unexpected call in interrupt context, serviceId=824
<0>[10925084.996200] [1694343998] cctrl_set_card_offline - EPC switch reset failed
<snip>
<4>[10925085.040600] [1694343998] Dumping interrupt statistics                >>>dump interrupt statictics
<4>[10925085.045928] [1694343998] CPU0 CPU1 
<4>[10925085.051732] [1694343998] 3: 0 0 axp_irq Armada Error Handler
<4>[10925085.059909] [1694343998] 4: 0 0 axp_irq Armada MBUS unit Error Handle
<4>[10925085.068957] [1694343998] 5: 1012335907 809985523 axp_irq axp_local_clockevent
<4>[10925085.077136] [1694343998] 8: 1260801154 0 axp_irq mv_eth
<4>[10925085.084108] [1694343998] 31: 11230 0 axp_irq mv64xxx_i2c
<4>[10925085.091508] [1694343998] 41: 7111 1 axp_irq serial
<4>[10925085.098471] [1694343998] 51: 2 0 axp_irq mv_xor.0
<4>[10925085.105602] [1694343998] 52: 2 0 axp_irq mv_xor.1
<4>[10925085.112760] [1694343998] 94: 1 0 axp_irq mv_xor.2
<4>[10925085.119890] [1694343998] 95: 1 0 axp_irq mv_xor.3
<4>[10925085.127029] [1694343998] 107: 0 0 axp_irq axp-temp
<4>[10925085.134200] [1694343998] 168: 0 0 axp_irq cctrl_mrv_nmi_irq
<4>[10925085.142134] [1694343998] 195: 29 0 axp_msi_irq cctrl_sc_msi_irq
<4>[10925085.150225] [1694343998] 196: 0 2399172865 axp_msi_irq linux-kernel-bde
<4>[10925085.158325] [1694343998] IPI0 : 0 0 Timer broadcast interrupts
<4>[10925085.166130] [1694343998] IPI1 : 1711470501 3532640372 Rescheduling interrupts
<4>[10925085.173672] [1694343998] IPI2 : 0 0 Function call interrupts
<4>[10925085.181302] [1694343998] IPI3 : 44582 118572 Single function call interrupts
<4>[10925085.189541] [1694343998] IPI4 : 0 0 CPU stop interrupts
<4>[10925085.196734] [1694343998] PMU: : 0 0 
<4>[10925085.202186] [1694343998] Err : 0

show logging onboard exception-log                               >>>Check if any exception is raised before reload

Proceslogboek

N9K# show processes log details                                  >>>detail process memory usage prior to crash
Service: ethpm
Description: Test Ethernet Port Manager
Executable: /isan/bin/ethpm

Started at Wed Jun 5 18:20:46 2023 (251615 us)
Stopped at Sat Jun 8 00:08:53 2023 (661042 us)
Uptime: 2 days 5 hours 48 minutes 7 seconds

Start type: SRV_OPTION_RESTART_STATELESS (23)
Death reason: SYSMGR_DEATH_REASON_FAILURE_SIGNAL (2)
Last heartbeat 48.10 secs ago
System image name: 
System image version: 7.0(3)I7(6)
PID: 28914 
Exit code: signal 5 (core dumped)
CWD: /var/sysmgr/work
RLIMIT_AS: 1019819820                                             >>>limit memory usage
Virtual Memory:
CODE 1007E000 - 1068DBD4
DATA 1068E000 - 106DC3E8
BRK 1194F000 - 11CF9000
STACK FFA28650
TOTAL 576004 KB                                                   >>>memory usage before crash

Logbestanden van Logflash

Er is een ingebouwde logflash op de Nexus 9000, logbestanden overleven na het opnieuw laden.

N9K#dir logflash:log | grep messages
3714961 Jan 13 18:05:31 2024 messages
4194331 Jan 13 17:30:14 2021 messages.1
5497842 May 11 15:59:00 2021 messages.2
4194341 Jul 30 07:25:36 2022 messages.3
4194510 Feb 09 14:50:50 2023 messages.4
4194426 Jun 04 05:00:40 2023 messages.5

N9K#show file logflash:log/messages
N9K#show file logflash:log/messages.1
N9K#show file logflash:log/messages.2
N9K#show file logflash:log/messages.3
N9K#show file logflash:log/messages.4
N9K#show file logflash:log/messages.5

Algemene reset-redenen

energiegerelateerde herbelasting

N9K#show system reset-reason 
----- reset reason for module 1 (from Supervisor in slot 1) ---
1) At 280125 usecs after Fri Aug 4 02:01:14 2023
Reason: Module PowerCycled
Service: HW check by card-client
Version: 

verklaring

De Nexus 9000-switch ondersteunt N+1-voedingsredundantie. Als een stroomstoring optreedt op de meeste of alle stroombronnen, vindt een herlading plaats.

Aanbeveling

1. Controleer de voedingskabels van alle voedingen.
2. Controleer of andere apparaten die hetzelfde inlaatcircuit delen ook een storing hebben gehad.
3. Controleer of er een stroomgerelateerd alarm op de Nexus 9000 of PDU staat.

Procescrash

N9K#show system reset-reason module 1
----- reset reason for Supervisor-module 1 (from Supervisor in slot 1) 
1) At 21301 usecs after Tue Jan 17 20:29:20 2023 
Reason: Reset Requested due to Fatal Module Error 
Service: ipfib hap reset                                              >>>ipfib process reset
Version: 9.3(8)

verklaring

Elke service heeft zijn eigen HA-beleid, inclusief een hartslagtimer, herstartmethode en stateful restart max retry. Cisco NX-OS Software maakt het mogelijk om de meeste processen en services stateful opnieuw op te starten. Het opnieuw laden vindt plaats als het HA-beleid van het proces opnieuw wordt ingesteld (NX-OS kan niet werken tijdens het opnieuw opstarten van een proces) of als de tijd dat een proces opnieuw wordt opgestart de maximale herstart bereikt.  

Aanbeveling

`show cores`
VDC  Module  Instance  Process-name     PID       Date(Year-Month-Day Time)
---  ------  --------  ---------------  --------  -------------------------
1    1       1         ipfib            27446     2023-01-17 20:30:30   
copy core://1/27446/1 ftp://<address>/<directory>

De meeste procescrashes zijn softwarefouten en het kernbestand wordt opgeslagen. Open een serviceaanvraagdossier om dit te bevestigen. 

• Kernbestanden kunnen worden gedecodeerd door een TAC-ingenieur. 
• Als u het serviceverzoek wilt openen, kiest u Product > Onverwacht opnieuw opstarten > Softwarefout om ervoor te zorgen dat de kwestie met het juiste team wordt geopend.

EOBC-fout

2018 Jan 21 01:56:42.789 N9K#%KERN-0-SYSTEM_MSG: [4590707.849157] [1516460202] EMON: module 2 is not responding on EOBC path. Reloading module. - kernel
2018 Jan 21 01:56:43.071 N9K#%MODULE-2-MOD_DIAG_FAIL: Module 2 (Serial number: xxxxxxxxxx) reported failure due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a1b137)

verklaring

De EOBC (Ethernet Out of Band Channel) reguliere keepalives gaan tussen de supervisor en lijnkaarten. De foutmeldingen die u ontvangt, geven aan dat er een hartslag is verdwenen tussen SUP en de lijnkaart. Als een enkele hartslag ontbreekt, kan deze automatisch worden genegeerd. Als er echter meerdere hartslagen tegelijk verloren gaan, wordt de lijnkaart gereset.

Er zijn meestal drie redenen waarom een EOBC faalt:

1. EOBC-congestie. U ziet meer dan 1 lijnkaart verloren gaan.
2. CPU hog in een specifieke module(s). Linecard/supervisor CPU is bezig en kan geen EOBC-berichten verwerken. Er is een softwareverbetering vanaf de Nexus 9000 vanaf 7.0(3)I7(3). 
3. Hardwarefout. 

Aanbeveling

1. Controleer of de CPU hog voor een getroffen lijnkaart rond de herladen.
2. Controleer of een andere lijnkaart een EOBC-verlies ervaart rond de herlading.
3. Controleer of een implementatie op de BFD- of Netflow-CPU onlangs services heeft verbruikt.
4. Als het meerdere keren voorkomt zonder enige informatie, vervang dan de hardware. 

Pariteitsfout

N9K#show logging onboard stack-trace
**************************************************************
        STACK TRACE GENERATED AT Tue Sep 21 02:27:58 2021 UTC
**************************************************************
<0>[88302546.800770] [1632158876] ERROR: MACHINE: Uncorrectable
<0>[88302546.809202] [1632158876] L2CACHE ERROR: Cause 0x88
<0>[88302546.814368] [1632158876] TAG Parity Error                           >>>>>Parity error
<0>[88302546.818750] [1632158876] Kernel panic - not syncing: L2CACHE ERROR
<4>[88302546.825212] [1632158876] Cpu: 0 Pid: 0, comm:            swapper/0

verklaring

Een pariteitsfout treedt op wanneer een stukje informatie wordt omgedraaid van 1 naar 0 of 0 naar 1.

De meeste pariteitsfouten worden veroorzaakt door elektrostatische of magnetische omgevingsomstandigheden. Deze gebeurtenissen gebeuren willekeurig en kunnen niet worden voorkomen. Systemen detecteren deze fout en dwingen het systeem te crashen om te voorkomen dat onjuiste gegevens worden verwerkt. Een voorval is geen indicatie van een hardware- of softwareprobleem.

Aanbeveling

Pariteitsfouten kunnen een tijdelijke single-event-verstoring (SEU) zijn of worden veroorzaakt door defecte hardware. Om te bepalen welke het is, moet u het apparaat gedurende 48 uur controleren om te zien of het een herhaling heeft.

Als er binnen 48 uur geen tweede voorval is, wordt het probleem als van voorbijgaande aard beschouwd en is geen actie vereist. Frequente of herhaalbare (harde) pariteitsfouten worden veroorzaakt door een fysieke storing van het geheugen of de circuits die worden gebruikt om te lezen en te schrijven. Vervang in dat geval de hardware.

PCIE-fout

N9K#show logging onboard stack-trace
<6>[  105.196227]     CCTRL PANIC DUMP
<6>[  105.196229] =========================
<6>[  105.196231] WDT last punched at 105192052644
<6>[  105.196234] REG(0x60) = 3c
<6>[  105.196238] REG(0x64) = 0
<6>[  105.196241] REG(0x300) = baadbeef
<6>[  105.196245] REG(0x304) = baadbeef
<6>[  105.196246] =========================
<0>[  105.197303] nxos_panic: Kernel panic - not syncing: PCIE Uncorrectable error   >>>>>PCIE Uncorrectable error

verklaring

PCIE-fouten worden in twee typen ingedeeld: corrigeerbare fouten en oncorrigeerbare fouten. Deze classificatie is gebaseerd op de impact van deze fouten, wat resulteert in een verminderde prestatie of functieverlies.

• Correcteerbare fouten hebben geen invloed op de functionaliteit van de interface. Het PCIE-protocol kan herstellen zonder tussenkomst van software of verlies van gegevens. Deze fouten worden gedetecteerd en gecorrigeerd door hardware.

• Onherstelbare fouten hebben invloed op de functionaliteit van de interface. Onherstelbare fouten zorgen ervoor dat een bepaalde transactie of een bepaalde PCIE-koppeling onbetrouwbaar is. Afhankelijk van die foutcondities worden onherstelbare fouten ingedeeld in niet-fatale fouten en fatale fouten.
  • Niet-fatale fouten zorgen ervoor dat de specifieke transactie onbetrouwbaar is, maar de PCIE-koppeling zelf is volledig functioneel.
  • Fatale fouten zorgen er daarentegen voor dat de link onbetrouwbaar is.

Nexus 9000 detecteert fatale PCIE-fouten en dwingt het systeem opnieuw te laden om te voorkomen dat onjuiste gegevens worden verwerkt. 

Aanbeveling

Hetzelfde geldt voor pariteitsfouten. Als er binnen 48 uur geen tweede voorval is, wordt het probleem als van voorbijgaande aard beschouwd, er is geen actie vereist. Frequente of herhaalbare fouten worden veroorzaakt door fysieke storingen. Vervang in dat geval de hardware.

Wachthond time-out

N9K#show system reset-reason
----- reset reason for module 1 (from Supervisor in slot 1) ---
1) At 88659 usecs after Mon Sep 24 18:33:04 2023
   Reason: Watchdog Timeout
   Service:
   Version: 7.0(3)I7(9)

verklaring

Watchdog-timers worden vaak aangetroffen in ingebedde systemen en andere computergestuurde apparatuur waar mensen niet gemakkelijk toegang hebben tot de apparatuur of niet tijdig op fouten kunnen reageren. Nexus 9000 implementeert een waakhond timer functie via FPGA. Dit zorgt ervoor dat de Nexus 9000 software kan detecteren en de switch snel opnieuw kan opstarten.

Aanbeveling

1. Controleer of bekende softwarebugs van invloed zijn op de huidige versie.
2. Als het probleem zich opnieuw voordoet, verzamelt u een kerneltracering en eventuele aanvullende logboekgegevens.
3. Open een serviceaanvraagformulier.

Handmatig opnieuw laden vanwege CLI of upgrade

N9K# show system reset-reason
----- reset reason for module 1 (from Supervisor in slot 1) ---
1) At 343832 usecs after Sat Jan 13 17:58:53 2024
Reason: Reset Requested by CLI command reload
Service: 
Version: 10.2(5)
>
4) At 282886 usecs after Fri Jan 12 07:42:33 2024
Reason: Reset due to upgrade
Service: 
Version: 10.3(4a)                >>>>>version prior to upgrading

verklaring

De Nexus 9000-serie switches ondersteunen standaard disruptieve software-upgrades en -downgrades. De Nexus 9000 wordt opnieuw geladen tijdens een upgrade.

Aanbeveling

Verwacht gedrag; controleer het boekingslogboek voor meer details over CLI-sessies. 

Voorbeeld van herladen via CLI:

Sat Jan 13 17:58:40 2024:type=update:id=console0:user=admin:cmd=reload (REDIRECT)
Sat Jan 13 17:58:47 2024:type=update:id=console0:user=admin:cmd=Rebooting the switch

Voorbeeld van opnieuw laden van upgrade:

Fri Jan 12 07:35:52 2024:type=update:id=console0:user=admin:cmd=install all nxos bootflash:/nxos64-cs.10.2.5.M.bin (SUCCESS)

Cisco Bug ID's

Sommige defecten kunnen een onverwachte herlading op Nexus 9000-switches veroorzaken. Om te bevestigen of u een bekende softwarebug hebt geraakt, opent u een TAC-case.

Cisco bug-ID	Bugtitel	Fix-versie
Cisco bug ID CSCwd53591	Opnieuw laden als gevolg van Wachthond time-out zonder cores/sporen	9.3(13)
Cisco bug ID CSCvz65993	Tahoe0 neergehaald, resulterend in inband-connectiviteitsfout	9.3(9)
Cisco bug ID CSCvs00400	Kernel paniek en herladen vanwege Watchdog time-out na link flaps	9.3(3) en 7.0(3)I7(8)
Cisco bug ID CSCvr57551	Cisco Nexus 9000 laadt opnieuw met kernelpaniek - kan geen aanvraag voor kernelpaging afhandelen	7.0(3)I7(8) en 9.3(4)
Cisco bug ID CSCvo86286	Kernel paniek gezien op 7.0(3)I7(x) met Nexus 9500 1st Gen lijn kaarten	7,0(3)I7(7)
Cisco bug ID CSCvx38752	Geheugenlek waardoor Nexus 9k "ipfib" opnieuw laadt	7.0(3)I7(9) en 9.3(2)
Cisco bug ID CSCvh13039	LC/FM herlaadt vanwege EOBC-hartslag als CPU bezig met onderhoud van hartimer	7,0(3)I4(8) en 7,0(3)I7(3)

Revisiegeschiedenis

Revisie	Publicatiedatum	Opmerkingen
2.0	05-Jun-2026	Bijgewerkte spelling, grammatica, zinsstructuur en spatiëring.
1.0	07-Feb-2024	Eerste vrijgave