Inhoud

Inleiding

Problemen met afluisterchassis

Ventilatorproblemen

Voedingseenheid

Temperatuur of temperatuur

Problemen met supervisor-module zuiveren

Switch/supervisor reset/herladen

Active Supervisor Challenge

Standby supervisor Bring

Actieve supervisor Rebooster

Inleiding

In dit document worden de technieken voor het opsporen en verhelpen van problemen beschreven voor de Nexus 7000 (N7K)-hardware.

Problemen met afluisterchassis

Ventilatorproblemen

Deze opdracht geeft de status van de ventilatormodule op de schakelaar weer.

SITE1-AGG1# show environment fan

Fan:

------------------------------------------------------

Fan             Model                Hw         Status

------------------------------------------------------

Fan1(sys_fan1)  N7K-C7010-FAN-S      1.1        Ok

Fan2(sys_fan2)  N7K-C7010-FAN-S      1.1        Ok

Fan3(fab_fan1)  N7K-C7010-FAN-F      1.1        Ok

Fan4(fab_fan2)  N7K-C7010-FAN-F      1.1        Ok

Fan_in_PS1      --                   --         Ok

Fan_in_PS2      --                   --         Ok

Fan_in_PS3      --                   --         Shutdown

Fan Zone Speed: Zone 1: 0x78 Zone 2: 0x58

Fan Air Filter : Present

Ventilatorstatus kan een van ok, falen of afwezig zijn.

- OK - Alle ventilatoren, inclusief de ventilatorcontroller, werken goed

- FOUT - Een of meer ventilatoren of ventilatorcontrollers hebben gefaald. Software kan niet bepalen of één ventilator, meerdere ventilatoren of alle ventilatoren het laten afweten. Als ten minste één ventilator heeft gefaald, wordt deze status weergegeven. Dit prioritaire zwaartepunt 1 syslog bericht is gedrukt: Ventilatiemodule is mislukt.

- Afwezig - De ventilatormodule is verwijderd. Zodra de ventilatormodule is verwijderd, start de software een aftelfunctie van 5 minuten; als de ventilatormodule niet binnen 5 minuten opnieuw wordt ingestoken, wordt de volledige schakelaar afgesloten. Software leest een byte op het seriële elektrisch geschikte programmeerbaar geheugen (ESPROM) om te bepalen of de ventilatormodule aanwezig is. Als de ventilatormodule deels is ingevoerd of als software om een andere reden geen toegang heeft tot het SEEPROM op de ventilatormodule, kan software dit geval niet onderscheiden van een echte verwijdering van de ventilatormodule. De schakelaar zal in 5 minuten worden uitgeschakeld. Als software een verwijdering detecteert, wordt deze prioriteit 0 syslogbericht elke 5 seconden afgedrukt.

“Fan module removed. Fan module has been absent for 120 seconds"

- Geen expliciete actie wordt ondernomen door software op een storing van de ventilator van de voeding, behalve door een dergelijke storing aan te geven met behulp van syslog-berichten.

Voedingseenheid

Deze opdracht geeft de geïnstalleerde stroomtoevoer, de samenvatting van het stroomverbruik en de status van de stroomtoevoer op de schakelaar weer.

Hiervoor wordt zowel de opdracht als een voorbeelduitvoer geleverd.

SITE1-AGG1# show environment power

Power Supply:

Voltage: 50 Volts

Power                              Actual        Total

Supply    Model                    Output     Capacity    Status

(Watts )     (Watts )

-------  -------------------  -----------  -----------  --------------

1        N7K-AC-6.0KW              1179 W       6000 W     Ok

2        N7K-AC-6.0KW              1117 W       6000 W     Ok

3        N7K-AC-6.0KW                 0 W          0 W     Shutdown

Actual        Power

Module    Model                     Draw    Allocated    Status

(Watts )     (Watts )

-------  -------------------  -----------  -----------  --------------

1        N7K-M148GT-11              N/A          400 W    Powered-Up

3        N7K-M132XP-12              N/A          750 W    Powered-Up

4        N7K-F132XP-15              318 W        385 W    Powered-Up

5        N7K-SUP1                   N/A          210 W    Powered-Up

6        N7K-SUP1                   N/A          210 W    Powered-Up

10       N7K-M132XP-12L             535 W        750 W    Powered-Up

Xb1      N7K-C7010-FAB-1            N/A           80 W    Powered-Up

Xb2      N7K-C7010-FAB-1            N/A           80 W    Powered-Up

Xb3      N7K-C7010-FAB-1            N/A           80 W    Powered-Up

Xb4      xbar                       N/A           80 W    Absent

Xb5      xbar                       N/A           80 W    Absent

fan1     N7K-C7010-FAN-S            133 W        720 W    Powered-Up

fan2     N7K-C7010-FAN-S            133 W        720 W    Powered-Up

fan3     N7K-C7010-FAN-F             12 W        120 W    Powered-Up

fan4     N7K-C7010-FAN-F             12 W        120 W    Powered-Up

N/A - Per module power not available

Power Usage Summary:

--------------------

Power Supply redundancy mode (configured)                PS-Redundant

Power Supply redundancy mode (operational)               Non-Redundant

Total Power Capacity (based on configured mode)              12000 W

Total Power of all Inputs (cumulative)                       12000 W

Total Power Output (actual draw)                              2296 W

Total Power Allocated (budget)                                4785 W

Total Power Available for additional modules                  7215 W

De status van de voedingseenheid kan één van de volgende zijn:

- OK - De voeding werkt goed

- Fout/afsluiten - Ofwel de voeding is defect of het wordt uitgeschakeld met de schakelaar op de stroomtoevoer. Wanneer een stroomvoorziening mislukt, drukt software dit prioriteitsbericht 2 af. Voedingseenheid 1 mislukt of afsluiten (serienummer xxxx).

- Shutdown - Software heeft de stroomtoevoer uitgeschakeld. Software sluit de stroomtoevoer met een lagere capaciteit alleen af als deze een onjuist aangepast paar voedingen detecteert en de modus overbodig is of er een overgang van gecombineerde naar redundante modus is. Als beide apparaten dezelfde capaciteit hebben of als de modus is gecombineerd, kan de software nooit de stroom afsluiten. Dit systeembericht van prioriteit 2 wordt gedrukt en gaat vergezeld van een stopzetting van de softwarevoeding. Detectie van stroomtoevoer 1. Dit vermindert de redundante voeding van het systeem en kan serviceverstoringen veroorzaken (serienummer xxxx).

- Zonder stroom - de stroomtoevoer is afwezig en verwijderd. Dit prioriteitsbericht 2 wordt afgedrukt tijdens het verwijderen van de stroomtoevoer. Voedingseenheid 2 verwijderd (serienummer xxxx).

Voedingsfouten:

Elke stroomtoevoer heeft een LED die de status van de stroomuitvoer aangeeft. Dit LED wordt rechtstreeks door de stroomtoevoer geregeld en een rode kleur geeft een stroomuitval aan. Wanneer u de slang scant, kunt u wisselende berichten over stroomuitval en herstel tonen, wat verder wijst op problemen in verband met de stroomtoevoer.

Temperatuur of temperatuur

Elke kaart in het chassis heeft ten minste twee temperatuursensoren. Elke temperatuursensor is ingesteld met een kleine en een belangrijke drempelwaarde. Deze opdracht met voorbeelduitvoer toont aan hoe de temperatuurinformatie van de switch kan worden opgeroepen:

SITE1-AGG1# show environment temperature

Temperature:

--------------------------------------------------------------------

Module   Sensor        MajorThresh   MinorThres   CurTemp     Status

(Celsius)     (Celsius)    (Celsius)

--------------------------------------------------------------------

1        Crossbar(s5)    105             95          46         Ok

1        CTSdev4 (s9)    115             105         56         Ok

1        CTSdev5 (s10)   115             105         57         Ok

1        CTSdev7 (s12)   115             105         56         Ok

1        CTSdev9 (s14)   115             105         53         Ok

1        CTSdev10(s15)   115             105         53         Ok

1        CTSdev11(s16)   115             105         52         Ok

1        CTSdev12(s17)   115             105         51         Ok

1        QEng1Sn1(s18)   115             105         51         Ok

1        QEng1Sn2(s19)   115             105         50         Ok

1        QEng1Sn3(s20)   115             105         48         Ok

1        QEng1Sn4(s21)   115             105         48         Ok

1        L2Lookup(s22)   120             110         47         Ok

1        L3Lookup(s23)   120             110         54         Ok

3        Crossbar(s5)    105             95          50         Ok

3        QEng1Sn1(s12)   115             110         69         Ok

3        QEng1Sn2(s13)   115             110         67         Ok

3        QEng1Sn3(s14)   115             110         66         Ok

3        QEng1Sn4(s15)   115             110         67         Ok

3        QEng2Sn1(s16)   115             110         70         Ok

3        QEng2Sn2(s17)   115             110         67         Ok

3        QEng2Sn3(s18)   115             110         66         Ok

3        QEng2Sn4(s19)   115             110         67         Ok

3        L2Lookup(s27)   115             105         51         Ok

3        L3Lookup(s28)   120             110         64         Ok

4        Crossbar1(s1)   105             95          69         Ok

4        Crossbar2(s2)   105             95          52         Ok

4        L2dev1(s3)      105             95          37         Ok

4        L2dev2(s4)      105             95          43         Ok

4        L2dev3(s5)      105             95          45         Ok

4        L2dev4(s6)      105             95          45         Ok

4        L2dev5(s7)      105             95          40         Ok

4        L2dev6(s8)      105             95          41         Ok

4        L2dev7(s9)      105             95          42         Ok

4        L2dev8(s10)     105             95          40         Ok

4        L2dev9(s11)     105             95          38         Ok

4        L2dev10(s12)    105             95          38         Ok

4        L2dev11(s13)    105             95          38         Ok

4        L2dev12(s14)    105             95          37         Ok

4        L2dev13(s15)    105             95          34         Ok

4        L2dev14(s16)    105             95          33         Ok

4        L2dev15(s17)    105             95          33         Ok

4        L2dev16(s18)    105             95          32         Ok

5        Intake  (s3)    60              42          24         Ok

5        EOBC_MAC(s4)    105             95          42         Ok

5        CPU     (s5)    105             95          42         Ok

5        Crossbar(s6)    105             95          47         Ok

5        Arbiter (s7)    110             100         55         Ok

5        CTSdev1 (s8)    115             105         44         Ok

5        InbFPGA (s9)    105             95          43         Ok

5        QEng1Sn1(s10)   115             105         48         Ok

5        QEng1Sn2(s11)   115             105         46         Ok

5        QEng1Sn3(s12)   115             105         44         Ok

5        QEng1Sn4(s13)   115             105         44         Ok

6        Intake  (s3)    60              42          24         Ok

6        EOBC_MAC(s4)    105             95          40         Ok

6        CPU     (s5)    105             95          36         Ok

6        Crossbar(s6)    105             95          45         Ok

6        Arbiter (s7)    110             100         52         Ok

6        CTSdev1 (s8)    115             105         43         Ok

6        InbFPGA (s9)    105             95          43         Ok

6        QEng1Sn1(s10)   115             105         53         Ok

6        QEng1Sn2(s11)   115             105         51         Ok

6        QEng1Sn3(s12)   115             105         48         Ok

6        QEng1Sn4(s13)   115             105         48         Ok

10       Crossbar(s5)    105             95          46         Ok

10       QEng1Sn1(s12)   115             110         65         Ok

10       QEng1Sn2(s13)   115             110         62         Ok

10       QEng1Sn3(s14)   115             110         64         Ok

10       QEng1Sn4(s15)   115             110         65         Ok

10       QEng2Sn1(s16)   115             110         65         Ok

10       QEng2Sn2(s17)   115             110         63         Ok

10       QEng2Sn3(s18)   115             110         64         Ok

10       QEng2Sn4(s19)   115             110         65         Ok

10       L2Lookup(s27)   115             105         51         Ok

10       L3Lookup(s28)   120             110         71         Ok

xbar-1   Intake  (s2)    60              42          27         Ok

xbar-1   Crossbar(s3)    105             95          55         Ok

xbar-2   Intake  (s2)    60              42          25         Ok

xbar-2   Crossbar(s3)    105             95          49         Ok

xbar-3   Intake  (s2)    60              42          26         Ok

xbar-3   Crossbar(s3)    105             95          47         Ok

De inlaatsensor wordt aan de luchtstroomtoevoer geplaatst en is de meest kritieke indicator van de kaarttemperatuur. Alle softwareacties worden ondernomen op basis van een belangrijke temperatuurschending van de Intake-sensor.

- Alle kleine drempelschendingen en belangrijke drempelschendingen bij niet-inlaatsensoren

Dit levert een syslogbericht, een callhome-gebeurtenis en een Simple Network Management Protocol (SNMP)-val. Deze prioritaire 1 of 2 berichten zijn gedrukt in de syslog - Module 1 gerapporteerd belangrijk temperatuuralarm (sensorindex 1 temperatuur 76).

- Belangrijke temperatuurdrempelwaarde overtreden op een linecard van de inlaatsensor

De lijnkaart wordt onmiddellijk afgesloten met deze prioriteit 0.0.000 bericht - Module 1 wordt uitgeschakeld door een groot temperatuuralarm.

- Ernstige overschrijding van de temperatuurdrempel door een redundante supervisor op een inlaatsensor

De overbodige supervisor is onmiddellijk gestopt. Dit zal resulteren in een omschakeling of de standby sluiting, afhankelijk van de specifieke supervisor die de drempel heeft overtreden. Dit prioriteitsbericht 0 wordt weergegeven - Module 1 wordt uitgeschakeld aan het eind van een groot temperatuuralarm.

- Storing van de temperatuursensor

Soms falen de temperatuursensoren en worden ze ontoegankelijk. Voor deze conditie wordt geen expliciete softwareactie ondernomen. Dit prioriteitsbericht 4 is afgedrukt - de temperatuursensor van module 1 is defect.

Problemen met supervisor-module zuiveren

Switch/supervisor reset/herladen

Het afluisteren van een schakelaar/Supervisor level reset/reload impliceert doorgaans het bekijken van debug/log informatie die opgeslagen is op het Non-Volatile Random Access Memory (NVRAM) op de Supervisors. Er zijn 3 soorten debug-/loginformatie aanwezig in NVRAM die belangrijke informatie kan bevatten.

1.1 Reden opnieuw instellen

Redresoverwegingen worden opgeslagen op Supervisor NVRAM op elke supervisor. Elke supervisor slaat zijn eigen resetrede op. Nadat de schakelaar weer verschijnt kunnen de reset redenen gedumpt worden met deze CLI opdracht. Er wordt een steekproefuitvoer geleverd.

SITE1-AGG1# show system reset-reason

----- reset reason for Supervisor-module 5 (from Supervisor in slot 5) ---

1) No time

Reason: Unknown

Service:

Version: 6.1(2)

2) No time

Reason: Unknown

Service:

Version: 6.1(1)

3) At 246445 usecs after Wed Nov  7 21:26:59 2012

Reason: Reset triggered due to Switchover Request by User

Service: SAP(93): Swover due to install

Version: 6.1(2)

4) At 36164 usecs after Tue Nov  6 01:18:15 2012

Reason: Reset Requested by CLI command reload

Service:

Version: 5.2(1)

----- reset reason for Supervisor-module 5 (from Supervisor in slot 6) ---

1) At 939785 usecs after Wed Nov  7 22:28:36 2012

Reason: Reset due to upgrade

Service:

Version: 6.1(1)

2) At 687128 usecs after Thu Mar 29 18:06:34 2012

Reason: Reset of standby by active sup due to sysmgr timeout

Service:

Version: 6.0(2)

3) At 10012 usecs after Thu Mar 29 17:56:13 2012

Reason: Reset of standby by active sup due to sysmgr timeout

Service:

Version: 6.0(2)

4) At 210045 usecs after Thu Mar 29 17:45:51 2012

Reason: Reset of standby by active sup due to sysmgr timeout

Service:

Version: 6.0(2)

----- reset reason for Supervisor-module 6 (from Supervisor in slot 5) ---

1) At 50770 usecs after Wed Nov  7 21:12:19 2012

Reason: Reset due to upgrade

Service:

Version: 6.1(2)

2) At 434294 usecs after Mon Nov  5 22:10:16 2012

Reason: Reset due to upgrade

Service:

Version: 5.2(1)

3) At 518 usecs after Mon Nov  5 21:21:51 2012

Reason: Reset Requested by CLI command reload

Service:

Version: 5.2(7)

4) At 556934 usecs after Mon Nov  5 21:12:15 2012

Reason: Reset due to upgrade

Service:

Version: 5.2(1)

----- reset reason for Supervisor-module 6 (from Supervisor in slot 6) ---

1) No time

Reason: Unknown

Service:

Version: 6.1(2)

2) At 462775 usecs after Wed Nov  7 22:38:44 2012

Reason: Reset triggered due to Switchover Request by User

Service: SAP(93): Swover due to install

Version: 6.1(1)

3) No time

Reason: Unknown

Service:

Version: 6.1(2)

4) No time

Reason: Unknown

Service:

Version: 5.2(1)

Tot de laatste 4 reset-redenen worden opgeslagen en weergegeven. Een reden voor resetten bevat:

- Tijdstempel van het moment dat de reset/reload werd gestart

- Reden voor het opnieuw instellen/opnieuw laden van de kaart

- Service die deze reset/herlading veroorzaakte - als er een was

- Softwareversie die op dat moment actief was

Soms wordt er een resetingsreden van Onbekend weergegeven. Reddings redenen die niet bekend zijn met software of die verder gaan dan de softwarecontrole worden gecategoriseerd als Onbekend. Deze omvatten doorgaans:

- Elk stroomprogramma van de schakelaar - inclusief een beheerste stroomcyclus of een nieuwe stroomvoorziening veroorzaakt door een stroomuitval of een stroomuitval

- Reset-toets voor het voorpaneel op supervisor

- Andere hardwarefouten die de CPU/DRAM/IO doen resetten of ophangen

1.2 NVRAM syslog

Syslogberichten die prioriteit 0, 1 en 2 zijn worden ook ingelogd in NVRAM van de supervisor. Nadat de schakelaar online terug komt, kunnen de syslogberichten in NVRAM worden weergegeven met deze opdracht. De opdracht en een voorbeelduitvoer worden weergegeven:

SITE1-AGG1# show log nvram

2012 Nov 17 05:59:51 SITE1-AGG1 %$ VDC-1 %$ %SYSMGR-STANDBY-2-LAST_CORE_BASIC_TRACE: : PID 15681 with message 'Core detected due to hwclock crash'.

2012 Nov 17 12:07:11 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-2-LOG_CMP_UP: Connectivity Management processor(on module 5) is now UP

2012 Nov 17 12:07:56 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 1 has come online

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 1 ok (Serial number DTM131000A4)

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 1 ok

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 2 ok (Serial number DTM140700HS)

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 2 ok

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_DETECT: Power supply 3 detected but shutdown (Serial number DTM1413004P)

2012 Nov 17 12:07:59 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 1 detected (Serial number JAF1308ABCS)

2012 Nov 17 12:08:01 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 2 detected (Serial number JAB120600NX)

2012 Nov 17 12:08:02 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 3 detected (Serial number JAF1508AJHN)

2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 1 detected (Serial number JAB121602HP) Module-Type 10/100/1000 Mbps Ethernet Module Model N7K-M148GT-11

2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 1 powered up (Serial number JAB121602HP)

2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 3 detected (Serial number JAF1441BSED) Module-Type 10 Gbps Ethernet Module Model N7K-M132XP-12

2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 4 detected (Serial number JAF1542ABML) Module-Type 1/10 Gbps Ethernet Module Model N7K-F132XP-15

2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 3 powered up (Serial number JAF1441BSED)

2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 4 powered up (Serial number JAF1542ABML)

2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 10 detected (Serial number JAF1521BNMK) Module-Type 10 Gbps Ethernet XL Module Model N7K-M132XP-12L

2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 10 powered up (Serial number JAF1521BNMK)

2012 Nov 17 12:08:30 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-STANDBY-2-LOG_CMP_UP: Connectivity Management processor(on module 6) is now UP

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 1 (Fan1(sys_fan1) fan) ok

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 2 (Fan2(sys_fan2) fan) ok

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 3 (Fan3(fab_fan1) fan) ok

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 4 (Fan4(fab_fan2) fan) ok

2012 Nov 17 12:11:40 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 2 has come online

2012 Nov 17 12:12:31 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 3 has come online

2012 Nov 17 12:13:21 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 4 has come online

2012 Nov 17 13:10:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPMINALRM: Xbar-1 reported minor temperature alarm. Sensor=2 Temperature=43 MinThreshold=42

2012 Nov 17 19:56:35 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPOK: Xbar-1 recovered from minor temperature alarm. Sensor=2 Temperature=41 MinThreshold=42

Het scannen van het syslogon NVRAM zou meer informatie over de bijzondere mislukking kunnen verstrekken die de schakelaar/de supervisor herload/reset veroorzaakte.

1.3 Uitzondering op module

Module-exceptionlog is een breed logboek van alle fouten en uitzonderlijke omstandigheden op elke module. Sommige uitzonderingen zijn rampzalig, sommige hebben een gedeeltelijke invloed op bepaalde havens in een module, andere zijn bedoeld om te waarschuwen. Elke logingang heeft het specifieke apparaat dat de uitzondering, het uitzonderingsniveau, foutcode, getroffen poorten, timestamp heeft vastgelegd. Het uitzonderingslogbestand wordt opgeslagen in NVRAM op de supervisor en kan met deze CLI-opdracht worden weergegeven. Er wordt een steekproefuitvoer geleverd.

SITE1-AGG1# show module internal exceptionlog

********* Exception info for module 1 ********

exception information --- exception instance 1 ----

Module Slot Number: 1

Device Id         : 10

Device Name       : eobc

Device Errorcode  : 0xc0005043

Device ID         : 00 (0x00)

Device Instance   : 05 (0x05)

Dev Type (HW/SW)  : 00 (0x00)

ErrNum (devInfo)  : 67 (0x43)

System Errorcode  : 0x4042004d EOBC link failure

Error Type        : Warning

PhyPortLayer      : Ethernet

Port(s) Affected  : none

DSAP              : 0 (0x0)

UUID              : 0 (0x0)

Time              : Mon Nov  5 20:39:38 2012

(Ticks: 5098948A jiffies)

exception information --- exception instance 2 ----

Module Slot Number: 1

Device Id         : 10

Device Name       : eobc

Device Errorcode  : 0xc0005047

Device ID         : 00 (0x00)

Device Instance   : 05 (0x05)

Dev Type (HW/SW)  : 00 (0x00)

ErrNum (devInfo)  : 71 (0x47)

System Errorcode  : 0x4042004e EOBC heartbeat failure

Error Type        : Warning

PhyPortLayer      : Ethernet

Port(s) Affected  : none

DSAP              : 0 (0x0)

UUID              : 0 (0x0)

Time              : Mon Nov  5 20:39:37 2012

(Ticks: 50989489 jiffies)

De exceptionlog verstrekt kritieke informatie aan de fouten van de probleemoplossing en de uitzonderingspositie. Hier worden een aantal ID's van het apparaat weergegeven.

#define DEV_LINECARD_CTRL 1

#define DEV_SAHARA_FPGA 2

#define DEV_RIVIERA_ASIC 3

#define DEV_LUXOR_ASIC 4

#define DEV_FRONTIER_U_ASIC 5

#define DEV_FRONTIER_D_ASIC 6

#define DEV_ALADDIN_ASIC 7

#define DEV_SSA_ASIC 8

#define DEV_MIRAGE_ASIC 9

#define DEV_EOBC_MAC 10

#define DEV_SUPERVISOR_CTRL 11

#define DEV_BELLAGIO_ASIC 12

#define DEV_SIBYTE 13

#define DEV_FLAMINGO 14

#define DEV_FATW_CTRL 15

#define DEV_MGMT_MAC 16

#define DEV_MOD_RDN_CTRL 17

#define DEV_MOD_ENV 18

#define DEV_GG_FPGA 19

#define DEV_BALLY_MAIN_BOARD 20

#define DEV_BALLY_DAUGHTER_CARD 21

#define DEV_LOCAL_SSO_ASIC 22

#define DEV_REMOTE_SSO_ASIC 23

#define DEV_ID_UD_FIX_FPGA 24

#define DEV_ID_PM_FPGA 25 // PM - Power Mngmnt

#define DEV_ID_SUP_XBUS2 26

#define DEV_MARRIOTT_FPGA 27

#define DEV_REUSE_ME 28

#define DEV_GBIC 29

#define DEV_XGFC_FPGA 30

#define DEV_GNN_FPGA 31

#define DEV_SIBYTE_MEM_EPLD 32

#define DEV_BATTERY 33

#define DEV_IDE_DISK 45

#define DEV_XCVR 46

#define DEV_LINECARD 48

#define DEV_TEMP_SENSOR 49

#define DEV_HIFN_COMP 50

#define DEV_X2 51

In het MDS-chassis (Multilayer Data Switch) worden de toezichthouder-modules iets anders opgebouwd dan de lijnkaartmodules. Wanneer twee toezichthouders in het systeem aanwezig zijn en het systeem wordt aangedreven, zal een van de toezichthouders actief worden en de andere stand-by. Active Supervisor release en Standby Supervisor release is anders en wordt hier besproken.

Active Supervisor Challenge

Als er geen actieve toezichthouder in het systeem is, zal de toezichthouder die opstart standaard aan de actieve toezichthouder overhouden. Een proces genaamd systeemmanager is verantwoordelijk voor het op ordelijke wijze laden van alle softwarecomponenten aan de toezichthouder. Een van de eerste softwarecomponenten die op de toezichthouder wordt uitgevoerd is de platformbeheerder. Met deze component laadt u alle kabelstuurprogramma's en handleidingen op bij de systeembeheerder. Bij succes zal systeemmanager de rest van de processen starten op basis van de interne afhankelijkheid tussen processen.

Vanuit het perspectief van de modulemanager is de supervisor net als een andere lijnkaartmodule met subtiele verschillen. Wanneer de platformmanager aan modulemanager aangeeft dat de Supervisor UP is, wacht de modulemanager niet op Registratie. In plaats daarvan informeert het alle softwarecomponenten die de supervisor omhoog is (ook bekend als Sup insertion Sequence). Alle componenten zullen de toezichthouder configureren. Als een component terugkomt met een mislukking, zal de supervisor worden herstart.

Standby supervisor Bring

Als er een actieve toezichthouder in het systeem is, zal de toezichthouder die opstart een stand-by toezichthouder status geven. De stand-by toezichthouder moet de staat van de actieve toezichthouder spiegelen. Dit wordt bereikt door ‘system manager’ op active en initieert een sync (mondiale sync) voor actieve supervisor naar stand-by supervisor. Zodra alle componenten op de stand-by gesynchroniseerd zijn met die van de actieve toezichthouder, wordt de module manager ervan op de hoogte gebracht dat de stand-by toezichthouder omhoog is.

Module-manager gaat nu verder en informeert alle softwarecomponenten op de actieve toezichthouder om de standby supervisor te configureren (ook bekend als Standby Sup insertion Sequence). Alle fouten van een component tijdens de Standby Setup-volgorde resulteren in Standby Supervisor Rebooster.

Actieve supervisor Rebooster

MDS handhaaft veel debug-informatie tijdens een run. Maar wanneer een toezichthouder een groot deel van de debug-informatie opnieuw opstart, gaat deze verloren. Alle kritische informatie wordt echter opgeslagen in niet-vluchtige rammen, die kunnen worden gebruikt om de storing te reconstrueren. Wanneer een actieve supervisor herstart, kan de informatie die in zijn nvram wordt opgeslagen niet worden verkregen tot het opnieuw omhoog komt. Zodra de Supervisor weer omhoog komt, kunnen deze opdrachten worden gebruikt om het persistente logbestand te dumpen:

Switch# toont bloggingnr.

Switch# toont systeem opnieuw instellen

Switch# toont module interne uitzondering-log

Voorbeeld 1: Active Sup Rebooster (wegens crashen met Supervisor Processing)

In dit voorbeeld, crashed van een Supervisor Processing (Service "xbar"), die ervoor zorgt dat de actieve sup wordt herstart. Wanneer de toezichthouder opnieuw verschijnt geeft de informatie die opgeslagen is op de reset-reden een duidelijke indicatie, voor de herstart van de toezichthouder.

switch# show system reset-reason

----- reset reason for module 6 -----

1) At 94009 usecs after Tue Sep 27 18:52:13 2005

Reason: Reset triggered due to HA policy of Reset

Service: Service "xbar"

Version: 2.1(2)

Als er een stand-by toezichthouder in het systeem is, zal de stand-by toezichthouder nu actieve supervisor worden. Het weergeven van de sysloginformatie over de stand-by toezichthouder zal ook dezelfde informatie verstrekken (hoewel niet zo expliciet als "de systeemreset-reden tonen").

Switch# show logging

2005 Sep 27 18:58:05 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 1225) hasn't caught signal 9 (no core).

2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2349) hasn't caught signal 9 (no core).

2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2352) hasn't caught signal 9 (no core).

Voorbeeld 2: Active Sup Rebooster (vanwege een storing in een draaiings-diagnose)

In dit voorbeeld, is Supervisor in sleuf-6 actief en de arbiter op de Supervisor meldt een Fatal Fout. Wanneer een hardwareapparaat een fatale fout meldt, wordt de module die het apparaat bevat herstart. In dit geval wordt de actieve supervisor herstart. Als er een stand-by supervisor is, zal de stand-by supervisor het overnemen. Syslogberichten op de standby supervisor en het extreem logbestand zullen informatie hebben om de bron van de fout te identificeren.

Switch# show logging

2005 Sep 28 14:17:47 172.20.150.204 %XBAR-5-XBAR_STATUS_REPORT: Module 6 reported status for component 12 code 0x60a02.

2005 Sep 28 14:17:59 172.20.150.204 %PORT-5-IF_UP: Interface mgmt0 on slot 5 is up

2005 Sep 28 14:18:00 172.20.150.204 %CALLHOME-2-EVENT: SUP_FAILURE

switch# show module internal exceptionlog module 6

********* Exception info for module 6 ********

exception information --- exception instance 1 ----

device id: 12

device errorcode: 0x80000020

system time: (1127917068 ticks) Wed Sep 28 14:17:48 2005

error type: FATAL error

Number Ports went bad:

1,2,3,4,5,6

exception information --- exception instance 2 ----

device id: 12

device errorcode: 0x00060a02

system time: (1127917067 ticks) Wed Sep 28 14:17:47 2005

error type: Warning

Number Ports went bad:

1,2,3,4,5,6

Bovendien zal, wanneer de heropende sup weer online komt, ‘show system reset-ratio’ ook relevante informatie bevatten. In dit geval werd module 6 (die de werkzame sup was) door SAP 48 herstart met foutcode 0x80000020. Het proces dat deze sap bezit, kan worden verkregen door de opdracht "Geeft systeem interne mts sup sap 48 beschrijving", waarin staat dat het proces xbar-manager was.

switch(standby)# show system reset-reason

----- reset reason for module 6 -----

1) At 552751 usecs after Wed Sep 28 14:17:48 2005

Reason: Reset Requested due to Fatal Module Error

Service: lcfail:80000020 sap:48 node:060

Version: 2.1(2)

Voorbeeld 3: Standby Sup is niet online gekomen

In dit voorbeeld is actieve sup in bedrijf en is de stand-by sup in het systeem aangesloten. De show module geeft echter niet aan dat de module ooit is opgekomen.

switch# show module

Mod Ports Module-Type Model Status

--- ----- -------------------------------- ------------------ ------------

5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *

8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)

--- ----------- ------ --------------------------------------------------

5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num

--- -------------------------------------- ----------

5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

Als u echter inlogt op de console van de stand-by functie, staat dit stand-by modus.

runlog>telnet sw4-ts 2004

Trying 172.22.22.55...

Connected to sw4-ts.cisco.com (172.22.22.55).

Escape character is '^]'.

MDS Switch

login: admin

Password:

Cisco Storage Area Networking Operating System (SAN-OS) Software

TAC support: http://www.cisco.com/tac

Copyright (c) 2002-2005, Cisco Systems, Inc. All rights reserved.

The copyrights to certain works contained herein are owned by

other third parties and are used and distributed under license.

Some parts of this software are covered under the GNU Public

License. A copy of the license is available at

http://www.gnu.org/licenses/gpl.html.

switch(standby)#

Zoals eerder besproken, wanneer de standby sup in het systeem is ingevoerd, worden de configuratie en de status van alle componenten van de actieve supervisor gekopieerd naar de standby (sync). Totdat dit proces is voltooid, overweegt de actieve supervisor geen standby supervisor aanwezig te zijn. Om te verifiëren of dit proces is voltooid, kunt u de volgende opdracht op de actieve supervisor geven. De uitvoer van de opdracht geeft aan dat de synchronisatie-uitvoering is (en waarschijnlijk nooit is voltooid).

switch# show system redundancy status

Redundancy mode

---------------

administrative: HA

operational: None

This supervisor (sup-1)

-----------------------

Redundancy state: Active

Supervisor state: Active

Internal state: Active with HA standby

Other supervisor (sup-2)

------------------------

Redundancy state: Standby

Supervisor state: HA standby

Internal state: HA synchronization in progress

De meest waarschijnlijke reden waarom dit had kunnen gebeuren is, als één van de softwarecomponenten op de standby er niet in slaagde om de staat met de actieve toezichthouder te synchroniseren. Om te verifiëren welke processen niet synchroniseerden, kunt u deze opdracht geven op de actieve supervisor en de uitvoer geeft aan dat veel softwarecomponenten niet zijn voltooid.

switch# show system internal sysmgr gsyncstats

Name Gsync done Gsync time(sec)

---------------- ---------- -------------

aaa 1 0

ExceptionLog 1 0

platform 1 1

radius 1 0

securityd 1 0

SystemHealth 1 0

tacacs 0 N/A

acl 1 0

ascii-cfg 1 1

bios_daemon 0 N/A

bootvar 1 0

callhome 1 0

capability 1 0

cdp 1 0

cfs 1 0

cimserver 1 0

cimxmlserver 0 N/A

confcheck 1 0

core-dmon 1 0

core-client 0 N/A

device-alias 1 0

dpvm 0 N/A

dstats 1 0

epld_upgrade 0 N/A

epp 1 1

Bovendien zien we, als we kijken naar de stand-by toezichthouder, dat de xbar software component 23 keer is herstart. Dit lijkt de meest waarschijnlijke oorzaak dat de stand-by niet naar voren kwam.

switch(standby)# show system internal sysmgr service all

Name UUID PID SAP state Start count

---------------- ---------- ------ ----- ----- -----------

aaa 0x000000B5 1458 111 s0009 1

ExceptionLog 0x00000050 [NA] [NA] s0002 None

platform 0x00000018 1064 39 s0009 1

radius 0x000000B7 1457 113 s0009 1

securityd 0x0000002A 1456 55 s0009 1

vsan 0x00000029 1436 15 s0009 1

vshd 0x00000028 1408 37 s0009 1

wwn 0x00000030 1435 114 s0009 1

xbar 0x00000017 [NA] [NA] s0017 23

xbar_client 0x00000049 1434 917 s0009 1

Voorbeeld 3: Standby Sup is in de PowerUp-Staat

In dit voorbeeld, wordt standby sup in sleuf 6 ingevoegd. show Module opdracht afgegeven op de active-sup, laat zien dat Standby Sup in staat is tot stand te brengen.

switch# show module

Mod Ports Module-Type Model Status

--- ----- -------------------------------- ------------------ ------------

5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *

6 0 Supervisor/Fabric-1 powered-up

8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)

--- ----------- ------ --------------------------------------------------

5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num

--- -------------------------------------- ----------

5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

In dit voorbeeld geeft show logging geen waardevolle informatie en laat de module interne uitzondering-log ook niet zien. Maar aangezien alle staatsovergangen voor een bepaalde module opgeslagen worden in de modulemanager, kunnen we de state transformaties van de modulemanager bekijken om uit te zoeken wat fout is. De interne overheidsoperaties zijn:

Switch# show module internal event-history module 5

64) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563504 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_LC_NOT_PRESENT]

Triggered event: [LCM_EV_PFM_MODULE_SUP_INSERTED]

Next state: [LCM_ST_SUPERVISOR_INSERTED]

65) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563944 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_SUPERVISOR_INSERTED]

Triggered event: [LCM_EV_START_SUP_INSERTED_SEQUENCE]

Next state: [LCM_ST_CHECK_INSERT_SEQUENCE]

66) Event:ESQ_START length:32, at 564045 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2710, Ret:success

Seq Type:SERIAL

67) Event:ESQ_REQ length:32, at 564422 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

68) Event:ESQ_RSP length:32, at 566174 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

69) Event:ESQ_REQ length:32, at 566346 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2, Ret:success

[E_MTS_TX] Dst:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

70) Event:ESQ_RSP length:32, at 566635 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2, Ret:success

[E_MTS_RX] Src:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

71) Event:ESQ_REQ length:32, at 566772 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x3, Ret:success

[E_MTS_TX] Dst:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

73) Event:ESQ_RSP length:32, at 586418 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x3, Ret:(null)

[E_MTS_RX] Src:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

74) FSM:<ID(1): Slot 6, node 0x0601> Transition at 586436 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_CHECK_INSERT_SEQUENCE]

Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]

Next state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]

75) Event:ESQ_START length:32, at 586611 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2710, Ret:success

Seq Type:SERIAL

76) Event:ESQ_REQ length:32, at 593649 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

77) Event:ESQ_RSP length:32, at 594854 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

90) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604447 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]

Triggered event: [LCM_EV_ALL_LC_REMOVED_RESP_RECEIVED]

Next state: [LCM_ST_LC_FAILURE]

91) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604501 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_LC_FAILURE]

Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]

Next state: [LCM_ST_LC_FAILURE]

92) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604518 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_LC_FAILURE]

Triggered event: [LCM_EV_SUPERVISOR_FAILURE]

Next state: [LCM_ST_LC_NOT_PRESENT]

Curr state: [LCM_ST_LC_NOT_PRESENT]

switch#

Kijk naar de logbestanden boven Index 92, geeft aan dat de supervisor in de mislukte staat is en dat de geactiveerd gebeurtenis LCM_EV_LC_INSERTED_SEQ_FAILED is. (Invoersequentie mislukt). Als u de logbestanden opgaat om uit te vinden waarom de insertie-sequentie is mislukt, zie dan dat de invoegreeks meteen faalde na een reactie van MTS_SAP_XBAR_MANAGER (Index 73 en Index 74). Dit geeft aan dat er iets mis is met de xbar configuratie wanneer de standby sup is ingevoegd. Meer debugging kan worden gedaan door te kijken naar de interne loggen van de mislukte component (in dit geval, xbar component).