Dépannage du matériel N7K (ventilateur/PS/Temp/Xbar/SUP)

Problèmes de châssis de débogage

Problèmes de ventilateur

Cette commande affiche l'état du module de ventilation sur le commutateur.

SITE1-AGG1# show environment fan
Fan:
------------------------------------------------------
Fan             Model                Hw         Status
------------------------------------------------------
Fan1(sys_fan1)  N7K-C7010-FAN-S      1.1        Ok  
Fan2(sys_fan2)  N7K-C7010-FAN-S      1.1        Ok  
Fan3(fab_fan1)  N7K-C7010-FAN-F      1.1        Ok  
Fan4(fab_fan2)  N7K-C7010-FAN-F      1.1        Ok  
Fan_in_PS1      --                   --         Ok             
Fan_in_PS2      --                   --         Ok             
Fan_in_PS3      --                   --         Shutdown       
Fan Zone Speed: Zone 1: 0x78 Zone 2: 0x58
Fan Air Filter : Present

L'état du ventilateur peut être ok, défaillant ou absent.

• Ok - Tous les ventilateurs, y compris le contrôleur de ventilateur, fonctionnent correctement
• Échec : un ou plusieurs ventilateurs ou contrôleurs de ventilateur ont échoué. Le logiciel ne peut pas déterminer si un seul ventilateur, plusieurs ventilateurs ou tous les ventilateurs ont échoué. Si au moins un ventilateur a échoué, cet état s'affiche. Ce message syslog de priorité 1 est imprimé : Échec du module de ventilation.
• Absent : le module de ventilation a été supprimé. Dès que le module de ventilation est retiré, le logiciel démarre un compte à rebours de 5 minutes ; si le module de ventilation n'est pas réinséré dans un délai de 5 minutes, l'ensemble du commutateur est arrêté. Le logiciel lit un octet sur la mémoire SEEPROM (Serial Electrically Erasable Programmable Read Only Memory) pour déterminer si le module de ventilation est présent. Si le module de ventilation est partiellement inséré ou si le logiciel ne parvient pas à accéder au module de ventilation SEEPROM pour toute autre raison, le logiciel ne peut pas distinguer ce cas d'un retrait réel du module de ventilation. Le commutateur sera arrêté dans 5 minutes. Si le logiciel détecte une suppression, ce message syslog de priorité 0 est imprimé toutes les 5 secondes.

“Fan module removed. Fan module has been absent for 120 seconds"

• Aucune action explicite n'est prise par le logiciel en cas de défaillance d'un ventilateur d'alimentation, autre que l'indication d'une telle défaillance à l'aide de messages syslog.

Alimentation

Cette commande affiche les modules d'alimentation installés, le résumé de la consommation électrique et l'état des modules d'alimentation sur le commutateur.

La commande ainsi qu'un exemple de résultat sont fournis.

SITE1-AGG1# show environment power 
Power Supply:
Voltage: 50 Volts
Power                              Actual        Total
Supply    Model                    Output     Capacity    Status
                                 (Watts )     (Watts )
-------  -------------------  -----------  -----------  --------------
1        N7K-AC-6.0KW              1179 W       6000 W     Ok        
2        N7K-AC-6.0KW              1117 W       6000 W     Ok        
3        N7K-AC-6.0KW                 0 W          0 W     Shutdown  

                                  Actual        Power      
Module    Model                     Draw    Allocated    Status
                                 (Watts )     (Watts )     
-------  -------------------  -----------  -----------  --------------
1        N7K-M148GT-11              N/A          400 W    Powered-Up
3        N7K-M132XP-12              N/A          750 W    Powered-Up
4        N7K-F132XP-15              318 W        385 W    Powered-Up
5        N7K-SUP1                   N/A          210 W    Powered-Up
6        N7K-SUP1                   N/A          210 W    Powered-Up
10       N7K-M132XP-12L             535 W        750 W    Powered-Up
Xb1      N7K-C7010-FAB-1            N/A           80 W    Powered-Up
Xb2      N7K-C7010-FAB-1            N/A           80 W    Powered-Up
Xb3      N7K-C7010-FAB-1            N/A           80 W    Powered-Up
Xb4      xbar                       N/A           80 W    Absent
Xb5      xbar                       N/A           80 W    Absent
fan1     N7K-C7010-FAN-S            133 W        720 W    Powered-Up
fan2     N7K-C7010-FAN-S            133 W        720 W    Powered-Up
fan3     N7K-C7010-FAN-F             12 W        120 W    Powered-Up
fan4     N7K-C7010-FAN-F             12 W        120 W    Powered-Up

N/A - Per module power not available


Power Usage Summary:
--------------------
Power Supply redundancy mode (configured)                PS-Redundant
Power Supply redundancy mode (operational)               Non-Redundant

Total Power Capacity (based on configured mode)              12000 W
Total Power of all Inputs (cumulative)                       12000 W
Total Power Output (actual draw)                              2296 W
Total Power Allocated (budget)                                4785 W
Total Power Available for additional modules                  7215 W

L'état de l'alimentation peut être l'un des suivants :

• Ok - L'alimentation fonctionne correctement
• Échec/Arrêt : soit le bloc d'alimentation est défaillant, soit il est arrêté à l'aide du commutateur de l'alimentation. En cas de défaillance d'une alimentation, le logiciel imprime ce message syslog de priorité 2 ; Échec ou arrêt de l'alimentation 1 (numéro de série xxxx).
• Arrêt : le logiciel a arrêté l'alimentation. Le logiciel arrête le bloc d'alimentation de capacité inférieure uniquement s'il détecte une paire de blocs d'alimentation mal appariés et que le mode est redondant ou qu'il y a une transition du mode combiné au mode redondant. Si les deux modules d'alimentation ont la même capacité ou si le mode est combiné, le logiciel n'arrête jamais un module d'alimentation. Ce message syslog de priorité 2 est imprimé et accompagne l'arrêt de l'alimentation logicielle ; Alimentation détectée 1. Cela réduit l'alimentation redondante disponible pour le système et peut provoquer des interruptions de service (numéro de série xxxx). 
• Absent : le bloc d'alimentation est absent et a été retiré. Ce message syslog de priorité 2 est imprimé lors du retrait d'une alimentation ; Alimentation 2 retirée (numéro de série xxxx).

Panne de l'alimentation :

Chaque module d'alimentation est doté d'une LED indiquant l'état de la sortie d'alimentation. Ce voyant est directement contrôlé par le bloc d'alimentation et une couleur rouge indique une défaillance du bloc d'alimentation. Lorsque vous analysez le syslog, vous pouvez afficher des messages alternatifs sur la panne et la récupération de l'alimentation, indiquant en outre les problèmes liés à l'alimentation.

Température ou chaleur

Chaque carte du châssis comporte au moins deux capteurs de température. Chaque capteur de température est configuré avec un seuil mineur et un seuil majeur. Cette commande avec un exemple de sortie montre comment les informations de température peuvent être récupérées à partir du commutateur :

SITE1-AGG1# show environment temperature 
Temperature:
--------------------------------------------------------------------
Module   Sensor        MajorThresh   MinorThres   CurTemp     Status
                       (Celsius)     (Celsius)    (Celsius)         
--------------------------------------------------------------------
1        Crossbar(s5)    105             95          46         Ok             
1        CTSdev4 (s9)    115             105         56         Ok             
1        CTSdev5 (s10)   115             105         57         Ok             
1        CTSdev7 (s12)   115             105         56         Ok             
1        CTSdev9 (s14)   115             105         53         Ok             
1        CTSdev10(s15)   115             105         53         Ok             
1        CTSdev11(s16)   115             105         52         Ok             
1        CTSdev12(s17)   115             105         51         Ok             
1        QEng1Sn1(s18)   115             105         51         Ok             
1        QEng1Sn2(s19)   115             105         50         Ok             
1        QEng1Sn3(s20)   115             105         48         Ok             
1        QEng1Sn4(s21)   115             105         48         Ok             
1        L2Lookup(s22)   120             110         47         Ok             
1        L3Lookup(s23)   120             110         54         Ok             
3        Crossbar(s5)    105             95          50         Ok             
3        QEng1Sn1(s12)   115             110         69         Ok             
3        QEng1Sn2(s13)   115             110         67         Ok             
3        QEng1Sn3(s14)   115             110         66         Ok             
3        QEng1Sn4(s15)   115             110         67         Ok             
3        QEng2Sn1(s16)   115             110         70         Ok             
3        QEng2Sn2(s17)   115             110         67         Ok             
3        QEng2Sn3(s18)   115             110         66         Ok             
3        QEng2Sn4(s19)   115             110         67         Ok             
3        L2Lookup(s27)   115             105         51         Ok             
3        L3Lookup(s28)   120             110         64         Ok             
4        Crossbar1(s1)   105             95          69         Ok             
4        Crossbar2(s2)   105             95          52         Ok             
4        L2dev1(s3)      105             95          37         Ok             
4        L2dev2(s4)      105             95          43         Ok             
4        L2dev3(s5)      105             95          45         Ok             
4        L2dev4(s6)      105             95          45         Ok             
4        L2dev5(s7)      105             95          40         Ok             
4        L2dev6(s8)      105             95          41         Ok             
4        L2dev7(s9)      105             95          42         Ok             
4        L2dev8(s10)     105             95          40         Ok             
4        L2dev9(s11)     105             95          38         Ok             
4        L2dev10(s12)    105             95          38         Ok             
4        L2dev11(s13)    105             95          38         Ok             
4        L2dev12(s14)    105             95          37         Ok             
4        L2dev13(s15)    105             95          34         Ok             
4        L2dev14(s16)    105             95          33         Ok             
4        L2dev15(s17)    105             95          33         Ok             
4        L2dev16(s18)    105             95          32         Ok             
5        Intake  (s3)    60              42          24         Ok             
5        EOBC_MAC(s4)    105             95          42         Ok             
5        CPU     (s5)    105             95          42         Ok             
5        Crossbar(s6)    105             95          47         Ok             
5        Arbiter (s7)    110             100         55         Ok             
5        CTSdev1 (s8)    115             105         44         Ok             
5        InbFPGA (s9)    105             95          43         Ok             
5        QEng1Sn1(s10)   115             105         48         Ok             
5        QEng1Sn2(s11)   115             105         46         Ok             
5        QEng1Sn3(s12)   115             105         44         Ok             
5        QEng1Sn4(s13)   115             105         44         Ok             
6        Intake  (s3)    60              42          24         Ok             
6        EOBC_MAC(s4)    105             95          40         Ok             
6        CPU     (s5)    105             95          36         Ok             
6        Crossbar(s6)    105             95          45         Ok             
6        Arbiter (s7)    110             100         52         Ok             
6        CTSdev1 (s8)    115             105         43         Ok             
6        InbFPGA (s9)    105             95          43         Ok             
6        QEng1Sn1(s10)   115             105         53         Ok             
6        QEng1Sn2(s11)   115             105         51         Ok             
6        QEng1Sn3(s12)   115             105         48         Ok             
6        QEng1Sn4(s13)   115             105         48         Ok             
10       Crossbar(s5)    105             95          46         Ok             
10       QEng1Sn1(s12)   115             110         65         Ok             
10       QEng1Sn2(s13)   115             110         62         Ok             
10       QEng1Sn3(s14)   115             110         64         Ok             
10       QEng1Sn4(s15)   115             110         65         Ok             
10       QEng2Sn1(s16)   115             110         65         Ok             
10       QEng2Sn2(s17)   115             110         63         Ok             
10       QEng2Sn3(s18)   115             110         64         Ok             
10       QEng2Sn4(s19)   115             110         65         Ok             
10       L2Lookup(s27)   115             105         51         Ok             
10       L3Lookup(s28)   120             110         71         Ok             
xbar-1   Intake  (s2)    60              42          27         Ok             
xbar-1   Crossbar(s3)    105             95          55         Ok             
xbar-2   Intake  (s2)    60              42          25         Ok             
xbar-2   Crossbar(s3)    105             95          49         Ok             
xbar-3   Intake  (s2)    60              42          26         Ok             
xbar-3   Crossbar(s3)    105             95          47         Ok  

Le capteur d'entrée est placé à l'entrée d'air et est l'indicateur le plus critique de la température de la carte. Toutes les actions logicielles sont effectuées en fonction d'une violation de température majeure du capteur d'entrée.

•  Toutes les violations mineures de seuil et les violations majeures de seuil sur les capteurs hors entrée

Cela entraîne un message syslog, un événement callhome et un déroutement SNMP (Simple Network Management Protocol). Ces messages de priorité 1 ou 2 sont imprimés dans le syslog - Module 1 signalé alarme de température majeure (capteur-index 1 température 76).

•  Violation majeure du seuil de température sur la carte de ligne du capteur d'entrée

La carte de ligne est instantanément arrêtée avec ce message syslog de priorité 0 - le module 1 est hors tension en raison d'une alarme de température majeure.

•  Violation majeure du seuil de température sur un superviseur redondant sur le capteur d'entrée

Le superviseur redondant est arrêté instantanément. Cela entraînera soit un basculement, soit l'arrêt en veille, selon le superviseur particulier qui a violé le seuil. Ce message syslog de priorité 0 s'affiche : le module 1 est hors tension en raison d'une alarme de température majeure.

•  Panne du capteur de température

Parfois, les capteurs de température échouent et deviennent inaccessibles. Aucune action logicielle explicite n'est prise pour cette condition. Ce message syslog de priorité 4 est imprimé - Échec du capteur de température du module 1.

Débogage des problèmes du module Supervisor

Réinitialisation/rechargement du commutateur/du superviseur

Le débogage d'une réinitialisation/rechargement au niveau du commutateur/superviseur implique généralement de rechercher les informations de débogage/journal stockées sur la mémoire NVRAM (Non-Volatile Random Access Memory) sur les superviseurs. Il existe 3 types d'informations de débogage/journal présentes dans la mémoire vive non volatile qui peuvent contenir des informations importantes.

1.1 Raison de réinitialisation

Les motifs de réinitialisation sont stockés dans la mémoire NVRAM du superviseur sur chaque superviseur. Chaque superviseur stocke sa propre raison de réinitialisation. Une fois le commutateur réactivé, les raisons de réinitialisation peuvent être abandonnées à l'aide de cette commande CLI. Un exemple de résultat est fourni.

SITE1-AGG1# show system reset-reason 
----- reset reason for Supervisor-module 5 (from Supervisor in slot 5) ---
1) No time
    Reason: Unknown
    Service: 
    Version: 6.1(2)
2) No time
    Reason: Unknown
    Service: 
    Version: 6.1(1)
3) At 246445 usecs after Wed Nov  7 21:26:59 2012
    Reason: Reset triggered due to Switchover Request by User
    Service: SAP(93): Swover due to install
    Version: 6.1(2)
4) At 36164 usecs after Tue Nov  6 01:18:15 2012
    Reason: Reset Requested by CLI command reload
    Service: 
    Version: 5.2(1)
----- reset reason for Supervisor-module 5 (from Supervisor in slot 6) ---
1) At 939785 usecs after Wed Nov  7 22:28:36 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 6.1(1)
2) At 687128 usecs after Thu Mar 29 18:06:34 2012
    Reason: Reset of standby by active sup due to sysmgr timeout
    Service: 
    Version: 6.0(2)
3) At 10012 usecs after Thu Mar 29 17:56:13 2012
    Reason: Reset of standby by active sup due to sysmgr timeout
    Service: 
    Version: 6.0(2)
4) At 210045 usecs after Thu Mar 29 17:45:51 2012
    Reason: Reset of standby by active sup due to sysmgr timeout
    Service: 
    Version: 6.0(2)
----- reset reason for Supervisor-module 6 (from Supervisor in slot 5) ---
1) At 50770 usecs after Wed Nov  7 21:12:19 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 6.1(2)
2) At 434294 usecs after Mon Nov  5 22:10:16 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 5.2(1)
3) At 518 usecs after Mon Nov  5 21:21:51 2012
    Reason: Reset Requested by CLI command reload
    Service: 
    Version: 5.2(7)
4) At 556934 usecs after Mon Nov  5 21:12:15 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 5.2(1)
----- reset reason for Supervisor-module 6 (from Supervisor in slot 6) ---
1) No time
    Reason: Unknown
    Service: 
    Version: 6.1(2)
2) At 462775 usecs after Wed Nov  7 22:38:44 2012
    Reason: Reset triggered due to Switchover Request by User
    Service: SAP(93): Swover due to install
    Version: 6.1(1)
3) No time
    Reason: Unknown
    Service: 
    Version: 6.1(2)
4) No time
    Reason: Unknown
    Service: 
    Version: 5.2(1)

Jusqu'aux 4 dernières raisons de réinitialisation sont enregistrées et affichées. Une raison de réinitialisation contient :

•  Horodatage de la réinitialisation/du rechargement
•  Raison de la réinitialisation/du rechargement de la carte
•  Service à l'origine de cette réinitialisation/rechargement - le cas échéant
•  Version du logiciel qui était en cours d'exécution à cette époque

Parfois, une raison de réinitialisation d'Inconnu s'affiche. Les raisons de réinitialisation qui ne sont pas connues du logiciel ou qui échappent au contrôle logiciel sont classées comme Inconnues. Il s'agit généralement :

•  Tout cycle d'alimentation du commutateur, y compris le cycle d'alimentation contrôlé des modules d'alimentation ou une réinitialisation des modules d'alimentation provoquée par une panne d'alimentation ou une panne d'alimentation
•  Bouton de réinitialisation du panneau avant sur Supervisor
•  Toute autre défaillance matérielle entraînant la réinitialisation ou le blocage du processeur/DRAM/E/S

1.2 Syslog NVRAM

Les messages Syslog de priorité 0, 1 et 2 sont également connectés à la mémoire NVRAM du superviseur. Une fois le commutateur remis en ligne, les messages syslog dans la mémoire NVRAM peuvent être affichés à l'aide de cette commande. La commande et un exemple de résultat s'affichent :

SITE1-AGG1# show log nvram
2012 Nov 17 05:59:51 SITE1-AGG1 %$ VDC-1 %$ %SYSMGR-STANDBY-2-LAST_CORE_BASIC_TRACE: : PID 15681 with message 'Core detected due to hwclock crash'. 
2012 Nov 17 12:07:11 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-2-LOG_CMP_UP: Connectivity Management processor(on module 5) is now UP
2012 Nov 17 12:07:56 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 1 has come online 
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 1 ok (Serial number DTM131000A4)
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 1 ok
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 2 ok (Serial number DTM140700HS)
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 2 ok
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_DETECT: Power supply 3 detected but shutdown (Serial number DTM1413004P)
2012 Nov 17 12:07:59 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 1 detected (Serial number JAF1308ABCS)
2012 Nov 17 12:08:01 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 2 detected (Serial number JAB120600NX)
2012 Nov 17 12:08:02 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 3 detected (Serial number JAF1508AJHN)
2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 1 detected (Serial number JAB121602HP) Module-Type 10/100/1000 Mbps Ethernet Module Model N7K-M148GT-11
2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 1 powered up (Serial number JAB121602HP)
2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 3 detected (Serial number JAF1441BSED) Module-Type 10 Gbps Ethernet Module Model N7K-M132XP-12
2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 4 detected (Serial number JAF1542ABML) Module-Type 1/10 Gbps Ethernet Module Model N7K-F132XP-15
2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 3 powered up (Serial number JAF1441BSED)
2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 4 powered up (Serial number JAF1542ABML)
2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 10 detected (Serial number JAF1521BNMK) Module-Type 10 Gbps Ethernet XL Module Model N7K-M132XP-12L
2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 10 powered up (Serial number JAF1521BNMK)
2012 Nov 17 12:08:30 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-STANDBY-2-LOG_CMP_UP: Connectivity Management processor(on module 6) is now UP
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 1 (Fan1(sys_fan1) fan) ok
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 2 (Fan2(sys_fan2) fan) ok
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 3 (Fan3(fab_fan1) fan) ok
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 4 (Fan4(fab_fan2) fan) ok
2012 Nov 17 12:11:40 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 2 has come online 
2012 Nov 17 12:12:31 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 3 has come online 
2012 Nov 17 12:13:21 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 4 has come online 
2012 Nov 17 13:10:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPMINALRM: Xbar-1 reported minor temperature alarm. Sensor=2 Temperature=43 MinThreshold=42
2012 Nov 17 19:56:35 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPOK: Xbar-1 recovered from minor temperature alarm. Sensor=2 Temperature=41 MinThreshold=42

L'analyse du syslog de la mémoire NVRAM peut fournir des informations supplémentaires sur la défaillance particulière qui a provoqué le rechargement/la réinitialisation du commutateur/superviseur.

1.3 Exception de module

Le journal des exceptions de module est un journal de toutes les erreurs et conditions exceptionnelles sur chaque module. Certaines exceptions sont catastrophiques, certaines affectent partiellement certains ports d'un module, d'autres le sont à des fins d'avertissement. Chaque entrée de journal a le périphérique particulier qui a consigné l'exception, le niveau d'exception, le code d'erreur, les ports affectés, l'horodatage. Le journal des exceptions est stocké dans la mémoire NVRAM du superviseur et peut être affiché à l'aide de cette commande CLI. Un exemple de résultat est fourni.

SITE1-AGG1# show module internal exceptionlog 
********* Exception info for module 1 ********
exception information --- exception instance 1 ----
Module Slot Number: 1
Device Id         : 10
Device Name       : eobc
Device Errorcode  : 0xc0005043
Device ID         : 00 (0x00)
Device Instance   : 05 (0x05)
Dev Type (HW/SW)  : 00 (0x00)
ErrNum (devInfo)  : 67 (0x43)
System Errorcode  : 0x4042004d EOBC link failure
Error Type        : Warning
PhyPortLayer      : Ethernet
Port(s) Affected  : none
DSAP              : 0 (0x0)
UUID              : 0 (0x0)
Time              : Mon Nov  5 20:39:38 2012
                    (Ticks: 5098948A jiffies) 
 
exception information --- exception instance 2 ----
Module Slot Number: 1
Device Id         : 10
Device Name       : eobc
Device Errorcode  : 0xc0005047
Device ID         : 00 (0x00)
Device Instance   : 05 (0x05)
Dev Type (HW/SW)  : 00 (0x00)
ErrNum (devInfo)  : 71 (0x47)
System Errorcode  : 0x4042004e EOBC heartbeat failure
Error Type        : Warning
PhyPortLayer      : Ethernet
Port(s) Affected  : none
DSAP              : 0 (0x0)
UUID              : 0 (0x0)
Time              : Mon Nov  5 20:39:37 2012
                    (Ticks: 50989489 jiffies)

Le journal des exceptions fournit des informations critiques pour le dépannage des erreurs et des conditions d'exception. Certains ID de périphérique sont répertoriés ici.

#define DEV_LINECARD_CTRL 1
#define DEV_SAHARA_FPGA 2
#define DEV_RIVIERA_ASIC 3
#define DEV_LUXOR_ASIC 4
#define DEV_FRONTIER_U_ASIC 5
#define DEV_FRONTIER_D_ASIC 6
#define DEV_ALADDIN_ASIC 7
#define DEV_SSA_ASIC 8
#define DEV_MIRAGE_ASIC 9
#define DEV_EOBC_MAC 10
#define DEV_SUPERVISOR_CTRL 11
#define DEV_BELLAGIO_ASIC 12
#define DEV_SIBYTE 13
#define DEV_FLAMINGO 14
#define DEV_FATW_CTRL 15
#define DEV_MGMT_MAC 16
#define DEV_MOD_RDN_CTRL 17
#define DEV_MOD_ENV 18
#define DEV_GG_FPGA 19
#define DEV_BALLY_MAIN_BOARD 20
#define DEV_BALLY_DAUGHTER_CARD 21
#define DEV_LOCAL_SSO_ASIC 22
#define DEV_REMOTE_SSO_ASIC 23
#define DEV_ID_UD_FIX_FPGA 24
#define DEV_ID_PM_FPGA 25 // PM - Power Mngmnt
#define DEV_ID_SUP_XBUS2 26
#define DEV_MARRIOTT_FPGA 27
#define DEV_REUSE_ME 28
#define DEV_GBIC 29
#define DEV_XGFC_FPGA 30
#define DEV_GNN_FPGA 31
#define DEV_SIBYTE_MEM_EPLD 32
#define DEV_BATTERY 33
#define DEV_IDE_DISK 45
#define DEV_XCVR 46
#define DEV_LINECARD 48
#define DEV_TEMP_SENSOR 49
#define DEV_HIFN_COMP 50
#define DEV_X2 51

Dans le châssis MDS (Multilayer Data Switch), les modules de supervision sont montés un peu différemment des modules de carte de ligne. Lorsque deux superviseurs sont présents dans le système et que celui-ci est mis sous tension, l'un d'eux devient actif et l'autre en veille. La mise en service active du superviseur et la mise en service en veille du superviseur sont différentes et sont abordées ici.

Activation du superviseur actif

S'il n'y a pas de superviseur actif dans le système, le superviseur qui démarre devient par défaut superviseur actif. Un processus appelé gestionnaire de système est chargé de charger tous les composants logiciels de manière ordonnée sur le superviseur. L'un des premiers composants logiciels exécutés sur le superviseur est le gestionnaire de plate-forme. Ce composant chargera tous les pilotes du noyau et les poignées de main avec le gestionnaire système. En cas de réussite, le gestionnaire de systèmes va de l'avant et démarre le reste des processus en fonction de la dépendance interne entre les processus.

Du point de vue du gestionnaire de modules, Supervisor est tout comme un autre module de carte de ligne avec des différences subtiles. Lorsque le gestionnaire de plates-formes indique au gestionnaire de modules que le superviseur est activé, le gestionnaire de modules n'attend pas l'enregistrement. Au lieu de cela, il informe tous les composants logiciels que Supervisor est actif (également appelé Séquence d'insertion de Sup). Tous les composants configureront le superviseur. En cas de défaillance d'un composant, le superviseur est redémarré.

Mise en route du superviseur de secours

S'il y a un superviseur actif dans le système, le superviseur qui démarre passe par défaut à l'état de superviseur de secours. Le superviseur de secours doit refléter l'état du superviseur actif. Pour ce faire, le gestionnaire de systèmes active lance une synchronisation globale de l'état du superviseur actif vers le superviseur de secours. Une fois que tous les composants en veille sont synchronisés avec ceux du superviseur actif, le gestionnaire de module est informé que le superviseur en veille est actif.
Le gestionnaire de modules va maintenant de l'avant et informe tous les composants logiciels du superviseur actif pour configurer le superviseur de secours (également appelé séquence d'insertion de sup de secours). Toute erreur provenant de n'importe quel composant au cours de la séquence d'insertion du superviseur de secours entraînera le redémarrage du superviseur de secours.

Redémarrage du superviseur actif

MDS conserve beaucoup d'informations de débogage pendant l'exécution. Mais, chaque fois qu'un superviseur redémarre une grande partie des informations de débogage est perdue. Cependant, toutes les informations critiques sont stockées dans une mémoire vive non volatile, qui peut être utilisée pour reconstruire la défaillance. Lorsqu'un superviseur actif redémarre, les informations stockées dans sa mémoire nvram ne peuvent pas être obtenues tant qu'elles ne sont pas réactivées. Une fois le Supervisor réactivé, ces commandes peuvent être utilisées pour vider le journal persistant :

Switch# show logging nvram
Switch# show system reset-Raison
Switch# show module internal exception-log

Exemple 1 : Redémarrage Sup actif (en raison d'un blocage du processus Supervisor)

Dans cet exemple, un processus Supervisor s'est écrasé (Service “ xbar ”), ce qui entraîne le redémarrage du module Active sup. Lorsque le superviseur se réactive, les informations stockées dans la raison de réinitialisation indiquent clairement le redémarrage du superviseur.

switch# show system reset-reason
----- reset reason for module 6 -----
1) At 94009 usecs after Tue Sep 27 18:52:13 2005
Reason: Reset triggered due to HA policy of Reset
Service: Service "xbar"
Version: 2.1(2)

S'il y a un superviseur de secours dans le système, le superviseur de secours devient maintenant un superviseur actif. L'affichage des informations Syslog sur le superviseur de secours fournira également les mêmes informations (mais pas aussi explicitement que show system reset-Raison).

Switch# show logging
2005 Sep 27 18:58:05 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 1225) hasn't caught signal 9 (no core).
2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2349) hasn't caught signal 9 (no core).
2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2352) hasn't caught signal 9 (no core).

Exemple 2 : Redémarrage Sup actif (en raison d'un échec du diagnostic d'exécution)

Dans cet exemple, le superviseur dans le logement 6 est actif et l'arbitre du superviseur signale une erreur fatale. Lorsqu'un périphérique matériel signale une erreur fatale, le module qui contient le périphérique est redémarré. Dans ce cas, le superviseur actif est redémarré. S'il existe un superviseur de secours, le superviseur de secours prend le relais. Les messages Syslog du superviseur de secours et du journal des exceptions contiennent des informations permettant d'identifier la source de l'erreur.

Switch# show logging
2005 Sep 28 14:17:47 172.20.150.204 %XBAR-5-XBAR_STATUS_REPORT: Module 6 reported status for component 12 code 0x60a02.
2005 Sep 28 14:17:59 172.20.150.204 %PORT-5-IF_UP: Interface mgmt0 on slot 5 is up
2005 Sep 28 14:18:00 172.20.150.204 %CALLHOME-2-EVENT: SUP_FAILURE

switch# show module internal exceptionlog module 6
********* Exception info for module 6 ********

exception information --- exception instance 1 ----
device id: 12
device errorcode: 0x80000020
system time: (1127917068 ticks) Wed Sep 28 14:17:48 2005

error type: FATAL error
Number Ports went bad:
1,2,3,4,5,6

exception information --- exception instance 2 ----
device id: 12
device errorcode: 0x00060a02
system time: (1127917067 ticks) Wed Sep 28 14:17:47 2005

error type: Warning
Number Ports went bad:
1,2,3,4,5,6 

En outre, lorsque le sup redémarré est de nouveau en ligne, ‘show system reset-Raison’ contiendra également des informations pertinentes. Dans ce cas, le module 6 (qui était le sup actif) a été redémarré par Sap 48 avec le code d'erreur 0x80000020. Le processus propriétaire de ce sap peut être obtenu par la commande show system internal mts sup sap 48 description qui indique que le processus était xbar-manager.

switch(standby)# show system reset-reason
----- reset reason for module 6 -----
1) At 552751 usecs after Wed Sep 28 14:17:48 2005
Reason: Reset Requested due to Fatal Module Error
Service: lcfail:80000020 sap:48 node:060
Version: 2.1(2) 

Exemple 3 : Échec de la mise en ligne du support de secours

Dans cet exemple, le module sup actif est actif et en cours d'exécution et le module sup de secours est branché sur le système. Cependant, show module n'indique pas que le module a jamais été activé.

switch# show module
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *
8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)
--- ----------- ------ --------------------------------------------------
5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

Cependant, si vous vous connectez à la console de la sup de secours, elle indique qu'elle est en veille.

runlog>telnet sw4-ts 2004
Trying 172.22.22.55...
Connected to sw4-ts.cisco.com (172.22.22.55).
Escape character is '^]'.

MDS Switch
login: admin
Password:
Cisco Storage Area Networking Operating System (SAN-OS) Software
TAC support: http://www.cisco.com/tac
Copyright (c) 2002-2005, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained herein are owned by
other third parties and are used and distributed under license.
Some parts of this software are covered under the GNU Public
License. A copy of the license is available at
http://www.gnu.org/licenses/gpl.html.
switch(standby)#

Comme nous l'avons vu précédemment, lorsque le sup de secours est inséré dans le système, la configuration et l'état de tous les composants du superviseur actif sont copiés sur le module de secours (gsync). Tant que ce processus n'est pas terminé, le superviseur actif ne considère pas que le superviseur de secours est présent. Pour vérifier si ce processus est terminé, vous pouvez exécuter la commande suivante sur le superviseur actif. Le résultat de la commande indique que la synchronisation est en cours (et n'est probablement jamais terminée).

switch# show system redundancy status
Redundancy mode
---------------
administrative: HA
operational: None

This supervisor (sup-1)
-----------------------
Redundancy state: Active
Supervisor state: Active
Internal state: Active with HA standby

Other supervisor (sup-2)
------------------------
Redundancy state: Standby
Supervisor state: HA standby
Internal state: HA synchronization in progress

La raison la plus probable pour laquelle cela aurait pu se produire est que si l'un des composants logiciels en veille n'a pas pu synchroniser son état avec le superviseur actif. Pour vérifier quels processus n'ont pas été synchronisés, vous pouvez émettre cette commande sur le superviseur actif et la sortie indique que beaucoup de composants logiciels n'ont pas terminé gsync.

switch# show system internal sysmgr gsyncstats
Name Gsync done Gsync time(sec)
---------------- ---------- -------------
aaa 1 0
ExceptionLog 1 0
platform 1 1
radius 1 0
securityd 1 0
SystemHealth 1 0
tacacs 0 N/A
acl 1 0
ascii-cfg 1 1
bios_daemon 0 N/A
bootvar 1 0
callhome 1 0
capability 1 0
cdp 1 0
cfs 1 0
cimserver 1 0
cimxmlserver 0 N/A
confcheck 1 0
core-dmon 1 0
core-client 0 N/A
device-alias 1 0
dpvm 0 N/A
dstats 1 0
epld_upgrade 0 N/A
epp 1 1

En outre, en regardant le superviseur de secours, nous voyons que le composant logiciel xbar a été redémarré 23 fois. Cela semble être la cause la plus probable pour laquelle la veille n'est pas apparue.

switch(standby)# show system internal sysmgr service all
Name UUID PID SAP state Start count
---------------- ---------- ------ ----- ----- -----------
aaa 0x000000B5 1458 111 s0009 1
ExceptionLog 0x00000050 [NA] [NA] s0002 None
platform 0x00000018 1064 39 s0009 1
radius 0x000000B7 1457 113 s0009 1
securityd 0x0000002A 1456 55 s0009 1
vsan 0x00000029 1436 15 s0009 1
vshd 0x00000028 1408 37 s0009 1
wwn 0x00000030 1435 114 s0009 1
xbar 0x00000017 [NA] [NA] s0017 23
xbar_client 0x00000049 1434 917 s0009 1 

Exemple 3 : Le module d'assistance de secours est sous tension

Dans cet exemple, le sup de secours est inséré dans le logement 6. La commande show module exécutée sur l'unité active-sup indique que l'unité de secours est sous tension.

switch# show module
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *
6 0 Supervisor/Fabric-1 powered-up
8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)
--- ----------- ------ --------------------------------------------------
5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

Dans cet exemple, show logging ne donne aucune information utile et affiche non plus module internal exception-log. Cependant, comme toutes les transitions d'état d'un module donné sont stockées dans le gestionnaire de modules, nous pouvons examiner les transitions d'état du gestionnaire de modules pour déterminer ce qui ne va pas. Les transactions d'état interne sont les suivantes :

Switch# show module internal event-history module 5
64) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563504 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_LC_NOT_PRESENT]
Triggered event: [LCM_EV_PFM_MODULE_SUP_INSERTED]
Next state: [LCM_ST_SUPERVISOR_INSERTED]

65) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563944 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_SUPERVISOR_INSERTED]
Triggered event: [LCM_EV_START_SUP_INSERTED_SEQUENCE]
Next state: [LCM_ST_CHECK_INSERT_SEQUENCE]

66) Event:ESQ_START length:32, at 564045 usecs after Wed Sep 28 14:44:53 2005 
Instance:1, Seq Id:0x2710, Ret:success
Seq Type:SERIAL

67) Event:ESQ_REQ length:32, at 564422 usecs after Wed Sep 28 14:44:53 2005 
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

68) Event:ESQ_RSP length:32, at 566174 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

69) Event:ESQ_REQ length:32, at 566346 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x2, Ret:success
[E_MTS_TX] Dst:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

70) Event:ESQ_RSP length:32, at 566635 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x2, Ret:success
[E_MTS_RX] Src:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

71) Event:ESQ_REQ length:32, at 566772 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x3, Ret:success
[E_MTS_TX] Dst:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

73) Event:ESQ_RSP length:32, at 586418 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x3, Ret:(null)
[E_MTS_RX] Src:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

74) FSM:<ID(1): Slot 6, node 0x0601> Transition at 586436 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_CHECK_INSERT_SEQUENCE]
Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]
Next state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]

75) Event:ESQ_START length:32, at 586611 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x2710, Ret:success
Seq Type:SERIAL

76) Event:ESQ_REQ length:32, at 593649 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

77) Event:ESQ_RSP length:32, at 594854 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

90) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604447 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]
Triggered event: [LCM_EV_ALL_LC_REMOVED_RESP_RECEIVED]
Next state: [LCM_ST_LC_FAILURE]

91) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604501 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_LC_FAILURE]
Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]
Next state: [LCM_ST_LC_FAILURE]

92) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604518 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_LC_FAILURE]
Triggered event: [LCM_EV_SUPERVISOR_FAILURE]
Next state: [LCM_ST_LC_NOT_PRESENT]

Curr state: [LCM_ST_LC_NOT_PRESENT]
switch# 

Regardez les journaux situés au-dessus de l'index 92, indique que le superviseur est en état d'échec et que l'événement déclenché est LCM_EV_LC_INSERTED_SEQ_FAILED. (Échec de la séquence d'insertion). En remontant les journaux pour savoir pourquoi la séquence d'insertion a échoué, reportez-vous à cette séquence d'insertion qui a échoué juste après une réponse de MTS_SAP_XBAR_MANAGER (Index 73 et Index 74). Cela indique qu'il y a un problème avec la configuration de xbar lorsque le sup de secours est inséré. Pour plus de débogage, consultez les journaux internes du composant défaillant (dans ce cas, le composant xbar).