Resolución de problemas de N7K HW(ventilador/PS/Temp/Xbar/SUP)

Problemas del chasis de depuración

Problemas del ventilador

Este comando muestra el estado del módulo del ventilador en el switch.

SITE1-AGG1# show environment fan
Fan:
------------------------------------------------------
Fan             Model                Hw         Status
------------------------------------------------------
Fan1(sys_fan1)  N7K-C7010-FAN-S      1.1        Ok  
Fan2(sys_fan2)  N7K-C7010-FAN-S      1.1        Ok  
Fan3(fab_fan1)  N7K-C7010-FAN-F      1.1        Ok  
Fan4(fab_fan2)  N7K-C7010-FAN-F      1.1        Ok  
Fan_in_PS1      --                   --         Ok             
Fan_in_PS2      --                   --         Ok             
Fan_in_PS3      --                   --         Shutdown       
Fan Zone Speed: Zone 1: 0x78 Zone 2: 0x58
Fan Air Filter : Present

El estado del ventilador puede ser uno de ok, failure o ausente.

• Ok - Todos los ventiladores, incluido el controlador del ventilador, funcionan correctamente
• Fallo: uno o más ventiladores o controladores de ventilador han fallado. El software no puede determinar si un solo ventilador, varios ventiladores o todos los ventiladores han fallado. Si falló al menos un ventilador, se muestra este estado. Se imprime este mensaje syslog de prioridad 1: Falló el módulo del ventilador.
• Ausente - El módulo del ventilador se ha eliminado. Tan pronto como el módulo del ventilador se retira, el software comienza una cuenta atrás de 5 minutos; si el módulo del ventilador no se vuelve a insertar en el plazo de 5 minutos, se apaga todo el switch. El software lee un byte en la Memoria de sólo lectura programable serial y borrable electrónicamente (SEEPROM) para determinar si el módulo del ventilador está presente. Si el módulo del ventilador está parcialmente insertado o el software no puede acceder a SEEPROM en el módulo del ventilador por cualquier otra razón, el software no puede distinguir este caso de una verdadera extracción del módulo del ventilador. El switch se apagará en 5 minutos. Si el software detecta una eliminación, este mensaje syslog de prioridad 0 se imprime cada 5 segundos.

“Fan module removed. Fan module has been absent for 120 seconds"

• El software no realiza ninguna acción explícita en caso de fallo del ventilador de la fuente de alimentación, excepto en el caso de que se indique dicha falla mediante mensajes syslog.

Suministro de energía

Este comando muestra las fuentes de alimentación instaladas, el resumen de uso de energía y el estado de las fuentes de alimentación en el switch.

Se proporciona tanto el comando como un ejemplo de salida.

SITE1-AGG1# show environment power 
Power Supply:
Voltage: 50 Volts
Power                              Actual        Total
Supply    Model                    Output     Capacity    Status
                                 (Watts )     (Watts )
-------  -------------------  -----------  -----------  --------------
1        N7K-AC-6.0KW              1179 W       6000 W     Ok        
2        N7K-AC-6.0KW              1117 W       6000 W     Ok        
3        N7K-AC-6.0KW                 0 W          0 W     Shutdown  

                                  Actual        Power      
Module    Model                     Draw    Allocated    Status
                                 (Watts )     (Watts )     
-------  -------------------  -----------  -----------  --------------
1        N7K-M148GT-11              N/A          400 W    Powered-Up
3        N7K-M132XP-12              N/A          750 W    Powered-Up
4        N7K-F132XP-15              318 W        385 W    Powered-Up
5        N7K-SUP1                   N/A          210 W    Powered-Up
6        N7K-SUP1                   N/A          210 W    Powered-Up
10       N7K-M132XP-12L             535 W        750 W    Powered-Up
Xb1      N7K-C7010-FAB-1            N/A           80 W    Powered-Up
Xb2      N7K-C7010-FAB-1            N/A           80 W    Powered-Up
Xb3      N7K-C7010-FAB-1            N/A           80 W    Powered-Up
Xb4      xbar                       N/A           80 W    Absent
Xb5      xbar                       N/A           80 W    Absent
fan1     N7K-C7010-FAN-S            133 W        720 W    Powered-Up
fan2     N7K-C7010-FAN-S            133 W        720 W    Powered-Up
fan3     N7K-C7010-FAN-F             12 W        120 W    Powered-Up
fan4     N7K-C7010-FAN-F             12 W        120 W    Powered-Up

N/A - Per module power not available


Power Usage Summary:
--------------------
Power Supply redundancy mode (configured)                PS-Redundant
Power Supply redundancy mode (operational)               Non-Redundant

Total Power Capacity (based on configured mode)              12000 W
Total Power of all Inputs (cumulative)                       12000 W
Total Power Output (actual draw)                              2296 W
Total Power Allocated (budget)                                4785 W
Total Power Available for additional modules                  7215 W

El estado de la fuente de alimentación puede ser uno de los siguientes:

• Ok - La fuente de alimentación funciona correctamente
• Fail/Shutdown - La fuente de alimentación ha fallado o se apaga mediante el switch de la fuente de alimentación. Siempre que falla una fuente de alimentación, el software imprime este mensaje syslog de prioridad 2; Error en la fuente de alimentación 1 o cierre (número de serie xxxx).
• Cierre: el software ha apagado la fuente de alimentación. El software apaga la fuente de alimentación de menor capacidad sólo si detecta un par de fuentes de alimentación que no coinciden y el modo es redundante o hay una transición del modo combinado al modo redundante. Si ambas fuentes de alimentación son de la misma capacidad o se combina el modo, el software nunca cierra una fuente de alimentación. Este mensaje syslog de prioridad 2 se imprime y acompaña al cierre de la fuente de alimentación de software; Fuente de alimentación detectada 1. Esto reduce la alimentación redundante disponible para el sistema y puede causar interrupciones en el servicio (número de serie xxxx). 
• Ausente: la fuente de alimentación está ausente y se ha eliminado. Este mensaje syslog de prioridad 2 se imprime durante la extracción de una fuente de alimentación; Fuente de alimentación 2 eliminada (número de serie xxxx).

Fallas en la fuente de alimentación:

Cada fuente de alimentación tiene un LED que indica el estado de la salida de alimentación. Esta luz se controla directamente mediante la fuente de alimentación y un color rojo indica una falla en la fuente de alimentación. Al analizar el registro del sistema, puede mostrar mensajes alternativos sobre la falla y recuperación de la fuente de alimentación, lo que indica problemas relacionados con la fuente de alimentación.

Temperatura o calor

Cada tarjeta del chasis tiene al menos dos sensores de temperatura. Cada sensor de temperatura se configura con un umbral menor y uno mayor. Este comando con ejemplo de salida muestra cómo se puede recuperar la información de temperatura del switch:

SITE1-AGG1# show environment temperature 
Temperature:
--------------------------------------------------------------------
Module   Sensor        MajorThresh   MinorThres   CurTemp     Status
                       (Celsius)     (Celsius)    (Celsius)         
--------------------------------------------------------------------
1        Crossbar(s5)    105             95          46         Ok             
1        CTSdev4 (s9)    115             105         56         Ok             
1        CTSdev5 (s10)   115             105         57         Ok             
1        CTSdev7 (s12)   115             105         56         Ok             
1        CTSdev9 (s14)   115             105         53         Ok             
1        CTSdev10(s15)   115             105         53         Ok             
1        CTSdev11(s16)   115             105         52         Ok             
1        CTSdev12(s17)   115             105         51         Ok             
1        QEng1Sn1(s18)   115             105         51         Ok             
1        QEng1Sn2(s19)   115             105         50         Ok             
1        QEng1Sn3(s20)   115             105         48         Ok             
1        QEng1Sn4(s21)   115             105         48         Ok             
1        L2Lookup(s22)   120             110         47         Ok             
1        L3Lookup(s23)   120             110         54         Ok             
3        Crossbar(s5)    105             95          50         Ok             
3        QEng1Sn1(s12)   115             110         69         Ok             
3        QEng1Sn2(s13)   115             110         67         Ok             
3        QEng1Sn3(s14)   115             110         66         Ok             
3        QEng1Sn4(s15)   115             110         67         Ok             
3        QEng2Sn1(s16)   115             110         70         Ok             
3        QEng2Sn2(s17)   115             110         67         Ok             
3        QEng2Sn3(s18)   115             110         66         Ok             
3        QEng2Sn4(s19)   115             110         67         Ok             
3        L2Lookup(s27)   115             105         51         Ok             
3        L3Lookup(s28)   120             110         64         Ok             
4        Crossbar1(s1)   105             95          69         Ok             
4        Crossbar2(s2)   105             95          52         Ok             
4        L2dev1(s3)      105             95          37         Ok             
4        L2dev2(s4)      105             95          43         Ok             
4        L2dev3(s5)      105             95          45         Ok             
4        L2dev4(s6)      105             95          45         Ok             
4        L2dev5(s7)      105             95          40         Ok             
4        L2dev6(s8)      105             95          41         Ok             
4        L2dev7(s9)      105             95          42         Ok             
4        L2dev8(s10)     105             95          40         Ok             
4        L2dev9(s11)     105             95          38         Ok             
4        L2dev10(s12)    105             95          38         Ok             
4        L2dev11(s13)    105             95          38         Ok             
4        L2dev12(s14)    105             95          37         Ok             
4        L2dev13(s15)    105             95          34         Ok             
4        L2dev14(s16)    105             95          33         Ok             
4        L2dev15(s17)    105             95          33         Ok             
4        L2dev16(s18)    105             95          32         Ok             
5        Intake  (s3)    60              42          24         Ok             
5        EOBC_MAC(s4)    105             95          42         Ok             
5        CPU     (s5)    105             95          42         Ok             
5        Crossbar(s6)    105             95          47         Ok             
5        Arbiter (s7)    110             100         55         Ok             
5        CTSdev1 (s8)    115             105         44         Ok             
5        InbFPGA (s9)    105             95          43         Ok             
5        QEng1Sn1(s10)   115             105         48         Ok             
5        QEng1Sn2(s11)   115             105         46         Ok             
5        QEng1Sn3(s12)   115             105         44         Ok             
5        QEng1Sn4(s13)   115             105         44         Ok             
6        Intake  (s3)    60              42          24         Ok             
6        EOBC_MAC(s4)    105             95          40         Ok             
6        CPU     (s5)    105             95          36         Ok             
6        Crossbar(s6)    105             95          45         Ok             
6        Arbiter (s7)    110             100         52         Ok             
6        CTSdev1 (s8)    115             105         43         Ok             
6        InbFPGA (s9)    105             95          43         Ok             
6        QEng1Sn1(s10)   115             105         53         Ok             
6        QEng1Sn2(s11)   115             105         51         Ok             
6        QEng1Sn3(s12)   115             105         48         Ok             
6        QEng1Sn4(s13)   115             105         48         Ok             
10       Crossbar(s5)    105             95          46         Ok             
10       QEng1Sn1(s12)   115             110         65         Ok             
10       QEng1Sn2(s13)   115             110         62         Ok             
10       QEng1Sn3(s14)   115             110         64         Ok             
10       QEng1Sn4(s15)   115             110         65         Ok             
10       QEng2Sn1(s16)   115             110         65         Ok             
10       QEng2Sn2(s17)   115             110         63         Ok             
10       QEng2Sn3(s18)   115             110         64         Ok             
10       QEng2Sn4(s19)   115             110         65         Ok             
10       L2Lookup(s27)   115             105         51         Ok             
10       L3Lookup(s28)   120             110         71         Ok             
xbar-1   Intake  (s2)    60              42          27         Ok             
xbar-1   Crossbar(s3)    105             95          55         Ok             
xbar-2   Intake  (s2)    60              42          25         Ok             
xbar-2   Crossbar(s3)    105             95          49         Ok             
xbar-3   Intake  (s2)    60              42          26         Ok             
xbar-3   Crossbar(s3)    105             95          47         Ok  

El sensor de entrada se coloca en la entrada de flujo de aire y es el indicador más crítico de la temperatura de la tarjeta. Todas las acciones de software se realizan en base a una violación grave de la temperatura del sensor de entrada.

•  Todas las infracciones menores del umbral y las infracciones principales del umbral en los sensores que no son de entrada

Esto da como resultado un mensaje de syslog, un evento callhome y una trampa SNMP. Estos mensajes de prioridad 1 o 2 se imprimen en el syslog - Módulo 1 informó alarma de temperatura mayor (sensor-índice 1 temperatura 76).

•  Infracción del umbral de temperatura mayor en una tarjeta de línea en el sensor de entrada

La tarjeta de línea se apaga instantáneamente con este mensaje syslog de prioridad 0 - Módulo 1 apagado debido a la alarma de temperatura mayor.

•  Infracción del umbral de temperatura mayor en un Supervisor redundante en el sensor de entrada

El Supervisor redundante se apaga instantáneamente. Esto dará como resultado un switchover o el cierre en espera, dependiendo del Supervisor particular que violó el umbral. Se muestra este mensaje syslog de prioridad 0: el módulo 1 se apagó debido a la alarma de temperatura principal.

•  Falla del sensor de temperatura

A veces, los sensores de temperatura fallan y se vuelven inaccesibles. No se realiza ninguna acción de software explícita para esta condición. Este mensaje syslog de prioridad 4 está impreso - Error en el sensor de temperatura del Módulo 1.

Depuración de Problemas del Módulo Supervisor

Reinicio/Recarga del switch/supervisor

La depuración de un reinicio/recarga de nivel de supervisor/switch normalmente implica la búsqueda de información de depuración/registro almacenada en la memoria de acceso aleatorio no volátil (NVRAM) en los supervisores. Hay 3 tipos de información de depuración/registro presentes en la NVRAM que podrían contener información importante.

1.1 Motivo de reinicio

Las razones de reinicio se almacenan en la NVRAM del supervisor en cada Supervisor. Cada Supervisor almacena su propio motivo de reinicio. Después de que el switch vuelva a funcionar, las razones de reinicio pueden ser descartadas usando este comando CLI. Se proporciona un ejemplo de salida.

SITE1-AGG1# show system reset-reason 
----- reset reason for Supervisor-module 5 (from Supervisor in slot 5) ---
1) No time
    Reason: Unknown
    Service: 
    Version: 6.1(2)
2) No time
    Reason: Unknown
    Service: 
    Version: 6.1(1)
3) At 246445 usecs after Wed Nov  7 21:26:59 2012
    Reason: Reset triggered due to Switchover Request by User
    Service: SAP(93): Swover due to install
    Version: 6.1(2)
4) At 36164 usecs after Tue Nov  6 01:18:15 2012
    Reason: Reset Requested by CLI command reload
    Service: 
    Version: 5.2(1)
----- reset reason for Supervisor-module 5 (from Supervisor in slot 6) ---
1) At 939785 usecs after Wed Nov  7 22:28:36 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 6.1(1)
2) At 687128 usecs after Thu Mar 29 18:06:34 2012
    Reason: Reset of standby by active sup due to sysmgr timeout
    Service: 
    Version: 6.0(2)
3) At 10012 usecs after Thu Mar 29 17:56:13 2012
    Reason: Reset of standby by active sup due to sysmgr timeout
    Service: 
    Version: 6.0(2)
4) At 210045 usecs after Thu Mar 29 17:45:51 2012
    Reason: Reset of standby by active sup due to sysmgr timeout
    Service: 
    Version: 6.0(2)
----- reset reason for Supervisor-module 6 (from Supervisor in slot 5) ---
1) At 50770 usecs after Wed Nov  7 21:12:19 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 6.1(2)
2) At 434294 usecs after Mon Nov  5 22:10:16 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 5.2(1)
3) At 518 usecs after Mon Nov  5 21:21:51 2012
    Reason: Reset Requested by CLI command reload
    Service: 
    Version: 5.2(7)
4) At 556934 usecs after Mon Nov  5 21:12:15 2012
    Reason: Reset due to upgrade
    Service: 
    Version: 5.2(1)
----- reset reason for Supervisor-module 6 (from Supervisor in slot 6) ---
1) No time
    Reason: Unknown
    Service: 
    Version: 6.1(2)
2) At 462775 usecs after Wed Nov  7 22:38:44 2012
    Reason: Reset triggered due to Switchover Request by User
    Service: SAP(93): Swover due to install
    Version: 6.1(1)
3) No time
    Reason: Unknown
    Service: 
    Version: 6.1(2)
4) No time
    Reason: Unknown
    Service: 
    Version: 5.2(1)

Se guardan y muestran hasta los últimos 4 motivos de reinicio. Un motivo de reinicio contiene:

•  Marca de tiempo del momento en que se produjo el reinicio/recarga
•  Motivo para reiniciar/recargar la tarjeta
•  Servicio que ha provocado el reinicio/recarga del sombrero, si existe
•  Versión de software que se estaba ejecutando en ese momento

A veces se muestra un motivo de reinicio de Unknown (Desconocido). Los motivos de restablecimiento desconocidos para el software o que están fuera del control del software se clasifican como Desconocidos. Estos suelen incluir:

•  Cualquier ciclo de alimentación del switch, incluido el ciclo de alimentación controlado de las fuentes de alimentación o el restablecimiento de las fuentes de alimentación causado por un fallo de alimentación o fallo de alimentación
•  Reinicio del botón de reinicio del panel frontal en Supervisor
•  Cualquier otro fallo de hardware que haga que la CPU/DRAM/IO se reinicie o cuelgue

1.2 syslog NVRAM

Los mensajes de Syslog que son prioridad 0, 1 y 2 también se registran en la NVRAM del Supervisor. Después de que el switch vuelva a estar en línea, los mensajes de syslog en la NVRAM se pueden mostrar usando este comando. Se muestra el comando y un ejemplo de resultado:

SITE1-AGG1# show log nvram
2012 Nov 17 05:59:51 SITE1-AGG1 %$ VDC-1 %$ %SYSMGR-STANDBY-2-LAST_CORE_BASIC_TRACE: : PID 15681 with message 'Core detected due to hwclock crash'. 
2012 Nov 17 12:07:11 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-2-LOG_CMP_UP: Connectivity Management processor(on module 5) is now UP
2012 Nov 17 12:07:56 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 1 has come online 
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 1 ok (Serial number DTM131000A4)
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 1 ok
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 2 ok (Serial number DTM140700HS)
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 2 ok
2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_DETECT: Power supply 3 detected but shutdown (Serial number DTM1413004P)
2012 Nov 17 12:07:59 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 1 detected (Serial number JAF1308ABCS)
2012 Nov 17 12:08:01 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 2 detected (Serial number JAB120600NX)
2012 Nov 17 12:08:02 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 3 detected (Serial number JAF1508AJHN)
2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 1 detected (Serial number JAB121602HP) Module-Type 10/100/1000 Mbps Ethernet Module Model N7K-M148GT-11
2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 1 powered up (Serial number JAB121602HP)
2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 3 detected (Serial number JAF1441BSED) Module-Type 10 Gbps Ethernet Module Model N7K-M132XP-12
2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 4 detected (Serial number JAF1542ABML) Module-Type 1/10 Gbps Ethernet Module Model N7K-F132XP-15
2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 3 powered up (Serial number JAF1441BSED)
2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 4 powered up (Serial number JAF1542ABML)
2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 10 detected (Serial number JAF1521BNMK) Module-Type 10 Gbps Ethernet XL Module Model N7K-M132XP-12L
2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 10 powered up (Serial number JAF1521BNMK)
2012 Nov 17 12:08:30 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-STANDBY-2-LOG_CMP_UP: Connectivity Management processor(on module 6) is now UP
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 1 (Fan1(sys_fan1) fan) ok
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 2 (Fan2(sys_fan2) fan) ok
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 3 (Fan3(fab_fan1) fan) ok
2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 4 (Fan4(fab_fan2) fan) ok
2012 Nov 17 12:11:40 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 2 has come online 
2012 Nov 17 12:12:31 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 3 has come online 
2012 Nov 17 12:13:21 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 4 has come online 
2012 Nov 17 13:10:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPMINALRM: Xbar-1 reported minor temperature alarm. Sensor=2 Temperature=43 MinThreshold=42
2012 Nov 17 19:56:35 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPOK: Xbar-1 recovered from minor temperature alarm. Sensor=2 Temperature=41 MinThreshold=42

El escaneo del syslog NVRAM puede proporcionar más información sobre la falla particular que causó la recarga/reinicio del switch/Supervisor.

1.3 Registro de excepciones del módulo

Module exceptionlog es un registro de errores y condiciones excepcionales en cada módulo. Algunas excepciones son catastróficas, algunas afectan parcialmente a ciertos puertos en un módulo, otras son para propósitos de advertencia. Cada entrada de registro tiene el dispositivo particular que registró la excepción, el nivel de excepción, el código de error, los puertos afectados, la marca de tiempo. El registro de excepciones se almacena en la NVRAM en el Supervisor y se puede mostrar mediante este comando CLI. Se proporciona un ejemplo de salida.

SITE1-AGG1# show module internal exceptionlog 
********* Exception info for module 1 ********
exception information --- exception instance 1 ----
Module Slot Number: 1
Device Id         : 10
Device Name       : eobc
Device Errorcode  : 0xc0005043
Device ID         : 00 (0x00)
Device Instance   : 05 (0x05)
Dev Type (HW/SW)  : 00 (0x00)
ErrNum (devInfo)  : 67 (0x43)
System Errorcode  : 0x4042004d EOBC link failure
Error Type        : Warning
PhyPortLayer      : Ethernet
Port(s) Affected  : none
DSAP              : 0 (0x0)
UUID              : 0 (0x0)
Time              : Mon Nov  5 20:39:38 2012
                    (Ticks: 5098948A jiffies) 
 
exception information --- exception instance 2 ----
Module Slot Number: 1
Device Id         : 10
Device Name       : eobc
Device Errorcode  : 0xc0005047
Device ID         : 00 (0x00)
Device Instance   : 05 (0x05)
Dev Type (HW/SW)  : 00 (0x00)
ErrNum (devInfo)  : 71 (0x47)
System Errorcode  : 0x4042004e EOBC heartbeat failure
Error Type        : Warning
PhyPortLayer      : Ethernet
Port(s) Affected  : none
DSAP              : 0 (0x0)
UUID              : 0 (0x0)
Time              : Mon Nov  5 20:39:37 2012
                    (Ticks: 50989489 jiffies)

El exceptionlog proporciona información crítica para resolver problemas de errores y condiciones de excepción. Algunos de los ID de dispositivo se enumeran aquí.

#define DEV_LINECARD_CTRL 1
#define DEV_SAHARA_FPGA 2
#define DEV_RIVIERA_ASIC 3
#define DEV_LUXOR_ASIC 4
#define DEV_FRONTIER_U_ASIC 5
#define DEV_FRONTIER_D_ASIC 6
#define DEV_ALADDIN_ASIC 7
#define DEV_SSA_ASIC 8
#define DEV_MIRAGE_ASIC 9
#define DEV_EOBC_MAC 10
#define DEV_SUPERVISOR_CTRL 11
#define DEV_BELLAGIO_ASIC 12
#define DEV_SIBYTE 13
#define DEV_FLAMINGO 14
#define DEV_FATW_CTRL 15
#define DEV_MGMT_MAC 16
#define DEV_MOD_RDN_CTRL 17
#define DEV_MOD_ENV 18
#define DEV_GG_FPGA 19
#define DEV_BALLY_MAIN_BOARD 20
#define DEV_BALLY_DAUGHTER_CARD 21
#define DEV_LOCAL_SSO_ASIC 22
#define DEV_REMOTE_SSO_ASIC 23
#define DEV_ID_UD_FIX_FPGA 24
#define DEV_ID_PM_FPGA 25 // PM - Power Mngmnt
#define DEV_ID_SUP_XBUS2 26
#define DEV_MARRIOTT_FPGA 27
#define DEV_REUSE_ME 28
#define DEV_GBIC 29
#define DEV_XGFC_FPGA 30
#define DEV_GNN_FPGA 31
#define DEV_SIBYTE_MEM_EPLD 32
#define DEV_BATTERY 33
#define DEV_IDE_DISK 45
#define DEV_XCVR 46
#define DEV_LINECARD 48
#define DEV_TEMP_SENSOR 49
#define DEV_HIFN_COMP 50
#define DEV_X2 51

En el chasis de switch de datos multicapa (MDS), los módulos supervisores se activan de forma un poco diferente que los módulos de tarjeta de línea. Cuando hay dos supervisores presentes en el sistema y el sistema está encendido, uno de los supervisores se activa y el otro en espera. La función Active Supervisor Up y Standby Supervisor Up son diferentes y se trata aquí.

Active Supervisor Up

Si no hay un supervisor activo en el sistema, el supervisor que se inicia será el supervisor activo de forma predeterminada. Un proceso denominado administrador del sistema es responsable de cargar todos los componentes de software de forma ordenada en el supervisor. Uno de los primeros componentes de software que se ejecuta en el supervisor es el administrador de la plataforma. Este componente cargará todos los controladores del núcleo y los apretones de manos con el administrador del sistema. Cuando tenga éxito, el administrador del sistema seguirá adelante e iniciará el resto de los procesos en función de la dependencia interna entre los procesos.

Desde la perspectiva del administrador de módulos, Supervisor es igual que otro módulo de tarjeta de línea con sutiles diferencias. Cuando el administrador de la plataforma indica al administrador del módulo que el supervisor está ACTIVADO, el administrador del módulo no espera el registro. En su lugar, informa a todos los componentes de software que Supervisor está activo (también conocido como Secuencia de Inserción de Sup). Todos los componentes configurarán el supervisor. Si algún componente vuelve con una falla, se reiniciará el supervisor.

Configuración de Supervisor en Espera

Si hay un supervisor activo en el sistema, el supervisor que se está iniciando pasará al estado de supervisor en espera de forma predeterminada. El supervisor en espera debe reflejar el estado del supervisor activo. Esto se logra mediante el "administrador del sistema" en activo, iniciando una sincronización global del estado del supervisor activo al supervisor en espera. Una vez que todos los componentes en espera se sincronizan con los del supervisor activo, se informa al administrador de módulos que el supervisor en espera está activo.
El administrador de módulos ahora informará a todos los componentes de software del supervisor activo para configurar el supervisor en espera (también conocido como secuencia de inserción de supervisor en espera). Cualquier error de cualquier componente durante la Secuencia de Inserción de Supervisor en Espera dará como resultado el Reinicio del Supervisor en Espera.

Reinicio activo del Supervisor

MDS mantiene mucha información de depuración durante el tiempo de ejecución. Pero, cada vez que un supervisor reinicia gran parte de la información de depuración se pierde. Sin embargo, toda la información crítica se almacena en un ram no volátil, que se puede utilizar para reconstruir la falla. Cuando se reinicia un Supervisor activo, la información que se almacena en su nvram no se puede obtener hasta que vuelva a funcionar. Una vez que el Supervisor vuelve a activarse, estos comandos se pueden utilizar para volcar el registro persistente:

Switch# show logging nvram
Switch# show system reset-reason
Switch# show module internal exception-log

Ejemplo 1: Reinicio activo de Sup (debido a la caída del proceso del supervisor)

En este ejemplo, un proceso de supervisor falló (servicio "xbar") lo que hace que se reinicie Active sup. Cuando el supervisor vuelve a activarse, la información almacenada en el motivo de reinicio proporciona una indicación clara para el reinicio del supervisor.

switch# show system reset-reason
----- reset reason for module 6 -----
1) At 94009 usecs after Tue Sep 27 18:52:13 2005
Reason: Reset triggered due to HA policy of Reset
Service: Service "xbar"
Version: 2.1(2)

Si hay un supervisor en espera en el sistema, el supervisor en espera se convertirá ahora en un supervisor activo. Al mostrar la información de syslog en el supervisor en espera también se proporcionará la misma información (aunque no tan explícitamente como "show system reset-reason").

Switch# show logging
2005 Sep 27 18:58:05 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 1225) hasn't caught signal 9 (no core).
2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2349) hasn't caught signal 9 (no core).
2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2352) hasn't caught signal 9 (no core).

Ejemplo 2: Reinicio de Sup activo (debido a una falla de diagnóstico en tiempo de ejecución)

En este ejemplo, Supervisor en slot-6 está activo y el árbitro en el Supervisor informa de un error fatal. Cuando cualquier dispositivo de hardware informa de un error fatal, se reinicia el módulo que contiene el dispositivo. En este caso, se reinicia el Supervisor activo. Si hay un supervisor en espera, el supervisor en espera se hará cargo. Los mensajes de Syslog en el supervisor en espera y el registro de excepciones tendrán información para identificar el origen de error.

Switch# show logging
2005 Sep 28 14:17:47 172.20.150.204 %XBAR-5-XBAR_STATUS_REPORT: Module 6 reported status for component 12 code 0x60a02.
2005 Sep 28 14:17:59 172.20.150.204 %PORT-5-IF_UP: Interface mgmt0 on slot 5 is up
2005 Sep 28 14:18:00 172.20.150.204 %CALLHOME-2-EVENT: SUP_FAILURE

switch# show module internal exceptionlog module 6
********* Exception info for module 6 ********

exception information --- exception instance 1 ----
device id: 12
device errorcode: 0x80000020
system time: (1127917068 ticks) Wed Sep 28 14:17:48 2005

error type: FATAL error
Number Ports went bad:
1,2,3,4,5,6

exception information --- exception instance 2 ----
device id: 12
device errorcode: 0x00060a02
system time: (1127917067 ticks) Wed Sep 28 14:17:47 2005

error type: Warning
Number Ports went bad:
1,2,3,4,5,6 

Además, cuando el sup reiniciado vuelva a estar en línea, "show system reset-reason" también incluirá información relevante. En este caso, el módulo 6 (que era el sup activo) fue reiniciado por Sap 48 con código de error 0x80000020. El proceso que posee este sap puede obtenerse mediante el comando "show system internal mts sup sap 48 description", que indica que el proceso fue xbar-manager.

switch(standby)# show system reset-reason
----- reset reason for module 6 -----
1) At 552751 usecs after Wed Sep 28 14:17:48 2005
Reason: Reset Requested due to Fatal Module Error
Service: lcfail:80000020 sap:48 node:060
Version: 2.1(2) 

Ejemplo 3: El supervisor en espera no pudo conectarse

En este ejemplo, el sup activo está activo y en ejecución y el sup en espera está conectado al sistema. Sin embargo, show module no indica que el módulo haya aparecido nunca.

switch# show module
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *
8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)
--- ----------- ------ --------------------------------------------------
5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

Sin embargo, si inicia sesión en la consola del sup en espera, indica que está en espera.

runlog>telnet sw4-ts 2004
Trying 172.22.22.55...
Connected to sw4-ts.cisco.com (172.22.22.55).
Escape character is '^]'.

MDS Switch
login: admin
Password:
Cisco Storage Area Networking Operating System (SAN-OS) Software
TAC support: http://www.cisco.com/tac
Copyright (c) 2002-2005, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained herein are owned by
other third parties and are used and distributed under license.
Some parts of this software are covered under the GNU Public
License. A copy of the license is available at
http://www.gnu.org/licenses/gpl.html.
switch(standby)#

Como se ha mencionado anteriormente, cuando se inserta el sup en espera en el sistema, la configuración y el estado de todos los componentes del supervisor activo se copian en el modo en espera (gsync). Hasta que se complete este proceso, el supervisor activo no considera que el supervisor en espera esté presente. Para verificar si este proceso está completo, puede ejecutar el siguiente comando en el supervisor activo. El resultado del comando indica que la sincronización está en curso (y probablemente nunca se complete).

switch# show system redundancy status
Redundancy mode
---------------
administrative: HA
operational: None

This supervisor (sup-1)
-----------------------
Redundancy state: Active
Supervisor state: Active
Internal state: Active with HA standby

Other supervisor (sup-2)
------------------------
Redundancy state: Standby
Supervisor state: HA standby
Internal state: HA synchronization in progress

La razón más probable por la que esto podría haber ocurrido es, si uno de los componentes de software en espera no pudo sincronizar su estado con el supervisor activo. Para verificar qué procesos no se sincronizaron, puede ejecutar este comando en el supervisor activo y el resultado indica que muchos componentes de software no han completado gsync.

switch# show system internal sysmgr gsyncstats
Name Gsync done Gsync time(sec)
---------------- ---------- -------------
aaa 1 0
ExceptionLog 1 0
platform 1 1
radius 1 0
securityd 1 0
SystemHealth 1 0
tacacs 0 N/A
acl 1 0
ascii-cfg 1 1
bios_daemon 0 N/A
bootvar 1 0
callhome 1 0
capability 1 0
cdp 1 0
cfs 1 0
cimserver 1 0
cimxmlserver 0 N/A
confcheck 1 0
core-dmon 1 0
core-client 0 N/A
device-alias 1 0
dpvm 0 N/A
dstats 1 0
epld_upgrade 0 N/A
epp 1 1

Además, al observar al supervisor en espera, vemos que el componente de software xbar se ha reiniciado 23 veces. Esto parece ser la causa más probable de que la espera no haya aparecido.

switch(standby)# show system internal sysmgr service all
Name UUID PID SAP state Start count
---------------- ---------- ------ ----- ----- -----------
aaa 0x000000B5 1458 111 s0009 1
ExceptionLog 0x00000050 [NA] [NA] s0002 None
platform 0x00000018 1064 39 s0009 1
radius 0x000000B7 1457 113 s0009 1
securityd 0x0000002A 1456 55 s0009 1
vsan 0x00000029 1436 15 s0009 1
vshd 0x00000028 1408 37 s0009 1
wwn 0x00000030 1435 114 s0009 1
xbar 0x00000017 [NA] [NA] s0017 23
xbar_client 0x00000049 1434 917 s0009 1 

Ejemplo 3: El supervisor en espera está en estado encendido

En este ejemplo, el sup en espera se inserta en el slot 6. show module ejecutado en active-sup, muestra que Standby Sup está en estado encendido.

switch# show module
Mod Ports Module-Type Model Status
--- ----- -------------------------------- ------------------ ------------
5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *
6 0 Supervisor/Fabric-1 powered-up
8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)
--- ----------- ------ --------------------------------------------------
5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

En este ejemplo, show logging no proporciona ninguna información valiosa y tampoco show module internal exception-log. Sin embargo, como todas las transiciones de estado para un módulo dado se almacenan en el administrador de módulos, podemos observar las transiciones de estado del administrador de módulos para averiguar qué es lo que está mal. Las transiciones de estado internas son:

Switch# show module internal event-history module 5
64) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563504 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_LC_NOT_PRESENT]
Triggered event: [LCM_EV_PFM_MODULE_SUP_INSERTED]
Next state: [LCM_ST_SUPERVISOR_INSERTED]

65) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563944 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_SUPERVISOR_INSERTED]
Triggered event: [LCM_EV_START_SUP_INSERTED_SEQUENCE]
Next state: [LCM_ST_CHECK_INSERT_SEQUENCE]

66) Event:ESQ_START length:32, at 564045 usecs after Wed Sep 28 14:44:53 2005 
Instance:1, Seq Id:0x2710, Ret:success
Seq Type:SERIAL

67) Event:ESQ_REQ length:32, at 564422 usecs after Wed Sep 28 14:44:53 2005 
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

68) Event:ESQ_RSP length:32, at 566174 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

69) Event:ESQ_REQ length:32, at 566346 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x2, Ret:success
[E_MTS_TX] Dst:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

70) Event:ESQ_RSP length:32, at 566635 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x2, Ret:success
[E_MTS_RX] Src:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

71) Event:ESQ_REQ length:32, at 566772 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x3, Ret:success
[E_MTS_TX] Dst:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

73) Event:ESQ_RSP length:32, at 586418 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x3, Ret:(null)
[E_MTS_RX] Src:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

74) FSM:<ID(1): Slot 6, node 0x0601> Transition at 586436 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_CHECK_INSERT_SEQUENCE]
Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]
Next state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]

75) Event:ESQ_START length:32, at 586611 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x2710, Ret:success
Seq Type:SERIAL

76) Event:ESQ_REQ length:32, at 593649 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

77) Event:ESQ_RSP length:32, at 594854 usecs after Wed Sep 28 14:44:53 2005
Instance:1, Seq Id:0x1, Ret:success
[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

90) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604447 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]
Triggered event: [LCM_EV_ALL_LC_REMOVED_RESP_RECEIVED]
Next state: [LCM_ST_LC_FAILURE]

91) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604501 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_LC_FAILURE]
Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]
Next state: [LCM_ST_LC_FAILURE]

92) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604518 usecs after Wed Sep 28 14:44:53 2005
Previous state: [LCM_ST_LC_FAILURE]
Triggered event: [LCM_EV_SUPERVISOR_FAILURE]
Next state: [LCM_ST_LC_NOT_PRESENT]

Curr state: [LCM_ST_LC_NOT_PRESENT]
switch# 

Observe los registros anteriores a Index 92, indica que el supervisor está en estado fallido y el evento activado es LCM_EV_LC_INSERTED_SEQ_FAILED. (Error en la secuencia de inserción). Subiendo los registros para averiguar por qué falló la Secuencia de Inserción, vea que la secuencia de inserción falló justo después de una respuesta de MTS_SAP_XBAR_MANAGER (Índice 73 e Índice 74). Esto indica que hay un error en la configuración xbar cuando se inserta el sup en espera. Se puede hacer más depuración observando los registros internos del componente que ha fallado (en este caso, el componente xbar).