Solución de problemas comunes de hardware y arquitectura en switches Nexus serie 7000

Introducción

Este documento proporciona una breve explicación y soluciones para los problemas comunes de hardware y arquitectura de los switches Nexus de Cisco serie 7000 que ejecutan el software del sistema Cisco NX-OS.

Nota: El formato exacto del syslog y de los mensajes de error que este documento describe puede variar levemente. La variación depende de la versión de software que se ejecuta en Supervisor Engine.

Problema: Falla de SpineControlBus

La prueba de control de columna falla para el Supervisor Nexus 7000:

Nexus7000# show module internal exceptionlog module 5
...
System Errorcode  : 0x418b0022 Spine control test failed
Error Type        : Warning
PhyPortLayer      : 0x0
Port(s) Affected  : none
Error Description : Module 10 Spine Control Bus test Failed
...
         11) SpineControlBus E
                Error code ------------------> DIAG TEST ERR DISABLE
                Total run count -------------> 1597800
                Last test execution time ----> Mon May 27 21:57:17 2013
                First test failure time -----> Sun Nov 20 00:30:55 2011
                Last test failure time ------> Mon May 27 21:57:17 2013
                Last test pass time ---------> Mon May 27 21:56:47 2013
                Total failure count ---------> 33
                Consecutive failure count ---> 1
                Last failure reason ---------> Spine control test failed

Solución

Este problema está relacionado con el ID de bug de Cisco CSCuc72466. Consulte Preguntas frecuentes sobre Nexus 7000: ¿Cuál es la acción recomendada cuando falla la prueba SpineControlBus?.

Problema: Bloques erróneos encontrados en NVRAM

Los errores NVRAM aparecen en los eventos de diagnóstico:

Nexus7000#show diagnostic events
1) Event:E_DEBUG, length:97, at 9664 usecs after Wed Dec  5 01:03:42 2012
    [103] Event_ERROR: TestName->NVRAM TestingType->health monitoring module->5 
Result->fail Reason->
#show diagnostic result module 5 test NVRAM detail
 4) NVRAM-------------------------> E
                Error code ------------------> DIAG TEST ERR DISABLE
                Total run count -------------> 52596
                Last test execution time ----> Wed Dec  5 01:03:41 2012
                First test failure time -----> Tue Dec  4 23:28:45 2012
                Last test failure time ------> Wed Dec  5 01:03:42 2012
                Last test pass time ---------> Tue Dec  4 23:23:41 2012
                Total failure count ---------> 20
                Consecutive failure count ---> 20
                Last failure reason ---------> Bad blocks found on nvram

Éste es un problema de hardware, una falla de Supervisor Engine o un problema transitorio.

Solución

1. Vuelva a ejecutar la prueba NVRAM para ver si se trata de una alarma falsa. Ingrese estos comandos para inhabilitar y volver a habilitar la prueba de diagnóstico (ejemplo si se da para el módulo 5 del problema):
   • no diagnostic monitor module 5 test NVRAM
   • test NVRAM del módulo 5 del monitor de diagnóstico

   Ingrese el comando show diagnostic output module 5 test NVRAM detail para ver los resultados del comando test.

2. Si la prueba de NVRAM falla otra vez, vuelva a colocar el módulo 5. Observe el resultado de los comandos show diagnostic output module 5 y show module.
3. Si el módulo falla de nuevo, envíe una solicitud de autorización de devolución de material (RMA) para el supervisor en la ranura con problemas.

Problema: Módulo 9 Falla Compact Flash

Uno o todos ellos se ven en el Supervisor 2/Supervisor 2E:

• Mensaje de error:

  DEVICE_TEST-2-COMPACT_FLASH_FAIL: Module 5 has failed test CompactFlash 
  20 times on device Compact Flash due to error The compact flash power test failed.

• No se puede guardar la configuración.
• Fallos de prueba de diagnóstico:

         Test results: (. = Pass, F = Fail, I = Incomplete,
         U = Untested, A = Abort, E = Error disabled) 
         7) CompactFlash E 
                 Error code ------------------> DIAG TEST ERR DISABLE
                 Total run count -------------> 23302
                 Last test execution time ----> Sun Apr 13 10:07:30 2014
                 First test failure time -----> Sun Apr 13 00:37:41 2014
                 Last test failure time ------> Sun Apr 13 10:07:40 2014
                 Last test pass time ---------> Sun Apr 13 00:07:41 2014
                 Total failure count ---------> 20
                 Consecutive failure count ---> 20
                 Last failure reason ---------> The compact flash power test
                                                 failed
                 Next Execution time ---------> Sun Apr 13 10:37:30 2014

Causa raíz

Los supervisores Nexus 7000 de segunda generación se suministran con dos flash eUSB idénticos para obtener redundancia. Los parpadeos proporcionan un repositorio para bootflash, configuraciones y otra información pertinente. Estos dos parpadeos se reconfiguran como una matriz de matriz redundante de discos independientes (RAID) 1 que implementa la duplicación interna. Con la redundancia, un Supervisor puede funcionar con la pérdida de uno de los parpadeos pero no ambos.

Hay algunas instancias en el campo donde uno o ambos parpadeos son marcados como malos por el software RAID en un periodo de varios meses o años en servicio. Un reinicio/reinicio de la placa vuelve a descubrir que estos destellos fallidos están sanos en el siguiente arranque.

Solución

Complete estos pasos para verificar si se trata o no de un problema de hardware:

1. Recargue el Supervisor con el problema, si es posible.
2. Si se detecta el problema después de la recarga, necesita un reemplazo de hardware.
3. Si el problema se soluciona mediante recarga, la causa raíz está relacionada con el ID de bug de Cisco CSCus22805.

Problema: Falla de prueba de loopback de la tarjeta de línea N7K-M132XP-12

La tarjeta de línea informa una falla de diagnóstico debido a una falla de prueba de PortLoopback 10 veces consecutivamente:

DIAG_PORT_LB-2-PORTLOOPBACK_TEST_FAIL  Module:16 Test:PortLoopback
 failed 10 consecutive times. Faulty module:Module 16 affected ports:5,7  
Error:Loopback test failed. Packets lost on the LC at the Queueing engine ASIC

MODULE-4-MOD_WARNING  Module 16 (serial: XXXX) reported warning on 
ports 16/5-16/5 (Ethernet) due to Loopback test failed.  
Packets lost on the LC at the Queueing engine ASIC in device 78 
(device error 0x41830059)

Causa raíz

Este es un mensaje de advertencia y en la mayoría de los casos indica un problema de hardware con el puerto.

Solución

Verifique el ID de bug Cisco CSCtn81109 y el ID de bug Cisco CSCti95293 primero, ya que podría ser un problema de software.

Vuelva a colocar el módulo primero para reiniciar la tarjeta y vuelva a ejecutar las pruebas de integridad del hardware de arranque. Si las pruebas de diagnóstico todavía muestran fallas para la misma tarjeta, reemplace la tarjeta.

Recargue la tarjeta en el momento oportuno y recopile los resultados de estos comandos:

• show logging log
• show module
• show diagn output module all detail

Alternativamente, puede volver a ejecutar sólo esta prueba específica y no necesita recargar la tarjeta. Este ejemplo muestra el módulo 16:

show diagnostic result module 16
diagnostic clear result module all
(config)# no diagnostic monitor module 16 test 5
(config)# diagnostic monitor module 16 test 5
diagnostic start module 16 test 5
show diagnostic result module 16 test 5

Problema: MÓDULO DE tarjeta de línea N7K-M132XP-12-MOD_WARNING

Estos errores aparecen y existe una posible recarga del módulo:

2013 Mar 27 00:40:23 DC3-7000-PRODD2-A23  MODULE-4-MOD_WARNING  
Module 9 (serial: XXX) reported warning on ports 9/1-9/3 (Unknown) 
due to BE2 Arbiter experienced an error in device 65 (device error 0xc410f613)

Causa raíz

Se trata de una falla de hardware causada por errores de paridad o problemas de hardware en la tarjeta secundaria.

Solución

1. Verifique el resultado de estos comandos:
   • show version
   • show system reset-reason module X
   • show logging onboard internal reset-reason
   • show module internal event-history module X
   • show log
2. Si su versión de Cisco NS-OX es anterior a la versión 4.2, actualice a una nueva versión para asegurarse de que las correcciones para estos defectos de software estén integradas (minimizar la posibilidad de errores de paridad):
   • El ID de bug de Cisco CSCso72230 L1 D-cache habilitado 8541 falla en la CPU con errores de paridad de la memoria caché D L1
   • Id. de error de Cisco CSCsr90831: la memoria caché D de L1 activó los desperfectos de la CPU 8541 con errores de paridad de la memoria caché D de L1
3. Si los errores se producen repetidamente, vuelva a colocar la tarjeta y monitoree.
4. Si los errores aún se repiten, reemplace el módulo de problemas.

Defecto de software conocido adicional

Id. de error de Cisco CSCtb98876

Problema: N7K-M224XP-23L chico muestra error de pérdida de sincronización

Estos errores aparecen en el módulo:

%MODULE-4-MOD_WARNING: Module # (Serial number: XXXX) reported warning 
Ethernet#/# due to chico serdes sync loss in device DEV_SKYTRAIN 
(device error 0xc9003600)

Causa raíz

Estos errores indican que hay un problema de pérdida de sincronización entre el módulo # y el Xbar/ASIC. En la mayoría de los casos, la causa es una falla de hardware del módulo.

Si su versión de Cisco NS-OX es anterior a la 6.1(4) y el mensaje no aparece de forma continua, puede verse afectada por el ID de bug de Cisco CSCud91672. La causa del defecto es que la configuración de los servidores NX-OS es diferente de la configuración de diagnóstico en los dos canales entre SKT <—>SAC.

Solución

Recopile el resultado de estos comandos:

• show version
• show module
• ‘show run’
• show module internal event-history module X
• show module internal activity module X
• show module internal exception-log module X
• show module internal event-history errors
• show logging last 200
• show logging nvram

Actualice el switch a la versión 6.1(4) o posterior de NS-OX para aislar la causa del defecto.

Realice esta prueba para confirmar si la tarjeta es defectuosa en lugar de la ranura xbar o del chasis:

1. Mueva el módulo del problema a otra ranura libre del chasis.
2. Si tiene un módulo de repuesto, insértelo en una ranura problemática.
3. Si no se ven los errores después del paso 1, inserte el módulo nuevamente en la ranura del problema y verifique.

Problema: Fallas de prueba de N7K-F248XP-25 PrimaryBootROM y SecondaryBootROM

El módulo N7K-F248XP-25 falla en las pruebas PrimaryBootROM y SecondaryBootROM:

show module internal exceptionlog module 1 | i Error|xception
********* Exception info for module 1 ********
exception information --- exception instance 1 ----
Error Description : Secondary BootROM test failed
 
exception information --- exception instance 2 ----
Error Description : Primary BootROM test failed

Causa raíz

Esto suele verse debido a la corrupción del archivo BIOS o a la falla de hardware de la tarjeta de línea.

Solución

El ID de bug Cisco CSCuf82089 agrega código para mostrar información más descriptiva sobre tales fallas para un mejor diagnóstico. Por ejemplo, muestra un componente fallido en lugar de un valor nulo actual.

En algunos casos, el problema es causado por la corrupción del BIOS en el módulo. Ingrese el comando install module X bios forced para resolver esto. Tenga en cuenta que este comando puede afectar potencialmente al servicio. La recomendación es ejecutarla sólo durante una ventana de mantenimiento.

Complete estos pasos para resolver el problema:

1. Programe una ventana de mantenimiento e ingrese el comando install module X bios forced como una solución alternativa posible. Ingrese este comando solamente durante una ventana de mantenimiento para evitar el impacto potencial del servicio.
2. Si el paso 1 no ayuda o no es posible tener una ventana de mantenimiento para esta acción, reemplace el módulo. Este ejemplo de resultado muestra un intento fallido:

Nexus7000# install module 1 bios forced
Warning: Installing Bios forcefully...!
Warning: Please do not remove or power off the module at this time
Upgrading primary bios
Started bios programming .... please wait
[#                            0%                             ]
BIOS install failed for module 1, Error=0x40710027(BIOS flash-type verify failed)
BIOS is OK ...
Please try the command again... 

Problema: Falla del sensor de temperatura

Este error se ve en la plataforma:

%PLATFORM-4-MOD_TEMPFAIL: Module-2 temperature sensor 7 failed

Causa raíz

Este es un problema intermitente con el bloque de temperatura/voltaje en el ASIC bajo ciertas condiciones debido a la temporización interna del ASIC. El Id. de bug Cisco CSCtw79052 describe la causa conocida de este problema.

Este es un problema de temporización entre el ASIC que atrapa la temperatura internamente y el software que muestra el bit válido. El problema es que puede alcanzar cualquiera de las 12 instancias de Clipper. No hay un detonante particular para este problema y es intermitente. Este problema no afecta al servicio y surge porque la lógica de lectura de temperatura tiene un problema que requiere más reintentos en el controlador.

Solución

Recopile el resultado de estos comandos y verifique con el ID de bug de Cisco CSCtw79052:

• show version
• show env temperatura
• show sprom module <module #> 
• Módulo de conexión Nexus# <module #>
• <module#>#show hardware internal sensor event-history errors

Problema: Error Xbar/C7010-FAB-1 en estado de apagado

El C7010-FAB-1 se encuentra en estado apagado y estos errores aparecen:

%PLATFORM-3-EJECTOR_STAT_CHANGED: Ejectors' status in slot 13 has changed, 
Left Ejector is OPEN, Right Ejector is CLOSE

%PLATFORM-3-EJECTOR_STAT_CHANGED: Ejectors' status in slot 13 has changed,
 Left Ejector is OPEN, Right Ejector is OPEN

%PLATFORM-2-XBAR_REMOVE: Xbar 3 removed (Serial number XXX)
 
Xbar Ports  Module-Type                         Model              Status
---  -----  ----------------------------------- ------------------ ----------
3    0      Fabric Module                       N/A                powered-dn
?
Xbar Power-Status  Reason
---  ------------  ---------------------------
3    powered-dn     failure(powered-down) since maximum number of bringups were exceeded

Alternativamente, aparecen errores ASIC xbar:

%MODULE-4-MOD_WARNING: Module 15 (serial: XXX) reported warning due to 
X-bar Interface ASIC Error in device 70 (device error 0xc4600248)

%OC_USD-SLOT15-2-RF_CRC: OC2 received packets with CRC error from MOD 15 
through XBAR slot 3/inst 2

Causa raíz

Este problema se debe a un módulo xbar instalado incorrectamente o a una ranura de chasis defectuosa.

Solución

1. Verifique el resultado de estos comandos:
   • show version
   • show module
   • show logging
   • show logging nvram
   • show module internal exception-log
   • show module internal event-history
   • show core
   • show system reset-reason
   • show environment | en xbar
   • show system internal platform internal event-history xbar X es xbar #
   • show system internal xbar-client internal event history errors
   • show system internal xbar all
   • show system internal xbar event-history errors
2. Realice un reinicio duro del módulo xbar y verifique el estado.
3. Si la reposición falla, pruebe xbar en otra ranura o pruebe la misma ranura con otro módulo xbar para asegurarse de que el chasis esté bien.
4. Sustituya el hardware defectuoso según las pruebas realizadas en los pasos 2 y 3.

Problema: Módulo de ventilación con fallo N7K-C7010-FAN-F

Se observa uno o más de estos síntomas de fallo del ventilador:

%PLATFORM-5-FAN_STATUS: Fan module 3 (Serial number XXX) 
Fan3(fab_fan1) current-status is  FAN_FAIL
 
Nexus 7000#show environment fan
Fan3(fab_fan1)  N7K-C7010-FAN-F    1.1     Failure (Failed Fanlets: 2 6 7 8 9 10 14 15 )
Fan4(fab_fan2)  N7K-C7010-FAN-F    1.1     Ok 
...
 
#show hardware
----------------------------------
Chassis has 4 Fan slots
----------------------------------
Fan3(fab_fan1) failed
  Model number is N7K-C7010-FAN-F
...

Causa raíz

En la mayoría de los casos, se trata de una falla en la ranura del ventilador o del chasis.

Solución

1. Verifique el resultado de estos comandos:
   • show version
   • show module
   • show inventario
   • show log
   • show log nvram
   • show environment fan
2. Pruebe este N7K-C7010-FAN-F en otro buen chasis.
3. Sustituya el ventilador o el chasis según los resultados de los pasos 1 y 2.

Problema: Alarma de fuente de alimentación %PLATFORM-2-PS_CAPACITY_CHANGE

Se observan alarmas por los cambios de capacidad, a veces con mucha frecuencia.

%PLATFORM-2-PS_CAPACITY_CHANGE: Power supply PS2 changed its capacity. 
possibly due to On/Off or power cable removal/

2013 Oct 17 17:06:40 ... last message repeated 14 times

 

Causa raíz

Este problema se debe a un cable de alimentación defectuoso o desconectado o a una falla en la fuente de alimentación.

Solución

Verifique la salida del comando show env power detail e investigue el estado de la fuente de alimentación. En esta salida de ejemplo, ambos acordes están conectados pero el segundo muestra solamente una capacidad de 1200 W en lugar de 3000 W y debe ser para 220 V CA en el N7K-AC-6.0KW. La fuente de alimentación ha probado correctamente. Sustituya la fuente de alimentación.

PS_2 total capacity:    4200 W   Voltage:50Vchord 1    capacity:    3000 W chord 1    
connected to 110v AC chord 2    capacity:    1200 W chord 2    connected to 220v AC

Problema: %PLATFORM-5-PS_STATUS: Alarma PS_FAIL de PowerSupply X

Esta alerta aparece en la plataforma:

%PLATFORM-5-PS_STATUS: PowerSupply 3 current-status is PS_FAIL

%PLATFORM-2-PS_FAIL: Power supply 3 failed or shut down (Serial number xxxxx)

Causa raíz

Esta alerta se debe a un cable de alimentación defectuoso o desconectado o a una falla en la fuente de alimentación.

Solución

1. Verifique el resultado de estos comandos:
   • show environment power detail
   • ‘show power’
2. Vuelva a colocar la fuente de alimentación defectuosa. Utilice la fuente de alimentación redundante para asegurarse de que la alimentación no se desconecta.
3. Envíe un RMA para la fuente de alimentación. Utilice la fuente de alimentación redundante para asegurarse de que la alimentación no se desconecta.

Referencias

Redundancia de fuente de alimentación de Cisco Nexus serie 7000

Problema: Problema de la fuente de alimentación en FEX

Estas alarmas aparecen para la fuente de alimentación FEX:

%SATCTRL-FEX104-2-SOHMS_DIAG_ERROR: FEX-104 Module 1: Runtime diag detected major event:
Voltage failure on power supply: 1
%SATCTRL-FEX104-2-SOHMS_DIAG_ERROR: FEX-104 System minor alarm on power 
supply 1: failed

%SATCTRL-FEX104-2-SOHMS_DIAG_ERROR: FEX-104 Recovered: System minor alarm 
on power supply 1: failed 

Solución

Compruebe si hay problemas de hardware y de alimentación. Si tiene un problema de software, los mensajes de error continúan incluso después de intercambiar hardware.

Los métodos para resolver estos problemas incluyen:

1. Vuelva a colocar la fuente de alimentación FEX. Utilice la fuente de alimentación redundante para asegurarse de que la alimentación no se desconecta.
2. Envíe el RMA para la fuente de alimentación FEX. Utilice la fuente de alimentación redundante para asegurarse de que la alimentación no se desconecta.
3. Repita estos pasos para la segunda fuente de alimentación.

Revise y conteste estas preguntas para ayudar a definir las circunstancias del fallo:

1. ¿Cuántas fuentes de alimentación de FEX se ven afectadas?
2. Para una alarma menor, ¿intercambió la fuente de entrada y eso marcó alguna diferencia?
3. ¿Tiene otras fuentes de alimentación de FEX que tienen problemas?
4. ¿Tiene otras cajas de la misma fuente de alimentación?
5. ¿Ha sustituido el cable de alimentación?
6. ¿Hubo un fallo o un aumento repentino de la potencia en el medio ambiente?

Recopile la salida de estos comandos para investigar las fallas:

• show sprom fex 100 all
• show logging log | no más
• show tech fex 100 | no más
• attach fex 100
• show platform software satctrl trace

Defecto de software conocido

Id. de bug Cisco CSCtr77620

Problema: Las fuentes de alimentación N7K-AC-6.0KW se informan como defectuosas

Las fuentes de alimentación de emergencia N7K-AC-6.0KW se informan como Fallo / Cierre, pero el switch funciona correctamente y se observa una salida real distinta a 0 para la fuente de alimentación con problema.

Causa raíz

En una fuente con ambas entradas activas, cuando se desconecta, se vuelve a conectar y se vuelve a desconectar una entrada en un plazo de 1,5 segundos, la fuente puede bloquear una falla de voltaje bajo y NX-OS puede señalar la fuente de alimentación como defectuosa. En otra variación, en una fuente con dos entradas, elimine una entrada y espere de 20 a 30 segundos. El suministro puede configurar de forma intermitente la alarma de falla interna y NX-OS informa que la fuente de alimentación ha fallado.

El ID de bug Cisco CSCty78612 realiza cambios en el firmware de las unidades de fuente de alimentación para solucionar el problema.

El ID de bug Cisco CSCuc86262 agrega una mejora de software para recuperarse de estas falsas fallas. NX-OS supervisa ahora de forma autónoma el estado de la unidad de fuente de alimentación (PSU) y lo modifica según el estado adecuado si el estado informado difiere del estado real.

Solución

Ingrese el comando show env power detail y verifique el resultado real para verificar la falla falsa:

Nexus7000# show env power
Power Supply:
Voltage: 50 Volts
Power Actual Total
Supply Model Output Capacity Status
 (Watts ) (Watts )
------- ------------------- ----------- ----------- --------------
1 N7K-AC-6.0KW 0 W 0 W Shutdown
2 N7K-AC-6.0KW 3888 W 6000 W Fail/Shut

El estado Fail/Close erróneo se borra cuando se apaga/enciende la PSU.

El Id. de error de Cisco CSCty78612 realiza cambios en el firmware de la PSU. El software se ha mejorado a través del ID de bug de Cisco CSCuc86262 que se recupera de notificaciones de falla/cierre falsas con la corrección de los bits falsos si la fuente de alimentación en tiempo de ejecución funciona normalmente. NX-OS Versiones 5.2(9), 6.1(3), 6.2(2) y posteriores presentan la mejora que evita una RMA.

Problema: Caídas de paquetes de software

Parte de los paquetes de gran tamaño se descartan cuando hay una alta velocidad de paquetes IP con una longitud mayor que la MTU configurada en la interfaz de salida del paquete.

Causa raíz

Debe ocurrir lo siguiente. Cuando el sistema recibe un paquete IP con una longitud mayor que la MTU configurada en la interfaz de salida del paquete, el sistema envía este paquete al plano de control, que se encarga de la fragmentación. En NX-OS 4.1.3 y versiones posteriores, se aplica un limitador de velocidad a dichos paquetes perforados. Esto lo limita a un máximo de 500 pps de forma predeterminada.

Solución

Este es un defecto de software conocido en Cisco bug ID CSCsu01048.

Problema: Error del sistema de falla de prueba automática FIPS USER-2-SYSTEM_MSG

Aparece el error "USER-2-SYSTEM_MSG FIPS self-test failure in DCOS_rand - netstack".

Causa raíz

Siempre que se genera un número aleatorio, se ejecuta la prueba automática del generador de números aleatorios condicionales (CRNG). Si la prueba falla, se registra un mensaje de syslog. Esto se hace de acuerdo con la recomendación de las Normas Federales de Procesamiento de la Información (FIPS). Sin embargo, el impacto de esto es inofensivo ya que el número aleatorio se genera de nuevo.

Hay dos tipos de generadores de números aleatorios (RNG) en NX-OS:

• FIPS RNG que se implementa en la biblioteca crypto de openssl
• RNG no FIPS que es el RNG de Linux

Según FIPS, todos los RNG deben implementar la prueba condicional del generador de números aleatorios (CRNGT). La prueba compara el número aleatorio generado con el anterior. Si los números son iguales, se genera un mensaje syslog y se genera otro número aleatorio.

La prueba se ejecuta para garantizar que el número aleatorio sea único. No hay impacto funcional al regenerar el número.

Solución

Este mensaje es inofensivo para el funcionamiento del sistema. Desde Cisco NX-OS versión 5.2x y posteriores, la gravedad del mensaje se reduce de 2, por lo que ya no se ve con la configuración de registro predeterminada. Este registro se produce como parte de las autopruebas internas de NX-OS para diversas funciones en el switch.

Este es un defecto de software conocido en Cisco bug ID CSCtn70083.