Solución de problemas de fallas de arranque de tarjeta NCS6K
Opciones de descarga
-
ePub (93.8 KB)
Visualice en diferentes aplicaciones en iPhone, iPad, Android, Sony Reader o Windows Phone -
Mobi (Kindle) (92.5 KB)
Visualice en dispositivo Kindle o aplicación Kindle en múltiples dispositivos
Lenguaje no discriminatorio
El conjunto de documentos para este producto aspira al uso de un lenguaje no discriminatorio. A los fines de esta documentación, "no discriminatorio" se refiere al lenguaje que no implica discriminación por motivos de edad, discapacidad, género, identidad de raza, identidad étnica, orientación sexual, nivel socioeconómico e interseccionalidad. Puede haber excepciones en la documentación debido al lenguaje que se encuentra ya en las interfaces de usuario del software del producto, el lenguaje utilizado en función de la documentación de la RFP o el lenguaje utilizado por un producto de terceros al que se hace referencia. Obtenga más información sobre cómo Cisco utiliza el lenguaje inclusivo.
Acerca de esta traducción
Cisco ha traducido este documento combinando la traducción automática y los recursos humanos a fin de ofrecer a nuestros usuarios en todo el mundo contenido en su propio idioma. Tenga en cuenta que incluso la mejor traducción automática podría no ser tan precisa como la proporcionada por un traductor profesional. Cisco Systems, Inc. no asume ninguna responsabilidad por la precisión de estas traducciones y recomienda remitirse siempre al documento original escrito en inglés (insertar vínculo URL).
Contenido
Introducción
Este documento describe cómo resolver problemas de fallas de inicio de tarjeta de línea de Network Convergence System 6000 (NCS6K). Además, también proporciona una visión general de los datos que pueden recopilarse, lo que puede ayudar al TAC a llevar a cabo una investigación detallada.
Prerequisites
Requirements
Cisco recomienda que tenga conocimientos básicos de la interfaz de línea de comandos (CLI) XR.
Componentes Utilizados
Este documento se creó con las versiones 5.0.1, 5.2.1, 5.2.3 y 5.2.4 de la versión XR.
The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.
Antecedentes
Si el procesador de routing (RP), la tarjeta de fabric (FC) o la tarjeta de línea (LC) no se están iniciando y se atascan en la etapa de inicio, el primer paso debe ser comenzar a recopilar show tech ctrace de la máquina virtual Syadmin (VM). Este comando show tech proporciona información sobre el estado actual del sistema y la interacción entre los diferentes componentes. Sin embargo, existe la posibilidad de que Sysadmin también conocido como Calvados no esté en la tarjeta y show tech ctrace no podrá recopilar información para la tarjeta afectada. Esto ocurrirá porque la tarjeta no es accesible a través de Secure Shell (SSH). En estos casos, será necesario un procedimiento de consola para saber por qué la tarjeta se atasca en el momento del proceso de inicio.
Nota: Este archivo suele ser bastante grande (500 MB-1 GB) y se almacenará en la VM de Sysadmin. Para extraerlo del cuadro, se debe copiar en la máquina virtual XR (instrucciones proporcionadas más adelante en el mismo documento).
Troubleshoot
Verifique el estado de cada tarjeta en la VM de Sysadmin y descubra su estado actual. Preste especial atención al estado H/w y S/w. Tenga en cuenta que las tarjetas que muestran el estado S/w como N/A son tarjetas CPU menos (tarjetas FC, bandeja de ventilador, etc.) que son controladas esencialmente por la CPU RP. Las tarjetas en estado operativo son tarjetas basadas en la CPU y, por lo tanto, tienen el software cargado.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/0 PROTO-CXP-1XPITA OPERATIONAL OPERATIONAL NSHUT
0/2 PROTO-CXP-2XPITA POWERED_OFF SW_INACTIVE NSHUT
0/3 NC6-10X100G-M-K OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP POWERED_ON SW_INACTIVE NSHUT
0/FC0 NC6-FC POWERED_ON N/A NSHUT
0/FC1 NC6-FC-MC POWERED_ON N/A NSHUT
0/FC2 UNKNOWN FAILED N/A NSHUT
0/FC3 NC6-FC POWERED_ON N/A NSHUT
0/FC4 NC6-FC-B2B POWERED_ON N/A NSHUT
0/FC5 NC6-FC OPERATIONAL N/A NSHUT
0/FT0 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/PT0 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT1 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT2 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
El siguiente paso es verificar el comando de inventario de Card Chip Controller (CCC) y confirmar el estado de la tarjeta.
sysadmin-vm:0_RP0# show controller ccc inventory summary
CCC Inventory Summary :
BP HW
Location Card Type ID Serial Number Ver Card State
--------------------------------------------------------------------------------
0/RP0 NC6-RP (master) 0 SAD15270129 0.1 CARD_READY
0/RP1 NC6-RP (slave) 1 SAD1527012P 0.1 CARD_READY
0/FC0 NC6-FC 8 SAD1618002F 0.2 WAIT_DEV_INIT
0/FC1 NC6-FC 9 SAD153901ZT 0.2 WAIT_DEV_INIT
0/FC4 NC6-FC 12 SAL1803KQEY 1.0 PON_POWERING_UP
0/FC5 NC6-FC 13 SAD16180043 0.2 WAIT_DEV_INIT
0/0 NC6-10X100G-M-K 16 SAL1650UCN9 0.4 PXE_BOOTING
0/4 NC6-10X100G-M-K 20 SAD154502XU 0.1 CARD_READY
Estos son los diferentes escenarios que pueden tener lugar. Además, se enumeran a continuación los resultados esperados y los siguientes pasos para la resolución de problemas.
Tarjeta de línea arrancada como se esperaba
sysadmin-vm:F0_SC0# show platform detail location 0/0
Platform Information for 0/0
PID : NC6-10X100G-M-P
Description : "NCS 6000 10x100G Multi-Service CXP"
VID/SN : V01
HW Oper State : OPERATIONAL
SW Oper State : OPERATIONAL
Configuration : "NSHUT RST"
HW Version : 1.0
Last Event : HW_EVENT_OK
Last Event Reason : "Initial discovered state:BOOTED (card ok)"
La salida de Last Event y Last Event Reason muestran que la tarjeta está bien. Ejecute el comando show reboot history para validar si esta tarjeta específica tenía problemas en el pasado y, si es así, cuál fue el problema.
sysadmin-vm:F0_SC0# show reboot-history card location 0/0
Card Reboot History for 0/0
0
Timestamp "Fri Oct 2 15:15:26 2015"
Reason Code 7
Reason "Install Activate System Reload"
Src Location ""
Src Name INSTALL
Timestamp "Tue Sep 8 18:56:29 2015"
Reason Code 7
Reason "ADMIN CLI RELOAD ROUTER GRACEFUL"
Src Location ""
Src Name "CONFD USER"
Aborted: by user
La tarjeta de línea 0/0 está operativa y se instaló la última recarga, lo que significa que se realizó la instalación de la actualización de mantenimiento de software (SMU) o la actualización de software. Esto se espera y por lo tanto no hubo problemas con esta tarjeta.
La tarjeta de fabric no se puede iniciar debido a un error de controlador
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/FC2 UNKNOWN FAILED N/A NSHUT <-
sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2
Card Reboot History for 0/FC2
Timestamp "Thu Oct 9 12:10:22 2014"
Reason Code 15 <--
"Board reload as devices not up on Fabric Card"
Src Location 0/FC0
Src Name FAM_AGENT_CALV_DRIVER_SFE ß
En este ejemplo, la tarjeta FC no se inició porque sfe_driver no se inicializó correctamente.
Ejecute algunos comandos más para ver el historial de reinicio desde el punto de vista CCC. La CLI del historial de reinicio se puede utilizar junto con la CLI del historial de reinicio del controlador CCC para determinar el origen y el motivo de la recarga de la tarjeta.
Podría haber dos opciones:
Incorporado: utilice esta opción para buscar información si la tarjeta pasó por Warm Reset (Reinicio de calentamiento) (sólo se ha recargado la CPU).
Onchip: Utilice esta opción para buscar información si la tarjeta pasó por el reinicio en frío (la tarjeta se recargó completamente - reinicio en hardware).
Por ejemplo:
sysadmin-vm:F0_SC0# show controller ccc reset-history on
Possible completions:
onboard CCC Reset history in onboard EEPROM detail information
onchip On-chip reset history entries since last CCC Cold Reset
sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0
****************************************************
*** On Chip Reset History for location 0/0 ***
****************************************************
TimeofDay : Tue Oct 20 17:17:40 2015
Uptime : 18 days 02:01:59 <--
Resets : 2
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 2015/10/02 15:15:43
1 ColdRst DeAssrtHR 2015/10/02 15:15:50 --> List reset source as "ColdRst"
sysadmin-vm:F0_SC0# show controller ccc reset-history onboard location 0/0
*****************************************************
*** On Board Reset History for location 0/0 ***
*****************************************************
Scratch EEPROM Magic : PON
Scratch EEPROM Version : 0x00014000
Reset History Magic : HIST
Number of Resets : 102 <---
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 1970/01/01 0:00:00 <-- ColdRst
1 ColdRst DeAssrtHR 1970/01/01 0:00:06
2 ColdRst AssrtHR 1970/01/01 0:00:00
3 ColdRst DeAssrtHR 1970/01/01 0:00:06
4 WarmRst AssrtHR 1970/05/03 7:21:55 <-- WarmRst
<output omitted>
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.
Además, hay dos entradas únicas por operación de reinicio realizada. Operación AsstHR y operación DeAsstHR. Esto implica que se ha afirmado una señal de reinicio y luego se ha desafirmado, por lo tanto, el chip completará el reinicio.
Tome nota de las marcas de tiempo de cada una de estas operaciones. Esta CLI se puede combinar con la CLI de estado de inventario de CCC para determinar cuándo se produjo el reinicio y cuánto tiempo la tarjeta ha estado activa o inactiva.
Luego, verifique la etapa CCC por la que atravesó la tarjeta en el momento de su proceso de recarga. A continuación se enumeran varios ejemplos de estado:
Tarjeta que arrancó correctamente desde el punto de vista CCC:
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:55.234 WAIT_BOOT_IMAGE ev_boot_ssd_image
10/02 15:16:54.233 BIOS_STARTED if_wait_ssd_image_booting
10/02 15:16:54.233 CPU_READY if_bios_started
10/02 15:16:54.231 OIR_INSERT_NOTIF if_cpu_is_ready
10/02 15:16:54.217 CCC_DRIVER_INIT if_oir_insert_notif_not_done
10/02 15:16:54.195 PON_POWERED_ON to_ccc_driver_init
10/02 15:16:54.195 CHECK_CCC_STATUS if_pon_powered_on
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
Tarjeta actualmente en la etapa PXE_BOOTING:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
CCC Card Event History for: 0/3
Current State: PXE_BOOTING
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/07 19:50:40.607 BIOS_STARTED if_internal_pxe_booting
08/07 19:50:40.607 WAIT_BIOS_START ev_bios_started
08/07 19:50:18.605 CPU_READY if_bios_not_started
08/07 19:50:18.595 CCC_DRIVER_INIT if_cpu_is_ready
08/07 19:50:18.568 PON_POWERED_ON to_ccc_driver_init
08/07 19:50:18.568 CHECK_CCC_STATUS if_pon_powered_on
08/07 19:50:18.567 GET_CCC_INFO ev_get_ccc_info_done
08/07 19:50:18.550 WAIT_ETH_READY ev_eth_ready
08/07 19:50:18.550 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/07 19:50:18.517 PON_UP_WARM ev_ccc_reset_done
08/07 19:50:12.627 PON_DOWN_WARM ev_pon_up_warm
08/07 19:50:08.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:07.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:06.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:05.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:04.238 PON_DOWN_WARM ev_warm_reset_req_ignored
Tarjeta incapaz de arrancar debido al chip atascado en GET_CCC_INFO:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6
CCC Card Event History for: 3/6
Card Event History as seen by Master (3/RP0)
Current State: GET_CCC_INFO
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/26 23:43:04.559 UBLAZE_NOT_READY ev_timer_expired
10/26 23:42:34.559 CHECK_UBLAZE_BOOT ev_timer_expired
10/26 23:42:24.528 WAIT_CCC_READY ev_ccc_ready
10/26 23:42:21.516 RECOVERY_RESET ev_timer_expired
10/26 23:42:03.516 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:41:52.480 WAIT_CCC_READY ev_ccc_ready
10/26 23:41:49.468 RECOVERY_RESET ev_timer_expired
10/26 23:41:32.467 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:29.456 RECOVERY_RESET ev_timer_expired
10/26 23:41:13.455 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:10.444 RECOVERY_RESET ev_timer_expired
10/26 23:40:55.444 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:40:55.439 WAIT_CCC_READY ev_ccc_ready
10/26 23:40:52.320 IDLE ev_presence_scan
La tarjeta no se puede iniciar debido al estado POWER_UP_FAILED:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2
CCC Card Event History for: 0/2
Current State: POWER_UP_FAILED
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/05 14:55:17.449 POWER_UP_FAILED ev_wdog_timeout
08/05 14:45:31.265 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:45:31.260 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:45:31.258 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:45:31.223 WAIT_ETH_READY ev_eth_ready
08/05 14:45:31.157 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:45:31.124 PON_UP_WARM ev_ccc_reset_done
08/05 14:45:17.489 CCC_IN_RESET ev_pon_up_warm
08/05 14:45:08.921 POWER_UP_FAILED ev_pon_down_warm
08/05 14:35:07.152 POWER_UP_FAILED ev_wdog_timeout
08/05 14:25:20.946 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:25:20.941 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:25:20.939 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:25:20.923 WAIT_ETH_READY ev_eth_ready
08/05 14:25:20.887 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:25:20.830 PON_UP_WARM ev_ccc_reset_done
Aborted: by user
Si utiliza este comando con la opción brief, no proporciona datos completos relacionados con la causa raíz de los problemas. Para esa información, reemplace la palabra clave brief por detalle.
Nota: Ésta es la CLI más importante cuando las tarjetas de troubleshooting no se inician en el nivel CCC.
Céntrese en el Desc de Eventos y la razón de la falla para obtener una mejor explicación de la falla.
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
Current State: CARD_READY
EVENT #: 12 (record index = 12)
TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
STATE: WAIT_BOOT_IMAGE
EVENT: ev_boot_ssd_image
EVENT DESC: SSD image is booting
EVENT #: 11 (record index = 11)
TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
STATE: BIOS_STARTED
EVENT: if_wait_ssd_image_booting
EVENT #: 10 (record index = 10)
TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
STATE: CPU_READY
EVENT: if_bios_started
EVENT #: 9 (record index = 9)
TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
STATE: OIR_INSERT_NOTIF
EVENT: if_cpu_is_ready
EVENT #: 8 (record index = 8)
TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
STATE: CCC_DRIVER_INIT
EVENT: if_oir_insert_notif_not_done
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
EVENT #: 6 (record index = 6)
TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
STATE: CHECK_CCC_STATUS
A continuación se muestran ejemplos de resultados de diferentes escenarios.
Tarjeta que no se inició debido a problemas de alimentación y se atascó en POWER_UP_FAILED:
Preste atención a ERROR_INFO para obtener detalles sobre la falla.
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2
CCC Card Event History for: 0/2
Event buffer info:
Total number of events recorded: 692
Number of events available for display: 255
Current State: POWER_UP_FAILED
EVENT #: 691 (record index = 179)
TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
STATE: POWER_UP_FAILED
EVENT: ev_wdog_timeout
EVENT DESC: CCC watchdog timeout event
ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0
<output omitted>
Tarjeta que no arrancó y quedó atascada en CCC_NOT_READY (problema de chip):
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
CCC Card Event History for: 0/FC2
Event buffer info:
Total number of events recorded: 2
Number of events available for display: 2
Current State: CCC_NOT_READY
EVENT #: 1 (record index = 1)
TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
STATE: WAIT_CCC_READY
EVENT: ev_ccc_ready_timeout
EVENT DESC: Timeout waiting for CCC to be ready
ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
<output omitted>
Hay casos en los que las tarjetas deben eliminarse/reinsertarse. Para ello, el componente CCC proporciona el historial de OIR para la inserción/extracción de la tarjeta de seguimiento de rack dada. Tenga en cuenta que se utiliza la palabra clave slave. Esto proporcionará información sobre el RP en espera.
sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Master (0/RP0)- View from the Active RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
10/09 16:59:14.280 INSERTED 0/0 NC6-10X100G-M-K SAL1650UCN9
10/09 16:58:49.064 REMOVED 0/0 NC6-10X100G-M-K SAL1650UCN9
<output omitted>
sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
11/06 05:54:31.374 DISCOVERED 0/2 NC6-10X100G-M-K SAD161300XK
11/06 05:53:37.442 DISCOVERED 0/6 NC6-10X100G-M-K SAL1649TN46
<output omitted>
La información debe ser la misma desde ambos puntos de vista RP.
El uso de esta combinación de comandos ayuda a determinar la causa raíz de por qué la tarjeta de estructura no pudo arrancar.
Tarjeta agarrotada en POWEROFF o ESTADO ACTUAL
Si la tarjeta está atascada en POWEROFF/PRESENT STATE, es muy probable que haya pasado por múltiples reinicios y que haya sido Powered-OFF por shelf_mgr.
Ejecute estos comandos para determinar la causa raíz del problema:
- Recopile show tech ctrace de la VM Sysadmin
- show platform detail location <>
- show reboot-history card location <> (averigüe cuántas veces pasó por el proceso RESET)
- show controller ccc event-history detail location <>
- show controller ccc reset-history onboard location <>
La tarjeta se puede restablecer con el uso del comando hw-module reset y el proceso de arranque se puede observar con el uso del procedimiento de consola explicado más adelante en este documento.
sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes
Tarjeta agarrotada en POWER_ON STATE
Si la tarjeta está atascada POWERED_ON, significa que CCC ha encendido las zonas de alimentación básicas que se necesitan para que otros conductores empiecen a trabajar. Es responsabilidad de los respectivos Conductores mover la tarjeta a un estado Operativo.
El controlador SFE traslada los FC al estado Operativo, después de que detecta e inicializa todos sus dispositivos internos en esa tarjeta, también conocidos como ASIC.
El controlador ESD mueve las tarjetas SC-SW y las LC de Scapa al estado Operativo (casi inmediatamente, nada para verificar/inicializar a diferencia del controlador SFE).
Si la tarjeta está atascada en el estado POWERED_ON, significa que uno de los controladores anteriores tuvo problemas para mover la tarjeta al estado Operativo. El problema se ve más a menudo en las tarjetas sin CPU. Por ejemplo: Tarjetas de fabric o tarjetas de switch SC (SC-SW).
El primer paso es verificar el comando ccc event-history:
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
<output ommited>
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
A continuación, valide las zonas de alimentación básicas necesarias:
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c
Register Register
Address Value
------------------------
0x4C 0x3 - zones 0 and 1 OK
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50
Register Register
Address Value
------------------------
0x50 0x3 - zone 0 and 1 Enabled
sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
Power detail : Zone information for 0/RP0:
---------------------------------------------------------
| Power Zone | Power Status | Power Contrl | Power Fault |
---------------------------------------------------------
| 0 | OK | SET | -- | - Power Status OK
| 1 | OK | SET | -- | - Power Status OK
sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
CCC IO Expander information for location: 0/0
------------------------------------------------------
Port 0: 0x3e
Port Bit I/O Val Bit Name
-------------------------------------
P0 0 O 0 Power Cycle
P0 1 I 1 FPGA OK
P0 2 I 1 uBlaze OK
P0 3 I 1 Clock OK
P0 4 I 1 Core Volt OK
P0 5 I 1 OTH Volt0 OK
P0 6 I 0 OTH Volt1 NOT OK
P0 7 I 0 OTH Volt2 NOT OK
Port 1: 0x3
Port Bit I/O Val Bit Name
-------------------------------------
P1 0 I 1 FPGA INIT OK
Si esta validación no conduce a una causa raíz, el siguiente paso sería abrir una Solicitud de servicio del TAC.
Tarjeta atascada en SW_INACTIVE STATE
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
--------------------------------------------------------------------- -------
0/1 P-L-10X100G-F-P POWERED_OFF SW_INACTIVE SHUT
0/RP0 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/FC0 P-L-FC-S OPERATIONAL N/A NSHUT
0/FC1 P-L-FC-S OPERATIONAL N/A NSHUT
0/FT0 PANINI-SIM-FT OPERATIONAL N/A NSHUT
0/FT1 PANINI-SIM-FT OPERATIONAL N/A NSHUT
Los posibles motivos de falla son:
- El SO host no se inicia debido al problema de acceso a SSD
- El arranque del SO del host se atascó debido al problema de hardware
- Error al generar la VM SysAdmin
- Control de problemas de conexión Ethernet
- MAC/IP de tarjeta no programada debido a una falla de SW
- Los switches Ethernet no se programan correctamente por el intérprete de encendido CCC
- Error al programar la imagen del switch de color ESD en la memoria flash CCC SPI
Escenario 1. SW_EVENT_FAILURE: SW_EVENT_ADMIN_VM_FAILURE informado por syslogs de estante_mgr
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 PROTO-CXP-2XPITA OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP OPERATIONAL SW_INACTIVE NSHUT
0/FC0 NC6-FC-MC OPERATIONAL N/A NSHUT
0/CI0 P-L-CRFT OPERATIONAL N/A NSHUT
0/FT0 P-L-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 P-L-FANTRAY OPERATIONAL N/A NSHUT
Puede haber varias razones diferentes sobre por qué RP1 no se inicia. La manera más fácil de descubrir el problema es volver a la consola en el RP y verificar los registros en (consulte el procedimiento de consola que se encuentra en la parte inferior de este documento).
Situación hipotética 2. LC atascada en estado FALLADO, último evento: HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT
Asegúrese de que el estado de HW muestre FAILED y SW State muestre SW_INACTIVE:
sysadmin-vm:0_RP0# show platform location 0/1
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 NC6-60X10GE-M-S FAILED SW_INACTIVE NSHUT
Ejecute este comando y verifique Last Even Reason:
sysadmin-vm:0_RP0# show platform detail location 0/1
Platform Information for 0/1
PID : NC6-60X10GE-M-S
Description : "NCS 6000 60x10G Multi-Service SFP+"
VID/SN : V01
HW Oper State : FAILED
SW Oper State : SW_INACTIVE
Configuration : "NSHUT RST"
HW Version : 0.6
Last Event : HW_EVENT_FAILURE
Last Event Reason : "pon exit <-- UP_WARM_RESET cnt=123 fail_code=LC_POWER_MAIN_FAULT"
sysadmin-vm:0_RP0#
Filtre syslog para la tarjeta afectada para verificar los mensajes de registro:
0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit <-- UP_WARM_RESET cnt=4 fail_code=LC_POWER_MAIN_FAULT' for card 0/1
Ejecute el comando show reboot history y verifique si hay una enorme diferencia de tiempo entre los mensajes AssrtHR y DeAssrtHR. Esto se debe probablemente a un problema de conectividad interna entre las VM.
sysadmin-vm:0_RP0#show reboot-history card location 0/1
Reset history example: every 20 mins for 2 hours before it recovered:
33 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
34 0 WarmRst AssrtHR 0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
35 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
36 0 WarmRst AssrtHR 0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014
Tarjeta bloqueada en estado desconocido
Cuando la tarjeta informa del estado Admin como UNKNOWN, lo más probable es que CCC no haya podido leer el IDPROM del tablero, por lo tanto, la tarjeta no podrá completar el arranque. Para tales instancias, ejecute estos comandos en la ubicación dada:
RP/0/RP0/CPU0:A41-PE1#show platform
Node name Node type Node state Admin state Config state
-----------------------------------------------------------------------------------
0/RP1 NC6-RP OPERATIONAL UNKNOWN
0/FC1 NC6-FC OPERATIONAL UNKNOWN
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
El siguiente paso es verificar si CCC se ejecuta en la LC en el momento del proceso de inicialización con el uso de la consola:
1. Recopile la ID del proceso en SysadminVM:
sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0
----------------------------------------------------------------------
PID: 2525
Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/sbin/ccc_driver
Instance #: 0
Respawn: ON
Respawn count: 1
Max. spawns per 4 mins: 4
Last started: 10/02/2015 15:17:23.000
Process state: Run
startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/etc/startup/ccc_driver.startup
Ready: 5s
2. Vuelva a la consola a la LC con el uso de estos comandos:
sysadmin-vm:F0_SC0# attach location 0/RP0
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Got card info from CCC-driver for slot 16
IOS Build Date : 04/22/2015 by lchinnad
System Memory Speed : 1334 MHz
Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
Press F12 to goto Boot Manager..
Booting System Host OS..
Waiting For CCC Valid Time of Day..
Waiting For CCC Valid Time of Day..
CCC Time: Fri Oct 2 15:16:54 2015
GNU GRUB version 2.00
Press F2 to goto grub Menu..
Booting from Disk..
Loading Kernel..
Loading initrd..
[ 1.949229] i8042: No controller found
Starting udev: [ OK ]
Switching to new root and running init.
Starting udev: [ OK ]
Actual changes:
large-receive-offload: off [requested on]
ntuple-filters: on
Setting hostname host: [ OK ]
Checking filesystems:[ OK ]
Entering non-interactive startup
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
[FAILED]
Starting system logger: [ OK ]
Starting kernel logger: [ OK ]
Starting kdump:[ OK ]
Starting system message bus: [ OK ]
Starting smartd: [ OK ]
Generating SSH1 RSA host key: [ OK ]
Generating SSH2 RSA host key: [ OK ]
Generating SSH2 DSA host key: [ OK ]
Starting sshd: [ OK ]
Starting xinetd: [ OK ]
Starting crond: [ OK ]
Starting libvirtd daemon: [ OK ]
Starting NCS6k programs for LC on hostos: [ OK ]
mcelog start/running, process 2637
Creating default host password file
serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
host login: root
Password:
[host:~]$
[host:~]$
[host:~]$ telnet 0 50001 <-- to get to Calvados
Trying 0.0.0.0...
Connected to 0.
Escape character is '^]'.
sysadmin-vm:0_0 login:
sysadmin-vm:0_0 login: root
Password:
[sysadmin-vm:0_0:~]$ pgrep ccc <- use pgrep to check if the process is running
2525
[sysadmin-vm:0_0:~]$ exit
logout
Usar herramienta RCONSOLE
Cuando las tarjetas no pueden arrancar, el NCS6008 proporciona una función integrada que permite realizar la consola remota en la tarjeta y ver la razón por la que la tarjeta está atascada y no puede arrancar. Esta función se denomina RCONSOLE y aquí hay un ejemplo de su uso.
Procedimiento para volver a la consola en LC específica:
- Vaya a SysadminVM
- Asociar al RP activo.
- Cambio a VRF chvrf 0 bash global
- Ejecute /opt/cisco/calvados/sbin/rconsole -l (tarjeta de línea)
Ejemplo:
RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole
Tue Oct 20 18:23:54.740 UTC
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
El TAC utiliza ampliamente este procedimiento para determinar el estado actual de la tarjeta y verificar dónde está atascada.
Lista de comandos que se recopilarán antes de abrir un caso TAC
VM XR:
Mostrar plataforma
show install active
show version
Show reboot history location 0/0/cpu0
dir misc/disk1
show cli history detail
Show log
show tech-support npu
VM SysAdmin:
show platform detail
show platform slices
show install active
show sdr default-sdr reboot-history
show reboot-history card location <>
show controller ccc reset-history onbo loc <>
show controller ccc reset-history onch loc <>
show controller ccc event-history detail location <>
show tech-support ccc
show tech-support Hbloss
show tech-support slice_manager
show tech-support ctrace
show tech-support sdr_mgr
show log
Con la colaboración de ingenieros de Cisco
- Andre PedroCisco TAC Engineer
ComentariosContacte a Cisco
- Abrir un caso de soporte
- (Requiere un Cisco Service Contract)