Dépannage des échecs de démarrage de la carte NCS6K
Options de téléchargement
-
ePub (93.0 KB)
Consulter à l’aide de différentes applications sur iPhone, iPad, Android ou Windows Phone -
Mobi (Kindle) (91.9 KB)
Consulter sur un appareil Kindle ou à l’aide d’une application Kindle sur plusieurs appareils
Langage exempt de préjugés
Dans le cadre de la documentation associée à ce produit, nous nous efforçons d’utiliser un langage exempt de préjugés. Dans cet ensemble de documents, le langage exempt de discrimination renvoie à une langue qui exclut la discrimination en fonction de l’âge, des handicaps, du genre, de l’appartenance raciale de l’identité ethnique, de l’orientation sexuelle, de la situation socio-économique et de l’intersectionnalité. Des exceptions peuvent s’appliquer dans les documents si le langage est codé en dur dans les interfaces utilisateurs du produit logiciel, si le langage utilisé est basé sur la documentation RFP ou si le langage utilisé provient d’un produit tiers référencé. Découvrez comment Cisco utilise le langage inclusif.
À propos de cette traduction
Cisco a traduit ce document en traduction automatisée vérifiée par une personne dans le cadre d’un service mondial permettant à nos utilisateurs d’obtenir le contenu d’assistance dans leur propre langue. Il convient cependant de noter que même la meilleure traduction automatisée ne sera pas aussi précise que celle fournie par un traducteur professionnel.
Contenu
Introduction
Ce document décrit comment dépanner les échecs de démarrage de la carte de ligne Network Convergence System 6000 (NCS6K). De plus, il donne un aperçu des données qui peuvent être recueillies et qui peuvent aider le TAC à mener une enquête détaillée.
Conditions préalables
Conditions requises
Cisco vous recommande d'avoir une connaissance de base de l'interface de ligne de commande (CLI) XR.
Components Used
Ce document a été créé à l'aide des versions 5.0.1, 5.2.1, 5.2.3 et 5.2.4 de XR.
The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.
Informations générales
Si le processeur de routage (RP), la carte de fabric (FC) ou la carte de ligne (LC) ne démarre pas et ne se bloque pas dans l'étape de démarrage, la première étape doit être de commencer à collecter show tech ctrace à partir de la machine virtuelle Syadmin. Ce show tech fournit des informations sur l'état actuel du système et l'interaction entre les différents composants. Cependant, il y a une chance que Sysadmin aussi connu sous le nom de Calvados n'est pas sur la carte et show tech ctrace ne sera pas en mesure de collecter des informations pour la carte concernée. Cela se produira car la carte n'est pas accessible via Secure Shell (SSH). Dans de tels cas, une procédure de console sera nécessaire pour savoir pourquoi la carte est bloquée au moment du processus de démarrage.
Note: Ce fichier est généralement assez volumineux (500 Mo-1 Go) et sera stocké sur la machine virtuelle Sysadmin. Pour l'extraire de la zone, il doit être copié dans la machine virtuelle XR (instructions fournies plus loin dans le même document).
Dépannage
Vérifiez l'état de chaque carte sur la machine virtuelle Sysadmin et découvrez son état actuel. Prêtez une attention particulière à l'état des équipements et des équipements. Notez que les cartes qui affichent l'état S/W comme N/A sont des cartes CPU moins (cartes FC, unité de ventilation, etc.) qui sont essentiellement contrôlées par le processeur RP. Les cartes en état de fonctionnement sont des cartes basées sur le processeur et ont donc le logiciel chargé.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/0 PROTO-CXP-1XPITA OPERATIONAL OPERATIONAL NSHUT
0/2 PROTO-CXP-2XPITA POWERED_OFF SW_INACTIVE NSHUT
0/3 NC6-10X100G-M-K OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP POWERED_ON SW_INACTIVE NSHUT
0/FC0 NC6-FC POWERED_ON N/A NSHUT
0/FC1 NC6-FC-MC POWERED_ON N/A NSHUT
0/FC2 UNKNOWN FAILED N/A NSHUT
0/FC3 NC6-FC POWERED_ON N/A NSHUT
0/FC4 NC6-FC-B2B POWERED_ON N/A NSHUT
0/FC5 NC6-FC OPERATIONAL N/A NSHUT
0/FT0 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/PT0 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT1 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT2 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
L'étape suivante consiste à vérifier la commande d'inventaire de Card Chip Controller (CCC) et à confirmer l'état de la carte.
sysadmin-vm:0_RP0# show controller ccc inventory summary
CCC Inventory Summary :
BP HW
Location Card Type ID Serial Number Ver Card State
--------------------------------------------------------------------------------
0/RP0 NC6-RP (master) 0 SAD15270129 0.1 CARD_READY
0/RP1 NC6-RP (slave) 1 SAD1527012P 0.1 CARD_READY
0/FC0 NC6-FC 8 SAD1618002F 0.2 WAIT_DEV_INIT
0/FC1 NC6-FC 9 SAD153901ZT 0.2 WAIT_DEV_INIT
0/FC4 NC6-FC 12 SAL1803KQEY 1.0 PON_POWERING_UP
0/FC5 NC6-FC 13 SAD16180043 0.2 WAIT_DEV_INIT
0/0 NC6-10X100G-M-K 16 SAL1650UCN9 0.4 PXE_BOOTING
0/4 NC6-10X100G-M-K 20 SAD154502XU 0.1 CARD_READY
Voici les différents scénarios possibles. En outre, les résultats attendus et les prochaines étapes de dépannage sont répertoriés ici.
Carte de ligne enregistrée comme prévu
sysadmin-vm:F0_SC0# show platform detail location 0/0
Platform Information for 0/0
PID : NC6-10X100G-M-P
Description : "NCS 6000 10x100G Multi-Service CXP"
VID/SN : V01
HW Oper State : OPERATIONAL
SW Oper State : OPERATIONAL
Configuration : "NSHUT RST"
HW Version : 1.0
Last Event : HW_EVENT_OK
Last Event Reason : "Initial discovered state:BOOTED (card ok)"
La sortie de Last Event et Last Event Reason indique que la carte est correcte. Exécutez la commande show reboot history afin de valider si cette carte spécifique avait des problèmes dans le passé et si oui, quel était le problème.
sysadmin-vm:F0_SC0# show reboot-history card location 0/0
Card Reboot History for 0/0
0
Timestamp "Fri Oct 2 15:15:26 2015"
Reason Code 7
Reason "Install Activate System Reload"
Src Location ""
Src Name INSTALL
Timestamp "Tue Sep 8 18:56:29 2015"
Reason Code 7
Reason "ADMIN CLI RELOAD ROUTER GRACEFUL"
Src Location ""
Src Name "CONFD USER"
Aborted: by user
La carte de ligne 0/0 est opérationnelle et la raison du dernier rechargement a été l'installation, ce qui signifie essentiellement que l'installation de la mise à jour de maintenance logicielle (SMU) ou la mise à niveau logicielle a été effectuée. Ceci est attendu et il n'y a donc pas eu de problème avec cette carte.
La carte de matrice ne peut pas démarrer en raison d'une erreur de pilote
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/FC2 UNKNOWN FAILED N/A NSHUT <-
sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2
Card Reboot History for 0/FC2
Timestamp "Thu Oct 9 12:10:22 2014"
Reason Code 15 <--
"Board reload as devices not up on Fabric Card"
Src Location 0/FC0
Src Name FAM_AGENT_CALV_DRIVER_SFE ß
Dans cet exemple, la carte FC n'a pas démarré car le sfe_driver n'a pas été initialisé correctement.
Exécutez quelques commandes supplémentaires afin d'afficher l'historique de réinitialisation du point de vue de la CCC. L'interface de ligne de commande reboot-history peut être utilisée conjointement à l'interface de ligne de commande reset-history du pilote CCC pour déterminer la source et la raison du rechargement de la carte.
Il peut y avoir deux options :
Onboard - Utilisez cette option pour rechercher des informations si la carte a été réinitialisée à chaud (seul le processeur a été rechargé).
Onchip - Utilisez cette option pour rechercher des informations si la carte est passée par Cold Reset (Carte entièrement rechargée - Réinitialisation matérielle).
Exemple :
sysadmin-vm:F0_SC0# show controller ccc reset-history on
Possible completions:
onboard CCC Reset history in onboard EEPROM detail information
onchip On-chip reset history entries since last CCC Cold Reset
sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0
****************************************************
*** On Chip Reset History for location 0/0 ***
****************************************************
TimeofDay : Tue Oct 20 17:17:40 2015
Uptime : 18 days 02:01:59 <--
Resets : 2
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 2015/10/02 15:15:43
1 ColdRst DeAssrtHR 2015/10/02 15:15:50 --> List reset source as "ColdRst"
sysadmin-vm:F0_SC0# show controller ccc reset-history onboard location 0/0
*****************************************************
*** On Board Reset History for location 0/0 ***
*****************************************************
Scratch EEPROM Magic : PON
Scratch EEPROM Version : 0x00014000
Reset History Magic : HIST
Number of Resets : 102 <---
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 1970/01/01 0:00:00 <-- ColdRst
1 ColdRst DeAssrtHR 1970/01/01 0:00:06
2 ColdRst AssrtHR 1970/01/01 0:00:00
3 ColdRst DeAssrtHR 1970/01/01 0:00:06
4 WarmRst AssrtHR 1970/05/03 7:21:55 <-- WarmRst
<output omitted>
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.
En outre, deux entrées uniques par opération de réinitialisation sont exécutées. Une opération AssrtHR et une opération DeAssrtHR. Cela implique qu'un signal de réinitialisation a été affirmé, puis désactivé, par conséquent, la puce terminera la réinitialisation.
Prenez note des horodatages de chacune de ces opérations. Cette interface de ligne de commande peut être combinée à l'interface de ligne de commande État de l'inventaire de CCC pour déterminer quand la réinitialisation s'est produite et combien de temps la carte a été activée ou désactivée.
Ensuite, vérifiez l'étape CCC de cette carte au moment de son rechargement. Voici différents exemples d'état :
Carte démarrée correctement du point de vue de la CCC :
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:55.234 WAIT_BOOT_IMAGE ev_boot_ssd_image
10/02 15:16:54.233 BIOS_STARTED if_wait_ssd_image_booting
10/02 15:16:54.233 CPU_READY if_bios_started
10/02 15:16:54.231 OIR_INSERT_NOTIF if_cpu_is_ready
10/02 15:16:54.217 CCC_DRIVER_INIT if_oir_insert_notif_not_done
10/02 15:16:54.195 PON_POWERED_ON to_ccc_driver_init
10/02 15:16:54.195 CHECK_CCC_STATUS if_pon_powered_on
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
Carte actuellement au stade PXE_BOOTING :
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
CCC Card Event History for: 0/3
Current State: PXE_BOOTING
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/07 19:50:40.607 BIOS_STARTED if_internal_pxe_booting
08/07 19:50:40.607 WAIT_BIOS_START ev_bios_started
08/07 19:50:18.605 CPU_READY if_bios_not_started
08/07 19:50:18.595 CCC_DRIVER_INIT if_cpu_is_ready
08/07 19:50:18.568 PON_POWERED_ON to_ccc_driver_init
08/07 19:50:18.568 CHECK_CCC_STATUS if_pon_powered_on
08/07 19:50:18.567 GET_CCC_INFO ev_get_ccc_info_done
08/07 19:50:18.550 WAIT_ETH_READY ev_eth_ready
08/07 19:50:18.550 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/07 19:50:18.517 PON_UP_WARM ev_ccc_reset_done
08/07 19:50:12.627 PON_DOWN_WARM ev_pon_up_warm
08/07 19:50:08.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:07.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:06.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:05.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:04.238 PON_DOWN_WARM ev_warm_reset_req_ignored
Carte impossible à démarrer en raison d'une puce bloquée dans GET_CCC_INFO :
sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6
CCC Card Event History for: 3/6
Card Event History as seen by Master (3/RP0)
Current State: GET_CCC_INFO
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/26 23:43:04.559 UBLAZE_NOT_READY ev_timer_expired
10/26 23:42:34.559 CHECK_UBLAZE_BOOT ev_timer_expired
10/26 23:42:24.528 WAIT_CCC_READY ev_ccc_ready
10/26 23:42:21.516 RECOVERY_RESET ev_timer_expired
10/26 23:42:03.516 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:41:52.480 WAIT_CCC_READY ev_ccc_ready
10/26 23:41:49.468 RECOVERY_RESET ev_timer_expired
10/26 23:41:32.467 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:29.456 RECOVERY_RESET ev_timer_expired
10/26 23:41:13.455 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:10.444 RECOVERY_RESET ev_timer_expired
10/26 23:40:55.444 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:40:55.439 WAIT_CCC_READY ev_ccc_ready
10/26 23:40:52.320 IDLE ev_presence_scan
Carte impossible à démarrer en raison de l'état POWER_UP_FAILED :
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2
CCC Card Event History for: 0/2
Current State: POWER_UP_FAILED
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/05 14:55:17.449 POWER_UP_FAILED ev_wdog_timeout
08/05 14:45:31.265 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:45:31.260 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:45:31.258 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:45:31.223 WAIT_ETH_READY ev_eth_ready
08/05 14:45:31.157 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:45:31.124 PON_UP_WARM ev_ccc_reset_done
08/05 14:45:17.489 CCC_IN_RESET ev_pon_up_warm
08/05 14:45:08.921 POWER_UP_FAILED ev_pon_down_warm
08/05 14:35:07.152 POWER_UP_FAILED ev_wdog_timeout
08/05 14:25:20.946 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:25:20.941 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:25:20.939 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:25:20.923 WAIT_ETH_READY ev_eth_ready
08/05 14:25:20.887 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:25:20.830 PON_UP_WARM ev_ccc_reset_done
Aborted: by user
Si vous utilisez cette commande avec l'option brief, elle ne fournit pas de données complètes relatives à la cause première des problèmes. Pour cela, remplacez le mot clé brief par detail.
Note: Il s'agit de l'interface de ligne de commande la plus importante lorsque les cartes de dépannage ne démarrent pas au niveau CCC.
Concentrez-vous sur la description de l'événement et la raison de l'échec pour obtenir une meilleure explication sur l'échec.
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
Current State: CARD_READY
EVENT #: 12 (record index = 12)
TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
STATE: WAIT_BOOT_IMAGE
EVENT: ev_boot_ssd_image
EVENT DESC: SSD image is booting
EVENT #: 11 (record index = 11)
TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
STATE: BIOS_STARTED
EVENT: if_wait_ssd_image_booting
EVENT #: 10 (record index = 10)
TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
STATE: CPU_READY
EVENT: if_bios_started
EVENT #: 9 (record index = 9)
TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
STATE: OIR_INSERT_NOTIF
EVENT: if_cpu_is_ready
EVENT #: 8 (record index = 8)
TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
STATE: CCC_DRIVER_INIT
EVENT: if_oir_insert_notif_not_done
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
EVENT #: 6 (record index = 6)
TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
STATE: CHECK_CCC_STATUS
Voici des exemples de sorties de différents scénarios.
Carte qui n'a pas démarré en raison de problèmes d'alimentation et qui est bloquée dans POWER_UP_FAILED :
Faites attention à ERROR_INFO pour obtenir des détails sur l'échec.
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2
CCC Card Event History for: 0/2
Event buffer info:
Total number of events recorded: 692
Number of events available for display: 255
Current State: POWER_UP_FAILED
EVENT #: 691 (record index = 179)
TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
STATE: POWER_UP_FAILED
EVENT: ev_wdog_timeout
EVENT DESC: CCC watchdog timeout event
ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0
<output omitted>
Carte qui n'a pas démarré et qui est bloquée dans CCC_NOT_READY (problème de puce) :
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
CCC Card Event History for: 0/FC2
Event buffer info:
Total number of events recorded: 2
Number of events available for display: 2
Current State: CCC_NOT_READY
EVENT #: 1 (record index = 1)
TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
STATE: WAIT_CCC_READY
EVENT: ev_ccc_ready_timeout
EVENT DESC: Timeout waiting for CCC to be ready
ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
<output omitted>
Dans certains cas, les cartes doivent être retirées/réinsérées. Pour cela, le composant CCC fournit l'historique OIR pour l'insertion/retrait de la carte de suivi de rack donnée. Notez que le mot clé esclave est utilisé. Vous obtiendrez ainsi des informations sur le RP de secours.
sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Master (0/RP0)- View from the Active RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
10/09 16:59:14.280 INSERTED 0/0 NC6-10X100G-M-K SAL1650UCN9
10/09 16:58:49.064 REMOVED 0/0 NC6-10X100G-M-K SAL1650UCN9
<output omitted>
sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
11/06 05:54:31.374 DISCOVERED 0/2 NC6-10X100G-M-K SAD161300XK
11/06 05:53:37.442 DISCOVERED 0/6 NC6-10X100G-M-K SAL1649TN46
<output omitted>
Les informations doivent être identiques du point de vue du RP.
L'utilisation de cette combinaison de commandes permet de déterminer la cause première de l'échec de démarrage de la carte de matrice.
Carte bloquée dans POWEROFF ou PRESENT STATE
Si la carte est coincée dans POWEROFF/PRESENT STATE, il est très probable qu'elle ait été réinitialisée plusieurs fois et a été mise hors tension par Shel_mgr.
Émettez ces commandes afin de déterminer la cause principale du problème :
- Collecter show tech ctrace à partir de la machine virtuelle Sysadmin
- show platform detail location <>
- show reboot-history card location <> (déterminez le nombre de fois qu'il a passé le processus RESET)
- show controller ccc event-history detail location <>
- show controller ccc reset-history onboard location <>
La carte peut être réinitialisée avec l'utilisation de la commande hw-module reset et le processus de démarrage peut être observé avec l'utilisation de la procédure rconsole expliquée plus loin dans ce document.
sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes
Carte bloquée dans l'état POWER_ON
Si la carte est coincée POWERED_ON, cela signifie que CCC a activé les zones d'alimentation de base nécessaires aux autres pilotes pour commencer leur travail. Il incombe aux pilotes respectifs de déplacer la carte vers un état opérationnel.
Le pilote SFE déplace les cartes FC à l'état opérationnel, après avoir détecté et initialisé tous ses périphériques internes sur cette carte également appelée ASIC.
Le pilote ESD déplace les cartes SC-SW et les LC de Scapa à l'état opérationnel (presque immédiatement, rien à vérifier/initialiser contrairement au pilote SFE).
Si la carte est coincée dans l'état POWERED_ON, cela signifie que l'un des pilotes ci-dessus a eu du mal à déplacer la carte vers l'état opérationnel. Le problème est plus souvent observé sur les cartes sans processeur. Ex : Cartes de matrice ou cartes de commutation SC (SC-SW).
La première étape consiste à vérifier la commande ccc event-history :
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
<output ommited>
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
Ensuite, validez les zones d'alimentation de base nécessaires :
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c
Register Register
Address Value
------------------------
0x4C 0x3 - zones 0 and 1 OK
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50
Register Register
Address Value
------------------------
0x50 0x3 - zone 0 and 1 Enabled
sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
Power detail : Zone information for 0/RP0:
---------------------------------------------------------
| Power Zone | Power Status | Power Contrl | Power Fault |
---------------------------------------------------------
| 0 | OK | SET | -- | - Power Status OK
| 1 | OK | SET | -- | - Power Status OK
sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
CCC IO Expander information for location: 0/0
------------------------------------------------------
Port 0: 0x3e
Port Bit I/O Val Bit Name
-------------------------------------
P0 0 O 0 Power Cycle
P0 1 I 1 FPGA OK
P0 2 I 1 uBlaze OK
P0 3 I 1 Clock OK
P0 4 I 1 Core Volt OK
P0 5 I 1 OTH Volt0 OK
P0 6 I 0 OTH Volt1 NOT OK
P0 7 I 0 OTH Volt2 NOT OK
Port 1: 0x3
Port Bit I/O Val Bit Name
-------------------------------------
P1 0 I 1 FPGA INIT OK
Si cette validation n'entraîne pas de cause première, l'étape suivante consiste à ouvrir une demande de service TAC.
Carte bloquée dans SW_INACTIVE STATE
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
--------------------------------------------------------------------- -------
0/1 P-L-10X100G-F-P POWERED_OFF SW_INACTIVE SHUT
0/RP0 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/FC0 P-L-FC-S OPERATIONAL N/A NSHUT
0/FC1 P-L-FC-S OPERATIONAL N/A NSHUT
0/FT0 PANINI-SIM-FT OPERATIONAL N/A NSHUT
0/FT1 PANINI-SIM-FT OPERATIONAL N/A NSHUT
Les raisons possibles de l'échec sont les suivantes :
- Le système d'exploitation hôte ne démarre pas en raison d'un problème d'accès SSD
- Démarrage du système d'exploitation hôte bloqué en raison d'un problème matériel
- Échec de la génération de la machine virtuelle SysAdmin
- Contrôler les problèmes de connexion Ethernet
- Carte MAC/IP non programmée en raison d'une défaillance logicielle
- Les commutateurs Ethernet ne sont pas programmés correctement par l'interpréteur de mise sous tension CCC
- L'image du commutateur couleur ESD n'a pas pu être programmée dans la mémoire flash SPI CCC
Scénario 1. SW_EVENT_FAILURE : SW_EVENT_ADMIN_VM_FAILURE Signalé par les syslogs de module de tablette_mgr
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 PROTO-CXP-2XPITA OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP OPERATIONAL SW_INACTIVE NSHUT
0/FC0 NC6-FC-MC OPERATIONAL N/A NSHUT
0/CI0 P-L-CRFT OPERATIONAL N/A NSHUT
0/FT0 P-L-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 P-L-FANTRAY OPERATIONAL N/A NSHUT
Il peut y avoir plusieurs raisons différentes pour lesquelles RP1 ne démarre pas. Le moyen le plus simple de découvrir le problème est de se connecter sur le RP et de vérifier les connexions (reportez-vous à la procédure rconsole qui se trouve en bas de ce document).
Scénario 2. LC coincé dans l'état FAILED, dernier événement : HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT
Assurez-vous que l'état du matériel affiche FAILED et que l'état du logiciel indique SW_INACTIVE :
sysadmin-vm:0_RP0# show platform location 0/1
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 NC6-60X10GE-M-S FAILED SW_INACTIVE NSHUT
Exécutez cette commande et cochez la case Dernière raison :
sysadmin-vm:0_RP0# show platform detail location 0/1
Platform Information for 0/1
PID : NC6-60X10GE-M-S
Description : "NCS 6000 60x10G Multi-Service SFP+"
VID/SN : V01
HW Oper State : FAILED
SW Oper State : SW_INACTIVE
Configuration : "NSHUT RST"
HW Version : 0.6
Last Event : HW_EVENT_FAILURE
Last Event Reason : "pon exit <-- UP_WARM_RESET cnt=123 fail_code=LC_POWER_MAIN_FAULT"
sysadmin-vm:0_RP0#
Filtrez syslog pour la carte affectée afin de vérifier les messages du journal :
0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit <-- UP_WARM_RESET cnt=4 fail_code=LC_POWER_MAIN_FAULT' for card 0/1
Exécutez la commande show reboot history et vérifiez s'il y a une différence de temps énorme entre les messages d'AssistantHR et de DeAssrtHR. Cela est probablement dû à un problème de connectivité interne entre les machines virtuelles.
sysadmin-vm:0_RP0#show reboot-history card location 0/1
Reset history example: every 20 mins for 2 hours before it recovered:
33 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
34 0 WarmRst AssrtHR 0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
35 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
36 0 WarmRst AssrtHR 0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014
Carte bloquée dans un état INCONNU
Lorsque la carte indique que l'état Admin est INCONNU, il est probable que la CCC n'a pas pu lire l'IDPROM à partir du tableau, par conséquent, la carte ne pourra pas terminer le démarrage. Dans de tels cas, exécutez ces commandes à l'emplacement indiqué :
RP/0/RP0/CPU0:A41-PE1#show platform
Node name Node type Node state Admin state Config state
-----------------------------------------------------------------------------------
0/RP1 NC6-RP OPERATIONAL UNKNOWN
0/FC1 NC6-FC OPERATIONAL UNKNOWN
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
L'étape suivante consiste à vérifier si CCC s'exécute sur le LC au moment du processus de démarrage avec l'utilisation de rconsole :
1. Collecter l'ID de processus dans SysadminVM :
sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0
----------------------------------------------------------------------
PID: 2525
Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/sbin/ccc_driver
Instance #: 0
Respawn: ON
Respawn count: 1
Max. spawns per 4 mins: 4
Last started: 10/02/2015 15:17:23.000
Process state: Run
startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/etc/startup/ccc_driver.startup
Ready: 5s
2. Raccordez-vous au LC à l'aide des commandes suivantes :
sysadmin-vm:F0_SC0# attach location 0/RP0
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Got card info from CCC-driver for slot 16
IOS Build Date : 04/22/2015 by lchinnad
System Memory Speed : 1334 MHz
Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
Press F12 to goto Boot Manager..
Booting System Host OS..
Waiting For CCC Valid Time of Day..
Waiting For CCC Valid Time of Day..
CCC Time: Fri Oct 2 15:16:54 2015
GNU GRUB version 2.00
Press F2 to goto grub Menu..
Booting from Disk..
Loading Kernel..
Loading initrd..
[ 1.949229] i8042: No controller found
Starting udev: [ OK ]
Switching to new root and running init.
Starting udev: [ OK ]
Actual changes:
large-receive-offload: off [requested on]
ntuple-filters: on
Setting hostname host: [ OK ]
Checking filesystems:[ OK ]
Entering non-interactive startup
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
[FAILED]
Starting system logger: [ OK ]
Starting kernel logger: [ OK ]
Starting kdump:[ OK ]
Starting system message bus: [ OK ]
Starting smartd: [ OK ]
Generating SSH1 RSA host key: [ OK ]
Generating SSH2 RSA host key: [ OK ]
Generating SSH2 DSA host key: [ OK ]
Starting sshd: [ OK ]
Starting xinetd: [ OK ]
Starting crond: [ OK ]
Starting libvirtd daemon: [ OK ]
Starting NCS6k programs for LC on hostos: [ OK ]
mcelog start/running, process 2637
Creating default host password file
serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
host login: root
Password:
[host:~]$
[host:~]$
[host:~]$ telnet 0 50001 <-- to get to Calvados
Trying 0.0.0.0...
Connected to 0.
Escape character is '^]'.
sysadmin-vm:0_0 login:
sysadmin-vm:0_0 login: root
Password:
[sysadmin-vm:0_0:~]$ pgrep ccc <- use pgrep to check if the process is running
2525
[sysadmin-vm:0_0:~]$ exit
logout
Utiliser l'outil RCONSOLE
Lorsque les cartes ne peuvent pas démarrer, le NCS6008 fournit une fonctionnalité intégrée qui permet d'exécuter une console distante sur la carte et de voir la raison pour laquelle la carte est bloquée et ne peut pas démarrer. Cette fonctionnalité est appelée RCONSOLE et voici un exemple de son utilisation.
Procédure à suivre sur une LC spécifique :
- Accédez à SysadminVM
- Attacher au RP actif.
- Passer à global VRF chvrf 0 bash
- Exécuter /opt/cisco/calvados/sbin/rconsole -l (carte de ligne)
Exemple :
RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole
Tue Oct 20 18:23:54.740 UTC
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Cette procédure est largement utilisée par le centre d'assistance technique pour déterminer l'état actuel de la carte et vérifier où elle est coincée.
Liste des commandes à collecter avant d'ouvrir un dossier TAC
VM XR :
Afficher la plate-forme
show install active
show version
Afficher l'emplacement de l'historique de redémarrage 0/0/cpu0
dir misc/disk1
show cli history detail
show log
show tech-support npu
VM d'administration système :
show platform detail
show platform slices
show install active
show sdr default-sdr reboot-history
show reboot-history card location <>
show controller ccc reset-history onbo loc <>
show controller ccc reset-history onch loc <>
show controller ccc event-history detail location <>
show tech-support ccc
show tech-support Hbloss
show tech-support slice_manager
show tech-support ctrace
show tech-support sdr_mgr
show log
Contribution d’experts de Cisco
- Andre PedroCisco TAC Engineer
CommentairesContacter Cisco
- Ouvrir un dossier d’assistance
- (Un contrat de service de Cisco est requis)