Contenu

Introduction

Conditions préalables

Conditions requises

Components Used

Informations générales

Dépannage

Carte de ligne enregistrée comme prévu

La carte de matrice ne peut pas démarrer en raison d'une erreur de pilote

Carte bloquée dans POWEROFF ou PRESENT STATE

Carte bloquée dans l'état POWER_ON

Carte bloquée dans SW_INACTIVE STATE

Scénario 1. SW_EVENT_FAILURE : SW_EVENT_ADMIN_VM_FAILURE Signalé par les syslogs de module de tablette_mgr

Scénario 2. LC coincé dans l'état FAILED, dernier événement : HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

Carte bloquée dans un état INCONNU

Utiliser l'outil RCONSOLE

Liste des commandes à collecter avant d'ouvrir un dossier TAC

Introduction

Ce document décrit comment dépanner les échecs de démarrage de la carte de ligne Network Convergence System 6000 (NCS6K). De plus, il donne un aperçu des données qui peuvent être recueillies et qui peuvent aider le TAC à mener une enquête détaillée.

Conditions préalables

Conditions requises

Cisco vous recommande d'avoir une connaissance de base de l'interface de ligne de commande (CLI) XR.

Components Used

Ce document a été créé à l'aide des versions 5.0.1, 5.2.1, 5.2.3 et 5.2.4 de XR.

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

Informations générales

Si le processeur de routage (RP), la carte de fabric (FC) ou la carte de ligne (LC) ne démarre pas et ne se bloque pas dans l'étape de démarrage, la première étape doit être de commencer à collecter show tech ctrace à partir de la machine virtuelle Syadmin. Ce show tech fournit des informations sur l'état actuel du système et l'interaction entre les différents composants. Cependant, il y a une chance que Sysadmin aussi connu sous le nom de Calvados n'est pas sur la carte et show tech ctrace ne sera pas en mesure de collecter des informations pour la carte concernée. Cela se produira car la carte n'est pas accessible via Secure Shell (SSH). Dans de tels cas, une procédure de console sera nécessaire pour savoir pourquoi la carte est bloquée au moment du processus de démarrage.

Note: Ce fichier est généralement assez volumineux (500 Mo-1 Go) et sera stocké sur la machine virtuelle Sysadmin. Pour l'extraire de la zone, il doit être copié dans la machine virtuelle XR (instructions fournies plus loin dans le même document).

Dépannage

Vérifiez l'état de chaque carte sur la machine virtuelle Sysadmin et découvrez son état actuel. Prêtez une attention particulière à l'état des équipements et des équipements. Notez que les cartes qui affichent l'état S/W comme N/A sont des cartes CPU moins (cartes FC, unité de ventilation, etc.) qui sont essentiellement contrôlées par le processeur RP. Les cartes en état de fonctionnement sont des cartes basées sur le processeur et ont donc le logiciel chargé.

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/0       PROTO-CXP-1XPITA        OPERATIONAL   OPERATIONAL   NSHUT

0/2       PROTO-CXP-2XPITA        POWERED_OFF   SW_INACTIVE   NSHUT

0/3       NC6-10X100G-M-K         OPERATIONAL   OPERATIONAL   NSHUT

0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     NC6-RP                  POWERED_ON    SW_INACTIVE   NSHUT

0/FC0     NC6-FC                  POWERED_ON    N/A           NSHUT

0/FC1     NC6-FC-MC               POWERED_ON    N/A           NSHUT

0/FC2     UNKNOWN                 FAILED        N/A           NSHUT

0/FC3     NC6-FC                  POWERED_ON    N/A           NSHUT

0/FC4     NC6-FC-B2B              POWERED_ON    N/A           NSHUT

0/FC5     NC6-FC                  OPERATIONAL   N/A           NSHUT

0/FT0     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT

0/FT1     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT

0/PT0     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

0/PT1     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

0/PT2     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

L'étape suivante consiste à vérifier la commande d'inventaire de Card Chip Controller (CCC) et à confirmer l'état de la carte.

sysadmin-vm:0_RP0# show controller ccc inventory summary

CCC Inventory Summary :

BP                   HW

Location Card Type               ID    Serial Number  Ver   Card State

--------------------------------------------------------------------------------

0/RP0    NC6-RP (master)         0     SAD15270129    0.1   CARD_READY

0/RP1    NC6-RP (slave)          1     SAD1527012P    0.1   CARD_READY

0/FC0    NC6-FC                  8     SAD1618002F    0.2   WAIT_DEV_INIT

0/FC1    NC6-FC                  9     SAD153901ZT    0.2   WAIT_DEV_INIT

0/FC4    NC6-FC                  12    SAL1803KQEY    1.0   PON_POWERING_UP

0/FC5    NC6-FC                  13    SAD16180043    0.2   WAIT_DEV_INIT

0/0      NC6-10X100G-M-K         16    SAL1650UCN9    0.4   PXE_BOOTING

0/4      NC6-10X100G-M-K         20    SAD154502XU    0.1   CARD_READY

Voici les différents scénarios possibles.  En outre, les résultats attendus et les prochaines étapes de dépannage sont répertoriés ici.

Carte de ligne enregistrée comme prévu

sysadmin-vm:F0_SC0# show platform detail location 0/0

Platform Information for 0/0

PID :               NC6-10X100G-M-P

Description :       "NCS 6000 10x100G Multi-Service CXP"

VID/SN :            V01

HW Oper State :     OPERATIONAL

SW Oper State :     OPERATIONAL

Configuration :     "NSHUT RST"

HW Version :        1.0

Last Event :        HW_EVENT_OK

Last Event Reason : "Initial discovered state:BOOTED (card ok)"

La sortie de Last Event et Last Event Reason indique que la carte est correcte. Exécutez la commande show reboot history afin de valider si cette carte spécifique avait des problèmes dans le passé et si oui, quel était le problème.

sysadmin-vm:F0_SC0# show reboot-history card location 0/0

Card Reboot History for 0/0

0

Timestamp    "Fri Oct  2 15:15:26 2015"

Reason Code  7

Reason       "Install Activate System Reload"

Src Location ""

Src Name     INSTALL

Timestamp    "Tue Sep  8 18:56:29 2015"

Reason Code  7

Reason       "ADMIN CLI RELOAD ROUTER GRACEFUL"

Src Location ""

Src Name     "CONFD USER"

Aborted: by user

La carte de ligne 0/0 est opérationnelle et la raison du dernier rechargement a été l'installation, ce qui signifie essentiellement que l'installation de la mise à jour de maintenance logicielle (SMU) ou la mise à niveau logicielle a été effectuée. Ceci est attendu et il n'y a donc pas eu de problème avec cette carte.

La carte de matrice ne peut pas démarrer en raison d'une erreur de pilote

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/FC2     UNKNOWN                 FAILED        N/A           NSHUT <-

sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2

Card Reboot History for 0/FC2

Timestamp    "Thu Oct  9 12:10:22 2014"

Reason Code  15  <--

"Board reload as devices not up on Fabric Card"

Src Location 0/FC0

Src Name     FAM_AGENT_CALV_DRIVER_SFE ß

Dans cet exemple, la carte FC n'a pas démarré car le sfe_driver n'a pas été initialisé correctement.

Exécutez quelques commandes supplémentaires afin d'afficher l'historique de réinitialisation du point de vue de la CCC. L'interface de ligne de commande reboot-history peut être utilisée conjointement à l'interface de ligne de commande reset-history du pilote CCC pour déterminer la source et la raison du rechargement de la carte.

Il peut y avoir deux options :

Onboard - Utilisez cette option pour rechercher des informations si la carte a été réinitialisée à chaud (seul le processeur a été rechargé).

Onchip - Utilisez cette option pour rechercher des informations si la carte est passée par Cold Reset (Carte entièrement rechargée - Réinitialisation matérielle).

Exemple :

sysadmin-vm:F0_SC0# show controller ccc reset-history on

Possible completions:

onboard   CCC Reset history in onboard EEPROM detail information

onchip    On-chip reset history entries since last CCC Cold Reset

sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0

****************************************************

***   On Chip Reset History for location 0/0   ***

****************************************************

TimeofDay    : Tue Oct 20 17:17:40 2015

Uptime       : 18 days 02:01:59 <--

Resets       : 2

Reset           Reset        Reset

idx Source          Command      Time

--- --------------- ------------ -------------------

0   ColdRst         AssrtHR      2015/10/02 15:15:43

1   ColdRst         DeAssrtHR    2015/10/02 15:15:50 --> List reset source as "ColdRst"

sysadmin-vm:F0_SC0# show controller ccc reset-history onboard  location 0/0

*****************************************************

***   On Board Reset History for location 0/0   ***

*****************************************************

Scratch EEPROM Magic   : PON

Scratch EEPROM Version : 0x00014000

Reset History Magic    : HIST

Number of Resets       : 102    <---

Reset           Reset        Reset

idx Source          Command      Time

--- --------------- ------------ -------------------

0   ColdRst         AssrtHR      1970/01/01  0:00:00 <-- ColdRst

1   ColdRst         DeAssrtHR    1970/01/01  0:00:06

2   ColdRst         AssrtHR      1970/01/01  0:00:00

3   ColdRst         DeAssrtHR    1970/01/01  0:00:06

4   WarmRst         AssrtHR      1970/05/03  7:21:55 <-- WarmRst

<output omitted>

ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.

En outre, deux entrées uniques par opération de réinitialisation sont exécutées. Une opération AssrtHR et une opération DeAssrtHR. Cela implique qu'un signal de réinitialisation a été affirmé, puis désactivé, par conséquent, la puce terminera la réinitialisation.

Prenez note des horodatages de chacune de ces opérations. Cette interface de ligne de commande peut être combinée à l'interface de ligne de commande État de l'inventaire de CCC pour déterminer quand la réinitialisation s'est produite et combien de temps la carte a été activée ou désactivée.

Ensuite, vérifiez l'étape CCC de cette carte au moment de son rechargement. Voici différents exemples d'état :

Carte démarrée correctement du point de vue de la CCC :

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Current State: CARD_READY

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/02  15:16:55.234  WAIT_BOOT_IMAGE         ev_boot_ssd_image

10/02  15:16:54.233  BIOS_STARTED            if_wait_ssd_image_booting

10/02  15:16:54.233  CPU_READY               if_bios_started

10/02  15:16:54.231  OIR_INSERT_NOTIF        if_cpu_is_ready

10/02  15:16:54.217  CCC_DRIVER_INIT         if_oir_insert_notif_not_done

10/02  15:16:54.195  PON_POWERED_ON          to_ccc_driver_init

10/02  15:16:54.195  CHECK_CCC_STATUS        if_pon_powered_on

10/02  15:16:54.194  READ_IDPROM             ev_idprom_available

10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done

10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available

10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready

10/02  15:16:52.537  IDLE                    ev_presence_scan

Carte actuellement au stade PXE_BOOTING :

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3

CCC Card Event History for: 0/3

Current State: PXE_BOOTING

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

08/07  19:50:40.607  BIOS_STARTED            if_internal_pxe_booting

08/07  19:50:40.607  WAIT_BIOS_START         ev_bios_started

08/07  19:50:18.605  CPU_READY               if_bios_not_started

08/07  19:50:18.595  CCC_DRIVER_INIT         if_cpu_is_ready

08/07  19:50:18.568  PON_POWERED_ON          to_ccc_driver_init

08/07  19:50:18.568  CHECK_CCC_STATUS        if_pon_powered_on

08/07  19:50:18.567  GET_CCC_INFO            ev_get_ccc_info_done

08/07  19:50:18.550  WAIT_ETH_READY          ev_eth_ready

08/07  19:50:18.550  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/07  19:50:18.517  PON_UP_WARM             ev_ccc_reset_done

08/07  19:50:12.627  PON_DOWN_WARM           ev_pon_up_warm

08/07  19:50:08.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:07.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:06.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:05.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:04.238  PON_DOWN_WARM           ev_warm_reset_req_ignored

Carte impossible à démarrer en raison d'une puce bloquée dans GET_CCC_INFO :

sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6

CCC Card Event History for: 3/6

Card Event History as seen by Master (3/RP0)

Current State: GET_CCC_INFO

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/26  23:43:04.559  UBLAZE_NOT_READY        ev_timer_expired

10/26  23:42:34.559  CHECK_UBLAZE_BOOT       ev_timer_expired

10/26  23:42:24.528  WAIT_CCC_READY          ev_ccc_ready

10/26  23:42:21.516  RECOVERY_RESET          ev_timer_expired

10/26  23:42:03.516  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed

10/26  23:41:52.480  WAIT_CCC_READY          ev_ccc_ready

10/26  23:41:49.468  RECOVERY_RESET          ev_timer_expired

10/26  23:41:32.467  WAIT_CCC_READY          ev_no_fpga_ok_signal

10/26  23:41:29.456  RECOVERY_RESET          ev_timer_expired

10/26  23:41:13.455  WAIT_CCC_READY          ev_no_fpga_ok_signal

10/26  23:41:10.444  RECOVERY_RESET          ev_timer_expired

10/26  23:40:55.444  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed

10/26  23:40:55.439  WAIT_CCC_READY          ev_ccc_ready

10/26  23:40:52.320  IDLE                    ev_presence_scan

Carte impossible à démarrer en raison de l'état POWER_UP_FAILED :

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2

CCC Card Event History for: 0/2

Current State: POWER_UP_FAILED

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

08/05  14:55:17.449  POWER_UP_FAILED         ev_wdog_timeout

08/05  14:45:31.265  CCC_DRIVER_INIT         if_pwr_up_failed

08/05  14:45:31.260  CHECK_CCC_STATUS        if_pwr_up_failed_again

08/05  14:45:31.258  GET_CCC_INFO            ev_get_ccc_info_done

08/05  14:45:31.223  WAIT_ETH_READY          ev_eth_ready

08/05  14:45:31.157  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/05  14:45:31.124  PON_UP_WARM             ev_ccc_reset_done

08/05  14:45:17.489  CCC_IN_RESET            ev_pon_up_warm

08/05  14:45:08.921  POWER_UP_FAILED         ev_pon_down_warm

08/05  14:35:07.152  POWER_UP_FAILED         ev_wdog_timeout

08/05  14:25:20.946  CCC_DRIVER_INIT         if_pwr_up_failed

08/05  14:25:20.941  CHECK_CCC_STATUS        if_pwr_up_failed_again

08/05  14:25:20.939  GET_CCC_INFO            ev_get_ccc_info_done

08/05  14:25:20.923  WAIT_ETH_READY          ev_eth_ready

08/05  14:25:20.887  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/05  14:25:20.830  PON_UP_WARM             ev_ccc_reset_done

Aborted: by user

Si vous utilisez cette commande avec l'option brief, elle ne fournit pas de données complètes relatives à la cause première des problèmes. Pour cela, remplacez le mot clé brief par detail.

Note: Il s'agit de l'interface de ligne de commande la plus importante lorsque les cartes de dépannage ne démarrent pas au niveau CCC.

Concentrez-vous sur la description de l'événement et la raison de l'échec pour obtenir une meilleure explication sur l'échec.

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Event buffer info:

Total number of events recorded: 13

Number of events available for display: 13

Current State: CARD_READY

EVENT #: 12 (record index = 12)

TIMESTAMP: 2015/10/02 15:16:55.234814 UTC

STATE: WAIT_BOOT_IMAGE

EVENT: ev_boot_ssd_image

EVENT DESC: SSD image is booting

EVENT #: 11 (record index = 11)

TIMESTAMP: 2015/10/02 15:16:54.233898 UTC

STATE: BIOS_STARTED

EVENT: if_wait_ssd_image_booting

EVENT #: 10 (record index = 10)

TIMESTAMP: 2015/10/02 15:16:54.233855 UTC

STATE: CPU_READY

EVENT: if_bios_started

EVENT #: 9 (record index = 9)

TIMESTAMP: 2015/10/02 15:16:54.231426 UTC

STATE: OIR_INSERT_NOTIF

EVENT: if_cpu_is_ready

EVENT #: 8 (record index = 8)

TIMESTAMP: 2015/10/02 15:16:54.217351 UTC

STATE: CCC_DRIVER_INIT

EVENT: if_oir_insert_notif_not_done

EVENT #: 7 (record index = 7)

TIMESTAMP: 2015/10/02 15:16:54.195808 UTC

STATE: PON_POWERED_ON

EVENT: to_ccc_driver_init

EVENT #: 6 (record index = 6)

TIMESTAMP: 2015/10/02 15:16:54.195786 UTC

STATE: CHECK_CCC_STATUS

Voici des exemples de sorties de différents scénarios.

Carte qui n'a pas démarré en raison de problèmes d'alimentation et qui est bloquée dans POWER_UP_FAILED :

Faites attention à ERROR_INFO pour obtenir des détails sur l'échec.

sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2

CCC Card Event History for: 0/2

Event buffer info:

Total number of events recorded: 692

Number of events available for display: 255

Current State: POWER_UP_FAILED

EVENT #: 691 (record index = 179)

TIMESTAMP: 2014/08/05 14:55:17.449979 UTC

STATE: POWER_UP_FAILED

EVENT: ev_wdog_timeout

EVENT DESC: CCC watchdog timeout event

ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0

<output omitted>

Carte qui n'a pas démarré et qui est bloquée dans CCC_NOT_READY (problème de puce) :

sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2

CCC Card Event History for: 0/FC2

Event buffer info:

Total number of events recorded: 2

Number of events available for display: 2

Current State: CCC_NOT_READY

EVENT #: 1 (record index = 1)

TIMESTAMP: 2014/08/04 14:10:49.891845 UTC

STATE: WAIT_CCC_READY

EVENT: ev_ccc_ready_timeout

EVENT DESC: Timeout waiting for CCC to be ready

ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß

<output omitted>

Dans certains cas, les cartes doivent être retirées/réinsérées. Pour cela, le composant CCC fournit l'historique OIR pour l'insertion/retrait de la carte de suivi de rack donnée. Notez que le mot clé esclave est utilisé. Vous obtiendrez ainsi des informations sur le RP de secours.

sysadmin-vm:0_RP0# show controller ccc oir-history rack 0

Cards OIR History of rack: 0

OIR Events as seen by Master (0/RP0)-  View from the Active RP

DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO

-----  ------------   ----------   -----   ------------------   -----------

10/09  16:59:14.280   INSERTED     0/0     NC6-10X100G-M-K     SAL1650UCN9

10/09  16:58:49.064   REMOVED      0/0     NC6-10X100G-M-K     SAL1650UCN9

<output omitted>

sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0

Cards OIR History of rack: 0

OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP

DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO

-----  ------------   ----------   -----   ------------------   -----------

11/06  05:54:31.374   DISCOVERED   0/2     NC6-10X100G-M-K     SAD161300XK

11/06  05:53:37.442   DISCOVERED   0/6     NC6-10X100G-M-K      SAL1649TN46

<output omitted>

Les informations doivent être identiques du point de vue du RP.

L'utilisation de cette combinaison de commandes permet de déterminer la cause première de l'échec de démarrage de la carte de matrice.

Carte bloquée dans POWEROFF ou PRESENT STATE

Si la carte est coincée dans POWEROFF/PRESENT STATE, il est très probable qu'elle ait été réinitialisée plusieurs fois et a été mise hors tension par Shel_mgr.

Émettez ces commandes afin de déterminer la cause principale du problème :

1. Collecter show tech ctrace à partir de la machine virtuelle Sysadmin

2. show platform detail location <>

3. show reboot-history card location <> (déterminez le nombre de fois qu'il a passé le processus RESET)

4. show controller ccc event-history detail location <>

5. show controller ccc reset-history onboard location <>

La carte peut être réinitialisée avec l'utilisation de la commande hw-module reset et le processus de démarrage peut être observé avec l'utilisation de la procédure rconsole expliquée plus loin dans ce document.

sysadmin-vm:F0_SC0# hw-module location 0/0 reload

Reload hardware module ? [no,yes] Yes

Carte bloquée dans l'état POWER_ON

Si la carte est coincée POWERED_ON, cela signifie que CCC a activé les zones d'alimentation de base nécessaires aux autres pilotes pour commencer leur travail. Il incombe aux pilotes respectifs de déplacer la carte vers un état opérationnel.

Le pilote SFE déplace les cartes FC à l'état opérationnel, après avoir détecté et initialisé tous ses périphériques internes sur cette carte également appelée ASIC.

Le pilote ESD déplace les cartes SC-SW et les LC de Scapa à l'état opérationnel (presque immédiatement, rien à vérifier/initialiser contrairement au pilote SFE).

Si la carte est coincée dans l'état POWERED_ON, cela signifie que l'un des pilotes ci-dessus a eu du mal à déplacer la carte vers l'état opérationnel. Le problème est plus souvent observé sur les cartes sans processeur. Ex : Cartes de matrice ou cartes de commutation SC (SC-SW).

La première étape consiste à vérifier la commande ccc event-history :

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Event buffer info:

Total number of events recorded: 13

Number of events available for display: 13

<output ommited>

EVENT #: 7 (record index = 7)

TIMESTAMP: 2015/10/02 15:16:54.195808 UTC

STATE: PON_POWERED_ON

EVENT: to_ccc_driver_init

Ensuite, validez les zones d'alimentation de base nécessaires :

sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c

Register    Register

Address     Value

------------------------

0x4C        0x3           - zones 0 and 1 OK

sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50

Register    Register

Address     Value

------------------------

0x50        0x3           - zone 0 and 1 Enabled

sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0

Power detail : Zone information for 0/RP0:

---------------------------------------------------------

| Power Zone | Power Status | Power Contrl | Power Fault |

---------------------------------------------------------

|   0        |   OK         |   SET        |   --        |  - Power Status OK

|   1        |   OK         |   SET        |   --        |  - Power Status OK

sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0

CCC IO Expander information for location: 0/0

------------------------------------------------------

Port 0: 0x3e

Port Bit I/O Val Bit Name

-------------------------------------

P0   0   O   0   Power Cycle

P0   1   I   1   FPGA OK

P0   2   I   1   uBlaze OK

P0   3   I   1   Clock OK

P0   4   I   1   Core Volt OK

P0   5   I   1   OTH Volt0 OK

P0   6   I   0   OTH Volt1 NOT OK

P0   7   I   0   OTH Volt2 NOT OK

Port 1: 0x3

Port Bit I/O Val Bit Name

-------------------------------------

P1   0   I   1   FPGA INIT OK

Si cette validation n'entraîne pas de cause première, l'étape suivante consiste à ouvrir une demande de service TAC.

Carte bloquée dans SW_INACTIVE STATE

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

--------------------------------------------------------------------- -------

0/1       P-L-10X100G-F-P         POWERED_OFF   SW_INACTIVE   SHUT

0/RP0     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/FC0     P-L-FC-S                OPERATIONAL   N/A           NSHUT

0/FC1     P-L-FC-S                OPERATIONAL   N/A           NSHUT

0/FT0     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

0/FT1     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

Les raisons possibles de l'échec sont les suivantes :

- Le système d'exploitation hôte ne démarre pas en raison d'un problème d'accès SSD

- Démarrage du système d'exploitation hôte bloqué en raison d'un problème matériel

- Échec de la génération de la machine virtuelle SysAdmin

- Contrôler les problèmes de connexion Ethernet

- Carte MAC/IP non programmée en raison d'une défaillance logicielle

- Les commutateurs Ethernet ne sont pas programmés correctement par l'interpréteur de mise sous tension CCC

- L'image du commutateur couleur ESD n'a pas pu être programmée dans la mémoire flash SPI CCC

Scénario 1. SW_EVENT_FAILURE : SW_EVENT_ADMIN_VM_FAILURE Signalé par les syslogs de module de tablette_mgr

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/1       PROTO-CXP-2XPITA        OPERATIONAL   OPERATIONAL   NSHUT

0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     NC6-RP                  OPERATIONAL   SW_INACTIVE   NSHUT

0/FC0     NC6-FC-MC               OPERATIONAL   N/A           NSHUT

0/CI0     P-L-CRFT                OPERATIONAL   N/A           NSHUT

0/FT0     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT

0/FT1     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT

Il peut y avoir plusieurs raisons différentes pour lesquelles RP1 ne démarre pas. Le moyen le plus simple de découvrir le problème est de se connecter sur le RP et de vérifier les connexions (reportez-vous à la procédure rconsole qui se trouve en bas de ce document).

Scénario 2. LC coincé dans l'état FAILED, dernier événement : HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

Assurez-vous que l'état du matériel affiche FAILED et que l'état du logiciel indique SW_INACTIVE :

sysadmin-vm:0_RP0# show platform location 0/1

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/1       NC6-60X10GE-M-S         FAILED        SW_INACTIVE   NSHUT

Exécutez cette commande et cochez la case Dernière raison :

sysadmin-vm:0_RP0# show platform detail location 0/1

Platform Information for 0/1

PID :               NC6-60X10GE-M-S

Description :       "NCS 6000 60x10G Multi-Service SFP+"

VID/SN :            V01

HW Oper State :     FAILED

SW Oper State :     SW_INACTIVE

Configuration :     "NSHUT RST"

HW Version :        0.6

Last Event :        HW_EVENT_FAILURE

Last Event Reason : "pon exit  <-- UP_WARM_RESET cnt=123  fail_code=LC_POWER_MAIN_FAULT"

sysadmin-vm:0_RP0#

Filtrez syslog pour la carte affectée afin de vérifier les messages du journal :

0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.

0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7

0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1

0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED

0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1

0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1

0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.

0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED

0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit  <-- UP_WARM_RESET cnt=4  fail_code=LC_POWER_MAIN_FAULT' for card 0/1

Exécutez la commande show reboot history et vérifiez s'il y a une différence de temps énorme entre les messages d'AssistantHR et de DeAssrtHR. Cela est probablement dû à un problème de connectivité interne entre les machines virtuelles.

sysadmin-vm:0_RP0#show reboot-history card location 0/1

Reset history example: every 20 mins for 2 hours before it recovered:

33  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014

34  0    WarmRst      AssrtHR      0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014

35  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014

36  0    WarmRst      AssrtHR      0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014

Carte bloquée dans un état INCONNU

Lorsque la carte indique que l'état Admin est INCONNU, il est probable que la CCC n'a pas pu lire l'IDPROM à partir du tableau, par conséquent, la carte ne pourra pas terminer le démarrage. Dans de tels cas, exécutez ces commandes à l'emplacement indiqué :

RP/0/RP0/CPU0:A41-PE1#show platform

Node name         Node type             Node state       Admin state   Config state

-----------------------------------------------------------------------------------

0/RP1             NC6-RP                OPERATIONAL      UNKNOWN

0/FC1             NC6-FC                OPERATIONAL      UNKNOWN

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Current State: CARD_READY

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/02  15:16:54.194  READ_IDPROM             ev_idprom_available

10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done

10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available

10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready

10/02  15:16:52.537  IDLE                    ev_presence_scan

L'étape suivante consiste à vérifier si CCC s'exécute sur le LC au moment du processus de démarrage avec l'utilisation de rconsole :

1. Collecter l'ID de processus dans SysadminVM :

sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0

----------------------------------------------------------------------

PID: 2525

Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/sbin/ccc_driver

Instance #: 0

Respawn: ON

Respawn count: 1

Max. spawns per 4 mins: 4

Last started: 10/02/2015 15:17:23.000

Process state: Run

startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/etc/startup/ccc_driver.startup

Ready: 5s

2. Raccordez-vous au LC à l'aide des commandes suivantes :

sysadmin-vm:F0_SC0# attach location 0/RP0

[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash

[sysadmin-vm:0_RP0:~]$ chvrf 0 bash

[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0

Connecting to location 0/0 (backplane-slotid 16, console 0)

Escape sequence is "end"

Waiting for card info from CCC-driver for slot 16

Got card info from CCC-driver for slot 16

IOS Build Date : 04/22/2015 by lchinnad

System Memory Speed : 1334 MHz

Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz

Press F12 to goto Boot Manager..

Booting System Host OS..

Waiting For CCC Valid Time of Day..

Waiting For CCC Valid Time of Day..

CCC Time: Fri Oct 2 15:16:54 2015

GNU GRUB version 2.00

Press F2 to goto grub Menu..

Booting from Disk..

Loading Kernel..

Loading initrd..

[    1.949229] i8042: No controller found

Starting udev: [  OK  ]

Switching to new root and running init.

Starting udev: [  OK  ]

Actual changes:

large-receive-offload: off [requested on]

ntuple-filters: on

Setting hostname host:  [  OK  ]

Checking filesystems:[  OK  ]

Entering non-interactive startup

Bringing up loopback interface:  [  OK  ]

Bringing up interface eth0:  Device eth0 does not seem to be present, delaying initialization.

[FAILED]

Starting system logger: [  OK  ]

Starting kernel logger: [  OK  ]

Starting kdump:[  OK  ]

Starting system message bus: [  OK  ]

Starting smartd: [  OK  ]

Generating SSH1 RSA host key: [  OK  ]

Generating SSH2 RSA host key: [  OK  ]

Generating SSH2 DSA host key: [  OK  ]

Starting sshd: [  OK  ]

Starting xinetd: [  OK  ]

Starting crond: [  OK  ]

Starting libvirtd daemon: [  OK  ]

Starting NCS6k programs for LC on hostos: [  OK  ]

mcelog start/running, process 2637

Creating default host password file

serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649

host login: root

Password:

[host:~]$

[host:~]$

[host:~]$ telnet 0 50001 <-- to get to Calvados

Trying 0.0.0.0...

Connected to 0.

Escape character is '^]'.

sysadmin-vm:0_0 login:

sysadmin-vm:0_0 login: root

Password:

[sysadmin-vm:0_0:~]$ pgrep ccc  <- use pgrep to check if the process is running

2525

[sysadmin-vm:0_0:~]$ exit

logout

Utiliser l'outil RCONSOLE

Lorsque les cartes ne peuvent pas démarrer, le NCS6008 fournit une fonctionnalité intégrée qui permet d'exécuter une console distante sur la carte et de voir la raison pour laquelle la carte est bloquée et ne peut pas démarrer. Cette fonctionnalité est appelée RCONSOLE et voici un exemple de son utilisation.

Procédure à suivre sur une LC spécifique :

1. Accédez à SysadminVM

2. Attacher au RP actif.

3. Passer à global VRF chvrf 0 bash

4. Exécuter /opt/cisco/calvados/sbin/rconsole -l (carte de ligne)

Exemple :

RP/1/RP1/CPU0:6008-B#admin

sysadmin-vm:F0_SC0#

sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole

Tue Oct  20 18:23:54.740 UTC

[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash

[sysadmin-vm:0_RP0:~]$ chvrf 0 bash

[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0

Connecting to location 0/0 (backplane-slotid 16, console 0)

Escape sequence is "end"

Waiting for card info from CCC-driver for slot 16

Cette procédure est largement utilisée par le centre d'assistance technique pour déterminer l'état actuel de la carte et vérifier où elle est coincée.

Liste des commandes à collecter avant d'ouvrir un dossier TAC

VM XR :

Afficher la plate-forme

show install active

show version

Afficher l'emplacement de l'historique de redémarrage 0/0/cpu0

dir misc/disk1

show cli history detail

show log

show tech-support npu

VM d'administration système :

show platform detail

show platform slices

show install active

show sdr default-sdr reboot-history

show reboot-history card location <>

show controller ccc reset-history onbo loc <>

show controller ccc reset-history onch loc <>

show controller ccc event-history detail location <>

show tech-support ccc

show tech-support Hbloss

show tech-support slice_manager

show tech-support ctrace

show tech-support sdr_mgr

show log