Probleemoplossing met NCS6K-kaartontgrendeling
Downloadopties
Inclusief taalgebruik
De documentatie van dit product is waar mogelijk geschreven met inclusief taalgebruik. Inclusief taalgebruik wordt in deze documentatie gedefinieerd als taal die geen discriminatie op basis van leeftijd, handicap, gender, etniciteit, seksuele oriëntatie, sociaaleconomische status of combinaties hiervan weerspiegelt. In deze documentatie kunnen uitzonderingen voorkomen vanwege bewoordingen die in de gebruikersinterfaces van de productsoftware zijn gecodeerd, die op het taalgebruik in de RFP-documentatie zijn gebaseerd of die worden gebruikt in een product van een externe partij waarnaar wordt verwezen. Lees meer over hoe Cisco gebruikmaakt van inclusief taalgebruik.
Over deze vertaling
Cisco heeft dit document vertaald via een combinatie van machine- en menselijke technologie om onze gebruikers wereldwijd ondersteuningscontent te bieden in hun eigen taal. Houd er rekening mee dat zelfs de beste machinevertaling niet net zo nauwkeurig is als die van een professionele vertaler. Cisco Systems, Inc. is niet aansprakelijk voor de nauwkeurigheid van deze vertalingen en raadt aan altijd het oorspronkelijke Engelstalige document (link) te raadplegen.
Inhoud
Inleiding
Dit document beschrijft hoe u een probleem kunt oplossen bij de initialen van het Network Convergence System 6000 (NCS6K). Daarnaast biedt het ook een overzicht van de gegevens die kunnen worden verzameld om TAC te helpen een gedetailleerd onderzoek uit te voeren.
Voorwaarden
Vereisten
Cisco raadt u aan fundamentele kennis van XR Opdrachtlijn Interface (CLI) te hebben.
Gebruikte componenten
Dit document is gemaakt met behulp van de XR-versies 5.0.1, 5.2.1, 5.2.3 en 5.2.4.
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u de potentiële impact van elke opdracht begrijpen.
Achtergrondinformatie
Als routeprocessor (RP), Fabric Card (FC) of lijnkaart (LC) niet start en vast komt te zitten in de beginfase, moet de eerste stap zijn om show tech-scenario van Syadmin Virtual Machine (VM) te gaan verzamelen. Deze toontechniek verschaft informatie over de huidige systeemtoestand en de interactie tussen verschillende componenten. Er is echter een kans dat Sysadmin, ook wel bekend als Calvados, niet op de kaart staat en dat het ook laat zien dat tech sporen geen informatie voor de kaart kunnen verzamelen. Dit zal voorkomen omdat de kaart niet bereikbaar is via Secure Shell (SSH). In dergelijke gevallen zal een troostprocedure nodig zijn om te weten waarom de kaart op het tijdstip van de start wordt vastgehouden.
Opmerking: Dit bestand is doorgaans erg groot (500 MB-1 GB) en wordt opgeslagen op de Sysadmin VM. Om het uit het vak te halen, moet het naar de XR VM worden gekopieerd (instructies die later in hetzelfde document worden verstrekt).
Problemen oplossen
Controleer de status van elke kaart op de Sysadmin VM en ontdek de huidige status. Let vooral op H/w en S/w. Merk op dat kaarten die S/w-status als N/A tonen, CPU-minder kaarten zijn (FC-kaarten, ventilatoreenheid, enz.) die in wezen worden bestuurd door RP CPU. Kaarten in operationele staat zijn op CPU-gebaseerde kaarten en de software moet daarom worden geladen.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/0 PROTO-CXP-1XPITA OPERATIONAL OPERATIONAL NSHUT
0/2 PROTO-CXP-2XPITA POWERED_OFF SW_INACTIVE NSHUT
0/3 NC6-10X100G-M-K OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP POWERED_ON SW_INACTIVE NSHUT
0/FC0 NC6-FC POWERED_ON N/A NSHUT
0/FC1 NC6-FC-MC POWERED_ON N/A NSHUT
0/FC2 UNKNOWN FAILED N/A NSHUT
0/FC3 NC6-FC POWERED_ON N/A NSHUT
0/FC4 NC6-FC-B2B POWERED_ON N/A NSHUT
0/FC5 NC6-FC OPERATIONAL N/A NSHUT
0/FT0 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/PT0 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT1 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT2 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
De volgende stap is het inventarisbevel van Card Chip Controller (CCC) te controleren en de status van de kaart te bevestigen.
sysadmin-vm:0_RP0# show controller ccc inventory summary
CCC Inventory Summary :
BP HW
Location Card Type ID Serial Number Ver Card State
--------------------------------------------------------------------------------
0/RP0 NC6-RP (master) 0 SAD15270129 0.1 CARD_READY
0/RP1 NC6-RP (slave) 1 SAD1527012P 0.1 CARD_READY
0/FC0 NC6-FC 8 SAD1618002F 0.2 WAIT_DEV_INIT
0/FC1 NC6-FC 9 SAD153901ZT 0.2 WAIT_DEV_INIT
0/FC4 NC6-FC 12 SAL1803KQEY 1.0 PON_POWERING_UP
0/FC5 NC6-FC 13 SAD16180043 0.2 WAIT_DEV_INIT
0/0 NC6-10X100G-M-K 16 SAL1650UCN9 0.4 PXE_BOOTING
0/4 NC6-10X100G-M-K 20 SAD154502XU 0.1 CARD_READY
Hier volgen de verschillende scenario's. Hieronder staan ook verwachte output en volgende stappen voor het oplossen van problemen.
Linecard Boeken zoals verwacht
sysadmin-vm:F0_SC0# show platform detail location 0/0
Platform Information for 0/0
PID : NC6-10X100G-M-P
Description : "NCS 6000 10x100G Multi-Service CXP"
VID/SN : V01
HW Oper State : OPERATIONAL
SW Oper State : OPERATIONAL
Configuration : "NSHUT RST"
HW Version : 1.0
Last Event : HW_EVENT_OK
Last Event Reason : "Initial discovered state:BOOTED (card ok)"
Uit de resultaten van laatste gebeurtenis en reden van laatste gebeurtenis blijkt dat kaart goed is. De opdracht historie rebooten tonen om te valideren of deze kaart problemen had in het verleden en, zo ja, wat was het probleem.
sysadmin-vm:F0_SC0# show reboot-history card location 0/0
Card Reboot History for 0/0
0
Timestamp "Fri Oct 2 15:15:26 2015"
Reason Code 7
Reason "Install Activate System Reload"
Src Location ""
Src Name INSTALL
Timestamp "Tue Sep 8 18:56:29 2015"
Reason Code 7
Reason "ADMIN CLI RELOAD ROUTER GRACEFUL"
Src Location ""
Src Name "CONFD USER"
Aborted: by user
Linecard 0/0 is operationeel en de reden voor de laatste herlading is geïnstalleerd, wat in wezen betekent dat de installatie of de softwareupgrade is uitgevoerd die is uitgevoerd door de installatie van de software of door de software. Dit wordt verwacht en er waren dus geen problemen met deze kaart.
Fabric Card kan niet worden gestart vanwege driver-fout
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/FC2 UNKNOWN FAILED N/A NSHUT <-
sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2
Card Reboot History for 0/FC2
Timestamp "Thu Oct 9 12:10:22 2014"
Reason Code 15 <--
"Board reload as devices not up on Fabric Card"
Src Location 0/FC0
Src Name FAM_AGENT_CALV_DRIVER_SFE ß
In dit voorbeeld werd FC card niet gestart omdat de sfe_driver niet goed werd geïnitialiseerd.
Voer nog een paar opdrachten uit om de reset-geschiedenis vanuit het CCC-standpunt te bekijken. De CLI kan opnieuw opstarten en gebruiken in combinatie met de CLI van het stuurprogramma voor de reset-geschiedenis van de CCC om de bron en reden van het opnieuw laden van de kaart te bepalen.
Er zijn twee mogelijkheden:
Onboard - gebruik deze optie om informatie te zoeken als de kaart door Warm Reset (alleen CPU is opnieuw geladen) ging.
Onchip - Gebruik deze optie om informatie te zoeken als de kaart eerder Koud Reset (Card geheel opnieuw geladen - Harde reset) gebruikte.
Bijvoorbeeld:
sysadmin-vm:F0_SC0# show controller ccc reset-history on
Possible completions:
onboard CCC Reset history in onboard EEPROM detail information
onchip On-chip reset history entries since last CCC Cold Reset
sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0
****************************************************
*** On Chip Reset History for location 0/0 ***
****************************************************
TimeofDay : Tue Oct 20 17:17:40 2015
Uptime : 18 days 02:01:59 <--
Resets : 2
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 2015/10/02 15:15:43
1 ColdRst DeAssrtHR 2015/10/02 15:15:50 --> List reset source as "ColdRst"
sysadmin-vm:F0_SC0# show controller ccc reset-history onboard location 0/0
*****************************************************
*** On Board Reset History for location 0/0 ***
*****************************************************
Scratch EEPROM Magic : PON
Scratch EEPROM Version : 0x00014000
Reset History Magic : HIST
Number of Resets : 102 <---
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 1970/01/01 0:00:00 <-- ColdRst
1 ColdRst DeAssrtHR 1970/01/01 0:00:06
2 ColdRst AssrtHR 1970/01/01 0:00:00
3 ColdRst DeAssrtHR 1970/01/01 0:00:06
4 WarmRst AssrtHR 1970/05/03 7:21:55 <-- WarmRst
<output omitted>
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.
Daarnaast zijn er twee unieke items per uitgevoerde reset-handeling. Een operatie van Assad en een operatie van DeAssrtHR. Dit impliceert dat een resetten signaal werd opgeëist en vervolgens werd gedesasserteerd, zodat de chip de reset zal voltooien.
Neem nota van de tijdzegels van elk van deze transacties. Deze CLI kan worden gecombineerd met de CCC Inventory Status CLI om te bepalen wanneer de reset heeft plaatsgevonden en hoe lang de kaart op of neer is geweest.
Controleer vervolgens het CCC-stadium dat de kaart doorliep bij het opnieuw laden. Hieronder staan verschillende staatsvoorbeelden:
Kaart die correct vanuit CCC-standpunt is gestart:
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:55.234 WAIT_BOOT_IMAGE ev_boot_ssd_image
10/02 15:16:54.233 BIOS_STARTED if_wait_ssd_image_booting
10/02 15:16:54.233 CPU_READY if_bios_started
10/02 15:16:54.231 OIR_INSERT_NOTIF if_cpu_is_ready
10/02 15:16:54.217 CCC_DRIVER_INIT if_oir_insert_notif_not_done
10/02 15:16:54.195 PON_POWERED_ON to_ccc_driver_init
10/02 15:16:54.195 CHECK_CCC_STATUS if_pon_powered_on
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
Kaart die momenteel in PXE_BOOTING-stadium is:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
CCC Card Event History for: 0/3
Current State: PXE_BOOTING
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/07 19:50:40.607 BIOS_STARTED if_internal_pxe_booting
08/07 19:50:40.607 WAIT_BIOS_START ev_bios_started
08/07 19:50:18.605 CPU_READY if_bios_not_started
08/07 19:50:18.595 CCC_DRIVER_INIT if_cpu_is_ready
08/07 19:50:18.568 PON_POWERED_ON to_ccc_driver_init
08/07 19:50:18.568 CHECK_CCC_STATUS if_pon_powered_on
08/07 19:50:18.567 GET_CCC_INFO ev_get_ccc_info_done
08/07 19:50:18.550 WAIT_ETH_READY ev_eth_ready
08/07 19:50:18.550 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/07 19:50:18.517 PON_UP_WARM ev_ccc_reset_done
08/07 19:50:12.627 PON_DOWN_WARM ev_pon_up_warm
08/07 19:50:08.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:07.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:06.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:05.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:04.238 PON_DOWN_WARM ev_warm_reset_req_ignored
Kaart kan niet starten vanwege een chip vastgezet in GET_CCC_INFO:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6
CCC Card Event History for: 3/6
Card Event History as seen by Master (3/RP0)
Current State: GET_CCC_INFO
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/26 23:43:04.559 UBLAZE_NOT_READY ev_timer_expired
10/26 23:42:34.559 CHECK_UBLAZE_BOOT ev_timer_expired
10/26 23:42:24.528 WAIT_CCC_READY ev_ccc_ready
10/26 23:42:21.516 RECOVERY_RESET ev_timer_expired
10/26 23:42:03.516 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:41:52.480 WAIT_CCC_READY ev_ccc_ready
10/26 23:41:49.468 RECOVERY_RESET ev_timer_expired
10/26 23:41:32.467 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:29.456 RECOVERY_RESET ev_timer_expired
10/26 23:41:13.455 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:10.444 RECOVERY_RESET ev_timer_expired
10/26 23:40:55.444 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:40:55.439 WAIT_CCC_READY ev_ccc_ready
10/26 23:40:52.320 IDLE ev_presence_scan
Kaart kan niet starten vanwege POWER_UP_FAILED status:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2
CCC Card Event History for: 0/2
Current State: POWER_UP_FAILED
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/05 14:55:17.449 POWER_UP_FAILED ev_wdog_timeout
08/05 14:45:31.265 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:45:31.260 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:45:31.258 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:45:31.223 WAIT_ETH_READY ev_eth_ready
08/05 14:45:31.157 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:45:31.124 PON_UP_WARM ev_ccc_reset_done
08/05 14:45:17.489 CCC_IN_RESET ev_pon_up_warm
08/05 14:45:08.921 POWER_UP_FAILED ev_pon_down_warm
08/05 14:35:07.152 POWER_UP_FAILED ev_wdog_timeout
08/05 14:25:20.946 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:25:20.941 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:25:20.939 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:25:20.923 WAIT_ETH_READY ev_eth_ready
08/05 14:25:20.887 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:25:20.830 PON_UP_WARM ev_ccc_reset_done
Aborted: by user
Als u deze opdracht met de korte optie gebruikt, geeft deze geen volledige gegevens over de oorzaak van de problemen. Voor die informatie vervang het korte sleutelwoord met detail.
Opmerking: Dit is de belangrijkste CLI wanneer de kaarten voor probleemoplossing niet op het CCC-niveau worden opgestart.
Stel de Event Desc en Reden van het falen om een betere verklaring over de mislukking te krijgen in.
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
Current State: CARD_READY
EVENT #: 12 (record index = 12)
TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
STATE: WAIT_BOOT_IMAGE
EVENT: ev_boot_ssd_image
EVENT DESC: SSD image is booting
EVENT #: 11 (record index = 11)
TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
STATE: BIOS_STARTED
EVENT: if_wait_ssd_image_booting
EVENT #: 10 (record index = 10)
TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
STATE: CPU_READY
EVENT: if_bios_started
EVENT #: 9 (record index = 9)
TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
STATE: OIR_INSERT_NOTIF
EVENT: if_cpu_is_ready
EVENT #: 8 (record index = 8)
TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
STATE: CCC_DRIVER_INIT
EVENT: if_oir_insert_notif_not_done
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
EVENT #: 6 (record index = 6)
TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
STATE: CHECK_CCC_STATUS
Hier zijn voorbeelden van uitkomsten van verschillende scenario's.
Kaart die niet is opgestart vanwege stroomproblemen en die is vastgelopen in POWER_UP_FAILED:
Let op FOUT_INFO voor meer informatie over de fout.
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2
CCC Card Event History for: 0/2
Event buffer info:
Total number of events recorded: 692
Number of events available for display: 255
Current State: POWER_UP_FAILED
EVENT #: 691 (record index = 179)
TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
STATE: POWER_UP_FAILED
EVENT: ev_wdog_timeout
EVENT DESC: CCC watchdog timeout event
ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0
<output omitted>
Kaart die niet is opgestart en die is vastgelopen in CCC_NOT_READY (chip probleem):
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
CCC Card Event History for: 0/FC2
Event buffer info:
Total number of events recorded: 2
Number of events available for display: 2
Current State: CCC_NOT_READY
EVENT #: 1 (record index = 1)
TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
STATE: WAIT_CCC_READY
EVENT: ev_ccc_ready_timeout
EVENT DESC: Timeout waiting for CCC to be ready
ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
<output omitted>
Er zijn gevallen waarin kaarten moeten worden verwijderd of opnieuw ingevoerd. Hiervoor biedt CCC-component OIR-History voor bepaalde plaatsing/verwijdering van een rackvolgkaart. Let op dat de sleutelwoordenslaaf wordt gebruikt. Dit geeft informatie over de stand-by RP.
sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Master (0/RP0)- View from the Active RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
10/09 16:59:14.280 INSERTED 0/0 NC6-10X100G-M-K SAL1650UCN9
10/09 16:58:49.064 REMOVED 0/0 NC6-10X100G-M-K SAL1650UCN9
<output omitted>
sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
11/06 05:54:31.374 DISCOVERED 0/2 NC6-10X100G-M-K SAD161300XK
11/06 05:53:37.442 DISCOVERED 0/6 NC6-10X100G-M-K SAL1649TN46
<output omitted>
De informatie moet vanuit beide RP-invalshoeken dezelfde zijn.
Deze combinatie van opdrachten helpt u de oorzaak te bepalen van de reden waarom de Fabric Card niet kan starten.
Kaartversterking in POWEROFF of HUIDIGE STAAT
Als de kaart is vastgezet in POWEROFF/HUIDIGE STAAT is het zeer waarschijnlijk dat hij meerdere resets heeft doorstaan en is uitgezet door shelf_mgr.
Geef deze opdrachten uit om de oorzaak van het probleem te bepalen:
- Verzamel technische sporen van Sysadmin VM
- Plaats voor perrondetail tonen <>
- kaart voor het opnieuw opstarten tonen <> (zoek uit hoe vaak het RESET-proces is doorlopen)
- locatie van CCCC-gebeurtenissen met overzicht van gebeurtenissen in het controller tonen <>
- terugzetgeschiedenis van controller aan boord tonen <>
Kaart kan worden hersteld met behulp van de opdracht voor het resetten van de module en het opstarten van de machine kan worden waargenomen met behulp van een console-procedure die later in dit document wordt uitgelegd.
sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes
Kaartzak in POWER_ON STAAT
Als de kaart aan POWERED_ON is gekoppeld, betekent dit dat de CCC de basisenergiezones heeft aangezet die nodig zijn voor andere stuurprogramma's om hun werk te kunnen beginnen. Het is de verantwoordelijkheid van de respectieve bestuurders om de kaart naar een operationele staat te verplaatsen.
De SFE-driver verplaatst FC's naar de operationele staat, nadat het al zijn interne apparaten op die kaart, ook bekend als ASIC's, detecteert en formatteert.
ESD-stuurprogramma verplaatst SC-SW-kaarten en de LC's van Scapa naar de operationele toestand (bijna onmiddellijk, anders dan SFE-stuurprogramma is er niets om te controleren/initialiseren).
Als Card vast zit in POWERED_ON staat betekent dit dat een van de bovengenoemde chauffeurs moeite heeft gehad de kaart naar de operationele status te verplaatsen. Het probleem wordt vaker gezien op CPU-loze kaarten. Ex: Fabric-kaarten of SC-switchkaarten (SC-SW).
De eerste stap is het controleren van cc gebeurtenis-historie opdracht:
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
<output ommited>
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
Daarna dient u de benodigde basisvoedingszones te valideren:
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c
Register Register
Address Value
------------------------
0x4C 0x3 - zones 0 and 1 OK
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50
Register Register
Address Value
------------------------
0x50 0x3 - zone 0 and 1 Enabled
sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
Power detail : Zone information for 0/RP0:
---------------------------------------------------------
| Power Zone | Power Status | Power Contrl | Power Fault |
---------------------------------------------------------
| 0 | OK | SET | -- | - Power Status OK
| 1 | OK | SET | -- | - Power Status OK
sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
CCC IO Expander information for location: 0/0
------------------------------------------------------
Port 0: 0x3e
Port Bit I/O Val Bit Name
-------------------------------------
P0 0 O 0 Power Cycle
P0 1 I 1 FPGA OK
P0 2 I 1 uBlaze OK
P0 3 I 1 Clock OK
P0 4 I 1 Core Volt OK
P0 5 I 1 OTH Volt0 OK
P0 6 I 0 OTH Volt1 NOT OK
P0 7 I 0 OTH Volt2 NOT OK
Port 1: 0x3
Port Bit I/O Val Bit Name
-------------------------------------
P1 0 I 1 FPGA INIT OK
Als deze validatie niet tot een basisoorzaak leidt, zou de volgende stap zijn om een TAC-serviceaanvraag te openen.
Kaartstreep in SW_INACTIEVE STAAT
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
--------------------------------------------------------------------- -------
0/1 P-L-10X100G-F-P POWERED_OFF SW_INACTIVE SHUT
0/RP0 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/FC0 P-L-FC-S OPERATIONAL N/A NSHUT
0/FC1 P-L-FC-S OPERATIONAL N/A NSHUT
0/FT0 PANINI-SIM-FT OPERATIONAL N/A NSHUT
0/FT1 PANINI-SIM-FT OPERATIONAL N/A NSHUT
Mogelijke mislukkingsredenen zijn:
- Host OS start niet als gevolg van SSD-toegangsprobleem
- Host OS-start gestopt vanwege HW-probleem
- SysAdmin VM is niet gemorst
- Beheer van Ethernet-verbindingskwesties
- Card MAC/IP niet geprogrammeerd vanwege SW-falen
- Ethernet-switches worden niet correct geprogrammeerd door de CCC Power-On-tolk
- ESD Color Switch-afbeelding niet geprogrammeerd is in de CCC SPI-flitser
Scenario 1. SW_EVENT_FAILURE: SW_EVENT_ADMIN_VM_FAILURE Gerapporteerd door shelf_mgr syslogs
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 PROTO-CXP-2XPITA OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP OPERATIONAL SW_INACTIVE NSHUT
0/FC0 NC6-FC-MC OPERATIONAL N/A NSHUT
0/CI0 P-L-CRFT OPERATIONAL N/A NSHUT
0/FT0 P-L-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 P-L-FANTRAY OPERATIONAL N/A NSHUT
Er kunnen verschillende redenen zijn waarom RP1 niet opstart. De makkelijkste manier om de kwestie te ontdekken is op de RP te console en de logbestanden te controleren (raadpleeg de console-procedure die onder op dit document staat).
Scenario 2. LC is in een falende staat gestort, laatste gebeurtenis: HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT
Zorg ervoor dat de HW-staat MISLUKT toont en SW-Staat SW_INACTIEF toont:
sysadmin-vm:0_RP0# show platform location 0/1
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 NC6-60X10GE-M-S FAILED SW_INACTIVE NSHUT
voer deze opdracht uit en controleer de laatste reden:
sysadmin-vm:0_RP0# show platform detail location 0/1
Platform Information for 0/1
PID : NC6-60X10GE-M-S
Description : "NCS 6000 60x10G Multi-Service SFP+"
VID/SN : V01
HW Oper State : FAILED
SW Oper State : SW_INACTIVE
Configuration : "NSHUT RST"
HW Version : 0.6
Last Event : HW_EVENT_FAILURE
Last Event Reason : "pon exit <-- UP_WARM_RESET cnt=123 fail_code=LC_POWER_MAIN_FAULT"
sysadmin-vm:0_RP0#
Filterslang voor de aangedane kaart om logberichten te controleren:
0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit <-- UP_WARM_RESET cnt=4 fail_code=LC_POWER_MAIN_FAULT' for card 0/1
De uitvoer toont de opdracht van de herlaarsgeschiedenis en verifieert of er een groot tijdsverschil is tussen de berichten van AssrtHR en DeAssrtHR. Dit is waarschijnlijk omdat er een probleem is met interne connectiviteit tussen de VM’s.
sysadmin-vm:0_RP0#show reboot-history card location 0/1
Reset history example: every 20 mins for 2 hours before it recovered:
33 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
34 0 WarmRst AssrtHR 0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
35 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
36 0 WarmRst AssrtHR 0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014
Kaartlegger in ONBEKENDE STAAT
Wanneer de Card Admin meldt dat dit niet bekend is, kan CCC het IDPROM hoogstwaarschijnlijk niet van het toetsenbord lezen. De kaart kan dus niet de start voltooien. In dergelijke gevallen voert u deze opdrachten op de gegeven locatie uit:
RP/0/RP0/CPU0:A41-PE1#show platform
Node name Node type Node state Admin state Config state
-----------------------------------------------------------------------------------
0/RP1 NC6-RP OPERATIONAL UNKNOWN
0/FC1 NC6-FC OPERATIONAL UNKNOWN
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
Volgende stap is om te controleren of CCC op de LC draait op het moment dat het opstartproces met het gebruik van console:
1. Verzamel de proces-ID in SysadminVM:
sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0
----------------------------------------------------------------------
PID: 2525
Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/sbin/ccc_driver
Instance #: 0
Respawn: ON
Respawn count: 1
Max. spawns per 4 mins: 4
Last started: 10/02/2015 15:17:23.000
Process state: Run
startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/etc/startup/ccc_driver.startup
Ready: 5s
2. console naar de LC met deze opdrachten:
sysadmin-vm:F0_SC0# attach location 0/RP0
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Got card info from CCC-driver for slot 16
IOS Build Date : 04/22/2015 by lchinnad
System Memory Speed : 1334 MHz
Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
Press F12 to goto Boot Manager..
Booting System Host OS..
Waiting For CCC Valid Time of Day..
Waiting For CCC Valid Time of Day..
CCC Time: Fri Oct 2 15:16:54 2015
GNU GRUB version 2.00
Press F2 to goto grub Menu..
Booting from Disk..
Loading Kernel..
Loading initrd..
[ 1.949229] i8042: No controller found
Starting udev: [ OK ]
Switching to new root and running init.
Starting udev: [ OK ]
Actual changes:
large-receive-offload: off [requested on]
ntuple-filters: on
Setting hostname host: [ OK ]
Checking filesystems:[ OK ]
Entering non-interactive startup
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
[FAILED]
Starting system logger: [ OK ]
Starting kernel logger: [ OK ]
Starting kdump:[ OK ]
Starting system message bus: [ OK ]
Starting smartd: [ OK ]
Generating SSH1 RSA host key: [ OK ]
Generating SSH2 RSA host key: [ OK ]
Generating SSH2 DSA host key: [ OK ]
Starting sshd: [ OK ]
Starting xinetd: [ OK ]
Starting crond: [ OK ]
Starting libvirtd daemon: [ OK ]
Starting NCS6k programs for LC on hostos: [ OK ]
mcelog start/running, process 2637
Creating default host password file
serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
host login: root
Password:
[host:~]$
[host:~]$
[host:~]$ telnet 0 50001 <-- to get to Calvados
Trying 0.0.0.0...
Connected to 0.
Escape character is '^]'.
sysadmin-vm:0_0 login:
sysadmin-vm:0_0 login: root
Password:
[sysadmin-vm:0_0:~]$ pgrep ccc <- use pgrep to check if the process is running
2525
[sysadmin-vm:0_0:~]$ exit
logout
RCONSOLE-gereedschap gebruiken
Wanneer kaarten niet kunnen worden opgestart, biedt NCS 6008 een ingebouwde functie die de mogelijkheid geeft om op de kaart een console op afstand uit te voeren en te zien waarom de kaart vastzit en niet kan worden opgestart. Deze eigenschap wordt RCONSOLE genoemd en hier is een voorbeeld van zijn gebruik.
Procedure om op specifieke LC te console:
- Navigeren naar SysadminVM
- Bevestig aan actieve RP.
- Verandering naar mondiaal VRF chvrf 0 bash
- Execute/opt/cisco/calvados/sbin/console -l (lijnkaart)
Voorbeeld:
RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole
Tue Oct 20 18:23:54.740 UTC
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Deze procedure wordt op grote schaal gebruikt door TAC om de huidige status van de kaart te bepalen en te controleren waar deze vastzit.
Lijst van opdrachten die moeten worden verzameld voordat u een TAC-case opent
XR VM:
Platform tonen
tonen actief
Versie weergeven
Toon lokatie voor herstartgeschiedenis 0/0/cpu0
dir misc/schijf1
toont details van de cli geschiedenis
Logboek weergeven
toon tech-support npu
SysAdmin VM:
platformdetails tonen
perronplakken tonen
tonen actief
standaard sdr-sdr herlaars-historie weergeven
Plaats van kaart voor herstart tonen <>
Toon controller cc reset-history onbo loc <>
Toon controller cc reset historie onch loc <>
locatie van CCCC-gebeurtenissen met overzicht van gebeurtenissen in het controller tonen <>
technische ondersteuning voor show ccc
show tech-support Hbloss
show tech-support slice_manager
toonbeeld van technische ondersteuning
technische ondersteuning voor show sdr_mgr
toonlogboek
Bijgedragen door Cisco-engineers
- Andre PedroCisco TAC-ingenieur
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)