목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

배경 정보

문제 해결

라인 카드가 예상대로 부팅됨

드라이버 오류로 인해 패브릭 카드를 부팅할 수 없습니다.

전원이 꺼짐 또는 현재 상태로 카드 정지

POWER_ON 상태에서 카드 정지

SW_INACTIVE STATE에 카드 고정

시나리오 1. SW_EVENT_FAILURE:shelf_mgr syslogs에 의해 보고된 SW_EVENT_ADMIN_VM_FAILURE

시나리오 2. LC가 실패 상태, 마지막 이벤트:HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

알 수 없는 상태에서 카드 정지

RCONSOLE 도구 사용

TAC 케이스를 열기 전에 수집할 명령 목록

소개

이 문서에서는 NCS6K(Network Convergence System 6000) 라인 카드 부팅 오류를 해결하는 방법에 대해 설명합니다.또한 수집된 데이터에 대한 개요를 제공하여 TAC에서 자세한 조사를 수행하는 데 도움이 됩니다.

사전 요구 사항

요구 사항

XR CLI(Command Line Interface)에 대한 기본적인 지식이 있는 것이 좋습니다.

사용되는 구성 요소

이 문서는 XR 릴리스 버전 5.0.1, 5.2.1, 5.2.3 및 5.2.4을 사용하여 작성되었습니다.

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.현재 네트워크가 작동 중인 경우, 모든 명령어의 잠재적인 영향을 미리 숙지하시기 바랍니다.

배경 정보

RP(Route Processor), FC(Fabric Card) 또는 LC(Line Card)가 부팅되지 않고 부팅 단계에서 문제가 발생하는 경우, 첫 번째 단계는 VM(Syadmin Virtual Machine)에서 show tech trace를 수집하기 시작하는 것입니다. 이 show tech는 현재 시스템 상태와 다른 구성 요소 간의 상호 작용에 대한 정보를 제공합니다.그러나 Calvados라고도 하는 Sysadmin이 카드에 연결되어 있지 않아 show tech trace가 영향받는 카드에 대한 정보를 수집할 수 없을 가능성이 있습니다.이는 SSH(Secure Shell)를 통해 카드에 연결할 수 없기 때문에 발생합니다. 이러한 경우 부팅 프로세스 시 카드가 정지되는 이유를 알아보려면 콘솔 절차가 필요합니다.

참고:이 파일은 일반적으로 꽤 큰 파일(500MB-1GB)이며 Sysadmin VM에 저장됩니다.상자에서 압축을 풀려면 XR VM에 이를 복사해야 합니다(같은 문서의 뒷부분에 제공된 지침).

문제 해결

Sysadmin VM에서 각 카드의 상태를 확인하고 현재 상태를 확인합니다.H/W 및 S/W State에 특별히 주의하십시오.S/w 상태를 N/A로 표시하는 카드는 RP CPU에 의해 기본적으로 제어되는 CPU 없는 카드(FC 카드, 팬 트레이 등)입니다.작동 상태의 카드는 CPU 기반 카드이므로 소프트웨어가 로드됩니다.

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/0       PROTO-CXP-1XPITA        OPERATIONAL   OPERATIONAL   NSHUT

0/2       PROTO-CXP-2XPITA        POWERED_OFF   SW_INACTIVE   NSHUT

0/3       NC6-10X100G-M-K         OPERATIONAL   OPERATIONAL   NSHUT

0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     NC6-RP                  POWERED_ON    SW_INACTIVE   NSHUT

0/FC0     NC6-FC                  POWERED_ON    N/A           NSHUT

0/FC1     NC6-FC-MC               POWERED_ON    N/A           NSHUT

0/FC2     UNKNOWN                 FAILED        N/A           NSHUT

0/FC3     NC6-FC                  POWERED_ON    N/A           NSHUT

0/FC4     NC6-FC-B2B              POWERED_ON    N/A           NSHUT

0/FC5     NC6-FC                  OPERATIONAL   N/A           NSHUT

0/FT0     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT

0/FT1     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT

0/PT0     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

0/PT1     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

0/PT2     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

다음 단계는 CCC(Card Chip Controller) inventory 명령을 확인하고 카드 상태를 확인하는 것입니다.

sysadmin-vm:0_RP0# show controller ccc inventory summary

CCC Inventory Summary :

BP                   HW

Location Card Type               ID    Serial Number  Ver   Card State

--------------------------------------------------------------------------------

0/RP0    NC6-RP (master)         0     SAD15270129    0.1   CARD_READY

0/RP1    NC6-RP (slave)          1     SAD1527012P    0.1   CARD_READY

0/FC0    NC6-FC                  8     SAD1618002F    0.2   WAIT_DEV_INIT

0/FC1    NC6-FC                  9     SAD153901ZT    0.2   WAIT_DEV_INIT

0/FC4    NC6-FC                  12    SAL1803KQEY    1.0   PON_POWERING_UP

0/FC5    NC6-FC                  13    SAD16180043    0.2   WAIT_DEV_INIT

0/0      NC6-10X100G-M-K         16    SAL1650UCN9    0.4   PXE_BOOTING

0/4      NC6-10X100G-M-K         20    SAD154502XU    0.1   CARD_READY

다양한 시나리오를 살펴보겠습니다.  또한 여기에 나열된 것은 예상 출력 및 다음 문제 해결 단계입니다.

라인 카드가 예상대로 부팅됨

sysadmin-vm:F0_SC0# show platform detail location 0/0

Platform Information for 0/0

PID :               NC6-10X100G-M-P

Description :       "NCS 6000 10x100G Multi-Service CXP"

VID/SN :            V01

HW Oper State :     OPERATIONAL

SW Oper State :     OPERATIONAL

Configuration :     "NSHUT RST"

HW Version :        1.0

Last Event :        HW_EVENT_OK

Last Event Reason : "Initial discovered state:BOOTED (card ok)"

Last Event(마지막 이벤트) 및 Last Event Reason(마지막 이벤트 사유)의 출력에는 카드가 양호함을 나타냅니다.이 특정 카드에 이전에 문제가 있는지, 문제가 있는 경우 문제가 무엇인지 확인하려면 show reboot history 명령을 실행합니다.

sysadmin-vm:F0_SC0# show reboot-history card location 0/0

Card Reboot History for 0/0

0

Timestamp    "Fri Oct  2 15:15:26 2015"

Reason Code  7

Reason       "Install Activate System Reload"

Src Location ""

Src Name     INSTALL

Timestamp    "Tue Sep  8 18:56:29 2015"

Reason Code  7

Reason       "ADMIN CLI RELOAD ROUTER GRACEFUL"

Src Location ""

Src Name     "CONFD USER"

Aborted: by user

Linecard 0/0이 작동하고 마지막 다시 로드의 이유는 기본적으로 소프트웨어 유지관리 업데이트(SMU) 설치 또는 소프트웨어 업그레이드가 완료되었음을 의미합니다.이는 예상되므로 이 카드에 문제가 없습니다.

드라이버 오류로 인해 패브릭 카드를 부팅할 수 없습니다.

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/FC2     UNKNOWN                 FAILED        N/A           NSHUT <-

sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2

Card Reboot History for 0/FC2

Timestamp    "Thu Oct  9 12:10:22 2014"

Reason Code  15  <--

"Board reload as devices not up on Fabric Card"

Src Location 0/FC0

Src Name     FAM_AGENT_CALV_DRIVER_SFE ß

이 예에서는 sfe_driver가 제대로 초기화되지 않았기 때문에 FC 카드가 부팅되지 않았습니다.

CCC 관점에서 reset-history를 보려면 몇 가지 명령을 더 실행합니다.reboot-history CLI는 CCC 드라이버의 reset-history CLI와 함께 사용하여 카드 다시 로드의 소스 및 이유를 확인할 수 있습니다.

두 가지 옵션이 있습니다.

Onboard(온보드) - 이 옵션을 사용하여 카드가 Warm Reset(Warm Reset)을 통과했는지(CPU만 재로드됨) 정보를 확인합니다.

Onchip - 이 옵션을 사용하여 카드가 콜드 리셋(카드가 완전히 다시 로드됨 - 하드 리셋)을 통과했는지 정보를 확인합니다.

예:

sysadmin-vm:F0_SC0# show controller ccc reset-history on

Possible completions:

onboard   CCC Reset history in onboard EEPROM detail information

onchip    On-chip reset history entries since last CCC Cold Reset

sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0

****************************************************

***   On Chip Reset History for location 0/0   ***

****************************************************

TimeofDay    : Tue Oct 20 17:17:40 2015

Uptime       : 18 days 02:01:59 <--

Resets       : 2

Reset           Reset        Reset

idx Source          Command      Time

--- --------------- ------------ -------------------

0   ColdRst         AssrtHR      2015/10/02 15:15:43

1   ColdRst         DeAssrtHR    2015/10/02 15:15:50 --> List reset source as "ColdRst"

sysadmin-vm:F0_SC0# show controller ccc reset-history onboard  location 0/0

*****************************************************

***   On Board Reset History for location 0/0   ***

*****************************************************

Scratch EEPROM Magic   : PON

Scratch EEPROM Version : 0x00014000

Reset History Magic    : HIST

Number of Resets       : 102    <---

Reset           Reset        Reset

idx Source          Command      Time

--- --------------- ------------ -------------------

0   ColdRst         AssrtHR      1970/01/01  0:00:00 <-- ColdRst

1   ColdRst         DeAssrtHR    1970/01/01  0:00:06

2   ColdRst         AssrtHR      1970/01/01  0:00:00

3   ColdRst         DeAssrtHR    1970/01/01  0:00:06

4   WarmRst         AssrtHR      1970/05/03  7:21:55 <-- WarmRst

<output omitted>

ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.

또한 재설정 작업당 두 개의 고유한 항목이 수행됩니다.AssrtHR 작업 및 DeAssrtHR 작업.이는 재설정 신호가 어설션된 후 설정 해제되었음을 의미하므로 칩이 재설정을 완료합니다.

각 작업의 타임스탬프를 기록해 둡니다.이 CLI를 CCC Inventory Status CLI와 함께 사용하여 재설정이 언제 발생했는지, 카드가 작동 또는 중단된 기간을 확인할 수 있습니다.

다음으로, 다시 로드 프로세스 시 카드가 통과한 CCC 단계를 확인합니다.다음은 여러 가지 상태 예입니다.

CCC 관점에서 올바르게 부팅된 카드:

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Current State: CARD_READY

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/02  15:16:55.234  WAIT_BOOT_IMAGE         ev_boot_ssd_image

10/02  15:16:54.233  BIOS_STARTED            if_wait_ssd_image_booting

10/02  15:16:54.233  CPU_READY               if_bios_started

10/02  15:16:54.231  OIR_INSERT_NOTIF        if_cpu_is_ready

10/02  15:16:54.217  CCC_DRIVER_INIT         if_oir_insert_notif_not_done

10/02  15:16:54.195  PON_POWERED_ON          to_ccc_driver_init

10/02  15:16:54.195  CHECK_CCC_STATUS        if_pon_powered_on

10/02  15:16:54.194  READ_IDPROM             ev_idprom_available

10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done

10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available

10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready

10/02  15:16:52.537  IDLE                    ev_presence_scan

현재 PXE_BOOTING 단계에 있는 카드:

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3

CCC Card Event History for: 0/3

Current State: PXE_BOOTING

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

08/07  19:50:40.607  BIOS_STARTED            if_internal_pxe_booting

08/07  19:50:40.607  WAIT_BIOS_START         ev_bios_started

08/07  19:50:18.605  CPU_READY               if_bios_not_started

08/07  19:50:18.595  CCC_DRIVER_INIT         if_cpu_is_ready

08/07  19:50:18.568  PON_POWERED_ON          to_ccc_driver_init

08/07  19:50:18.568  CHECK_CCC_STATUS        if_pon_powered_on

08/07  19:50:18.567  GET_CCC_INFO            ev_get_ccc_info_done

08/07  19:50:18.550  WAIT_ETH_READY          ev_eth_ready

08/07  19:50:18.550  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/07  19:50:18.517  PON_UP_WARM             ev_ccc_reset_done

08/07  19:50:12.627  PON_DOWN_WARM           ev_pon_up_warm

08/07  19:50:08.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:07.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:06.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:05.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:04.238  PON_DOWN_WARM           ev_warm_reset_req_ignored

GET_CCC_INFO에 칩이 걸려 카드를 부팅할 수 없습니다.

sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6

CCC Card Event History for: 3/6

Card Event History as seen by Master (3/RP0)

Current State: GET_CCC_INFO

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/26  23:43:04.559  UBLAZE_NOT_READY        ev_timer_expired

10/26  23:42:34.559  CHECK_UBLAZE_BOOT       ev_timer_expired

10/26  23:42:24.528  WAIT_CCC_READY          ev_ccc_ready

10/26  23:42:21.516  RECOVERY_RESET          ev_timer_expired

10/26  23:42:03.516  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed

10/26  23:41:52.480  WAIT_CCC_READY          ev_ccc_ready

10/26  23:41:49.468  RECOVERY_RESET          ev_timer_expired

10/26  23:41:32.467  WAIT_CCC_READY          ev_no_fpga_ok_signal

10/26  23:41:29.456  RECOVERY_RESET          ev_timer_expired

10/26  23:41:13.455  WAIT_CCC_READY          ev_no_fpga_ok_signal

10/26  23:41:10.444  RECOVERY_RESET          ev_timer_expired

10/26  23:40:55.444  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed

10/26  23:40:55.439  WAIT_CCC_READY          ev_ccc_ready

10/26  23:40:52.320  IDLE                    ev_presence_scan

POWER_UP_FAILED 상태 때문에 카드를 부팅할 수 없습니다.

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2

CCC Card Event History for: 0/2

Current State: POWER_UP_FAILED

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

08/05  14:55:17.449  POWER_UP_FAILED         ev_wdog_timeout

08/05  14:45:31.265  CCC_DRIVER_INIT         if_pwr_up_failed

08/05  14:45:31.260  CHECK_CCC_STATUS        if_pwr_up_failed_again

08/05  14:45:31.258  GET_CCC_INFO            ev_get_ccc_info_done

08/05  14:45:31.223  WAIT_ETH_READY          ev_eth_ready

08/05  14:45:31.157  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/05  14:45:31.124  PON_UP_WARM             ev_ccc_reset_done

08/05  14:45:17.489  CCC_IN_RESET            ev_pon_up_warm

08/05  14:45:08.921  POWER_UP_FAILED         ev_pon_down_warm

08/05  14:35:07.152  POWER_UP_FAILED         ev_wdog_timeout

08/05  14:25:20.946  CCC_DRIVER_INIT         if_pwr_up_failed

08/05  14:25:20.941  CHECK_CCC_STATUS        if_pwr_up_failed_again

08/05  14:25:20.939  GET_CCC_INFO            ev_get_ccc_info_done

08/05  14:25:20.923  WAIT_ETH_READY          ev_eth_ready

08/05  14:25:20.887  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/05  14:25:20.830  PON_UP_WARM             ev_ccc_reset_done

Aborted: by user

brief 옵션과 함께 이 명령을 사용할 경우 문제의 근본 원인과 관련된 전체 데이터가 제공되지 않습니다.이 정보는 brief 키워드를 detail로 대체합니다.

참고:이는 문제 해결 카드가 CCC 레벨에서 부팅되지 않을 때 가장 중요한 CLI입니다.

Event Desc(이벤트 설명)와 Reason of the failure(실패 사유)에 집중하여 오류에 대한 더 나은 설명을 얻을 수 있습니다.

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Event buffer info:

Total number of events recorded: 13

Number of events available for display: 13

Current State: CARD_READY

EVENT #: 12 (record index = 12)

TIMESTAMP: 2015/10/02 15:16:55.234814 UTC

STATE: WAIT_BOOT_IMAGE

EVENT: ev_boot_ssd_image

EVENT DESC: SSD image is booting

EVENT #: 11 (record index = 11)

TIMESTAMP: 2015/10/02 15:16:54.233898 UTC

STATE: BIOS_STARTED

EVENT: if_wait_ssd_image_booting

EVENT #: 10 (record index = 10)

TIMESTAMP: 2015/10/02 15:16:54.233855 UTC

STATE: CPU_READY

EVENT: if_bios_started

EVENT #: 9 (record index = 9)

TIMESTAMP: 2015/10/02 15:16:54.231426 UTC

STATE: OIR_INSERT_NOTIF

EVENT: if_cpu_is_ready

EVENT #: 8 (record index = 8)

TIMESTAMP: 2015/10/02 15:16:54.217351 UTC

STATE: CCC_DRIVER_INIT

EVENT: if_oir_insert_notif_not_done

EVENT #: 7 (record index = 7)

TIMESTAMP: 2015/10/02 15:16:54.195808 UTC

STATE: PON_POWERED_ON

EVENT: to_ccc_driver_init

EVENT #: 6 (record index = 6)

TIMESTAMP: 2015/10/02 15:16:54.195786 UTC

STATE: CHECK_CCC_STATUS

다음은 다양한 시나리오의 출력 예입니다.

전원 문제로 부팅되지 않고 POWER_UP_FAILED에 걸린 카드:

ERROR_INFO에 주의를 기울여 오류에 대한 세부 정보를 얻으십시오.

sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2

CCC Card Event History for: 0/2

Event buffer info:

Total number of events recorded: 692

Number of events available for display: 255

Current State: POWER_UP_FAILED

EVENT #: 691 (record index = 179)

TIMESTAMP: 2014/08/05 14:55:17.449979 UTC

STATE: POWER_UP_FAILED

EVENT: ev_wdog_timeout

EVENT DESC: CCC watchdog timeout event

ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0

<output omitted>

부팅되지 않고 CCC_NOT_READY에 걸린 카드(칩 문제):

sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2

CCC Card Event History for: 0/FC2

Event buffer info:

Total number of events recorded: 2

Number of events available for display: 2

Current State: CCC_NOT_READY

EVENT #: 1 (record index = 1)

TIMESTAMP: 2014/08/04 14:10:49.891845 UTC

STATE: WAIT_CCC_READY

EVENT: ev_ccc_ready_timeout

EVENT DESC: Timeout waiting for CCC to be ready

ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß

<output omitted>

카드를 제거/다시 삽입해야 하는 인스턴스가 있습니다.이를 위해 CCC 구성 요소는 지정된 랙 추적 카드 삽입/제거를 위한 OIR-History를 제공합니다.키워드 슬레이브가 사용됩니다.그러면 대기 RP에 대한 정보가 제공됩니다.

sysadmin-vm:0_RP0# show controller ccc oir-history rack 0

Cards OIR History of rack: 0

OIR Events as seen by Master (0/RP0)-  View from the Active RP

DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO

-----  ------------   ----------   -----   ------------------   -----------

10/09  16:59:14.280   INSERTED     0/0     NC6-10X100G-M-K     SAL1650UCN9

10/09  16:58:49.064   REMOVED      0/0     NC6-10X100G-M-K     SAL1650UCN9

<output omitted>

sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0

Cards OIR History of rack: 0

OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP

DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO

-----  ------------   ----------   -----   ------------------   -----------

11/06  05:54:31.374   DISCOVERED   0/2     NC6-10X100G-M-K     SAD161300XK

11/06  05:53:37.442   DISCOVERED   0/6     NC6-10X100G-M-K      SAL1649TN46

<output omitted>

정보는 두 RP 관점에서 모두 동일해야 합니다.

이 명령 조합을 사용하면 패브릭 카드가 부팅할 수 없는 근본 원인을 확인할 수 있습니다.

전원이 꺼짐 또는 현재 상태로 카드 정지

카드가 POWEROFF/PRESENT STATE에 고정되어 있는 경우 여러 재설정을 통과하여 shelf_mgr에 의해 전원이 꺼진 것 같습니다.

문제의 근본 원인을 확인하려면 다음 명령을 실행합니다.

1. Sysadmin VM에서 show tech trace 수집

2. 플랫폼 세부 정보 위치 표시 <>

3. show reboot-history card location <>(RESET 프로세스를 통과한 횟수 확인)

4. show controller ccc event-history detail location <>

5. show controller ccc reset-history onboard location <>

hw-module reset 명령을 사용하여 카드를 재설정할 수 있으며 부팅 프로세스는 이 문서의 뒷부분에서 설명한 rconsole 절차를 사용하여 확인할 수 있습니다.

sysadmin-vm:F0_SC0# hw-module location 0/0 reload

Reload hardware module ? [no,yes] Yes

POWER_ON 상태에서 카드 정지

카드가 POWERED_ON으로 고정되어 있으면 CCC에서 다른 드라이버의 작업을 시작하는 데 필요한 기본 전원 영역을 켰음을 의미합니다.카드를 작동 상태로 전환하는 것은 각 드라이버의 책임입니다.

SFE 드라이버는 ASIC라고도 하는 해당 카드의 모든 내부 디바이스를 탐지하고 초기화한 후 FC를 작동 상태로 전환합니다.

ESD 드라이버는 SC-SW 카드와 Scapa의 LC를 작동 상태로 이동합니다(거의 즉시, SFE 드라이버와 달리 확인/초기화할 수 없음).

카드가 POWERED_ON 상태에 있으면 위의 드라이버 중 하나가 카드를 작동 상태로 이동하는 데 문제가 있음을 의미합니다.CPU 없는 카드에서는 문제가 더 자주 발생합니다.예:패브릭 카드 또는 SC의 스위치 카드(SC-SW).

첫 번째 단계는 ccc event-history 명령을 확인하는 것입니다.

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Event buffer info:

Total number of events recorded: 13

Number of events available for display: 13

<output ommited>

EVENT #: 7 (record index = 7)

TIMESTAMP: 2015/10/02 15:16:54.195808 UTC

STATE: PON_POWERED_ON

EVENT: to_ccc_driver_init

다음으로, 필요한 기본 전원 영역을 확인합니다.

sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c

Register    Register

Address     Value

------------------------

0x4C        0x3           - zones 0 and 1 OK

sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50

Register    Register

Address     Value

------------------------

0x50        0x3           - zone 0 and 1 Enabled

sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0

Power detail : Zone information for 0/RP0:

---------------------------------------------------------

| Power Zone | Power Status | Power Contrl | Power Fault |

---------------------------------------------------------

|   0        |   OK         |   SET        |   --        |  - Power Status OK

|   1        |   OK         |   SET        |   --        |  - Power Status OK

sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0

CCC IO Expander information for location: 0/0

------------------------------------------------------

Port 0: 0x3e

Port Bit I/O Val Bit Name

-------------------------------------

P0   0   O   0   Power Cycle

P0   1   I   1   FPGA OK

P0   2   I   1   uBlaze OK

P0   3   I   1   Clock OK

P0   4   I   1   Core Volt OK

P0   5   I   1   OTH Volt0 OK

P0   6   I   0   OTH Volt1 NOT OK

P0   7   I   0   OTH Volt2 NOT OK

Port 1: 0x3

Port Bit I/O Val Bit Name

-------------------------------------

P1   0   I   1   FPGA INIT OK

이 검증이 근본 원인이 되지 않을 경우 다음 단계에서는 TAC 서비스 요청을 엽니다.

SW_INACTIVE STATE에 카드 고정

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

--------------------------------------------------------------------- -------

0/1       P-L-10X100G-F-P         POWERED_OFF   SW_INACTIVE   SHUT

0/RP0     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/FC0     P-L-FC-S                OPERATIONAL   N/A           NSHUT

0/FC1     P-L-FC-S                OPERATIONAL   N/A           NSHUT

0/FT0     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

0/FT1     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

가능한 실패 원인은 다음과 같습니다.

- SSD 액세스 문제로 인해 호스트 OS가 부팅되지 않음

- HW 문제로 인해 호스트 OS가 부팅되지 않음

- SysAdmin VM을 생성하지 못했습니다.

- 이더넷 연결 문제 제어

- SW 장애로 인해 카드 MAC/IP가 프로그래밍되지 않음

- CCC Power-On 인터프리터에 의해 올바르게 프로그래밍되지 않는 이더넷 스위치

- CCC SPI 플래시에서 ESD 컬러 스위치 이미지를 프로그래밍하지 못했습니다.

시나리오 1. SW_EVENT_FAILURE:shelf_mgr syslogs에 의해 보고된 SW_EVENT_ADMIN_VM_FAILURE

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/1       PROTO-CXP-2XPITA        OPERATIONAL   OPERATIONAL   NSHUT

0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     NC6-RP                  OPERATIONAL   SW_INACTIVE   NSHUT

0/FC0     NC6-FC-MC               OPERATIONAL   N/A           NSHUT

0/CI0     P-L-CRFT                OPERATIONAL   N/A           NSHUT

0/FT0     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT

0/FT1     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT

RP1이 부팅되지 않는 이유는 여러 가지가 있을 수 있습니다.이 문제를 가장 쉽게 파악할 수 있는 방법은 RP에서 로그인하여 로그온을 확인하는 것입니다(이 문서의 하단에 있는 rconsole 절차 참조).

시나리오 2. LC가 실패 상태, 마지막 이벤트:HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

HW 상태가 FAILED로 표시되고 SW State가 SW_INACTIVE로 표시되는지 확인합니다.

sysadmin-vm:0_RP0# show platform location 0/1

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/1       NC6-60X10GE-M-S         FAILED        SW_INACTIVE   NSHUT

이 명령을 실행하고 마지막 짝수 사유를 확인합니다.

sysadmin-vm:0_RP0# show platform detail location 0/1

Platform Information for 0/1

PID :               NC6-60X10GE-M-S

Description :       "NCS 6000 60x10G Multi-Service SFP+"

VID/SN :            V01

HW Oper State :     FAILED

SW Oper State :     SW_INACTIVE

Configuration :     "NSHUT RST"

HW Version :        0.6

Last Event :        HW_EVENT_FAILURE

Last Event Reason : "pon exit  <-- UP_WARM_RESET cnt=123  fail_code=LC_POWER_MAIN_FAULT"

sysadmin-vm:0_RP0#

로그 메시지를 확인하기 위해 영향받는 카드에 대한 syslog 필터링:

0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.

0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7

0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1

0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED

0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1

0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1

0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.

0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED

0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit  <-- UP_WARM_RESET cnt=4  fail_code=LC_POWER_MAIN_FAULT' for card 0/1

show reboot history 명령을 실행하고 AssrtHR과 DeAssrtHR 메시지 간에 시간 차이가 큰지 확인합니다.이는 VM 간에 내부 연결 문제가 있기 때문일 수 있습니다.

sysadmin-vm:0_RP0#show reboot-history card location 0/1

Reset history example: every 20 mins for 2 hours before it recovered:

33  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014

34  0    WarmRst      AssrtHR      0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014

35  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014

36  0    WarmRst      AssrtHR      0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014

알 수 없는 상태에서 카드 정지

카드가 Admin(관리) 상태를 Unknown(알 수 없음)으로 보고하면 CCC가 보드에서 IDPROM을 읽을 수 없으므로 카드가 부팅을 완료할 수 없습니다.이러한 인스턴스의 경우 지정된 위치에서 다음 명령을 실행합니다.

RP/0/RP0/CPU0:A41-PE1#show platform

Node name         Node type             Node state       Admin state   Config state

-----------------------------------------------------------------------------------

0/RP1             NC6-RP                OPERATIONAL      UNKNOWN

0/FC1             NC6-FC                OPERATIONAL      UNKNOWN

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Current State: CARD_READY

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/02  15:16:54.194  READ_IDPROM             ev_idprom_available

10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done

10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available

10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready

10/02  15:16:52.537  IDLE                    ev_presence_scan

다음 단계는 rconsole을 사용하여 부팅 프로세스 시 CCC가 LC에서 실행되는지 확인하는 것입니다.

1. SysadminVM에서 프로세스 ID를 수집합니다.

sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0

----------------------------------------------------------------------

PID: 2525

Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/sbin/ccc_driver

Instance #: 0

Respawn: ON

Respawn count: 1

Max. spawns per 4 mins: 4

Last started: 10/02/2015 15:17:23.000

Process state: Run

startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/etc/startup/ccc_driver.startup

Ready: 5s

2. 다음 명령을 사용하여 LC로 전환합니다.

sysadmin-vm:F0_SC0# attach location 0/RP0

[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash

[sysadmin-vm:0_RP0:~]$ chvrf 0 bash

[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0

Connecting to location 0/0 (backplane-slotid 16, console 0)

Escape sequence is "end"

Waiting for card info from CCC-driver for slot 16

Got card info from CCC-driver for slot 16

IOS Build Date : 04/22/2015 by lchinnad

System Memory Speed : 1334 MHz

Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz

Press F12 to goto Boot Manager..

Booting System Host OS..

Waiting For CCC Valid Time of Day..

Waiting For CCC Valid Time of Day..

CCC Time: Fri Oct 2 15:16:54 2015

GNU GRUB version 2.00

Press F2 to goto grub Menu..

Booting from Disk..

Loading Kernel..

Loading initrd..

[    1.949229] i8042: No controller found

Starting udev: [  OK  ]

Switching to new root and running init.

Starting udev: [  OK  ]

Actual changes:

large-receive-offload: off [requested on]

ntuple-filters: on

Setting hostname host:  [  OK  ]

Checking filesystems:[  OK  ]

Entering non-interactive startup

Bringing up loopback interface:  [  OK  ]

Bringing up interface eth0:  Device eth0 does not seem to be present, delaying initialization.

[FAILED]

Starting system logger: [  OK  ]

Starting kernel logger: [  OK  ]

Starting kdump:[  OK  ]

Starting system message bus: [  OK  ]

Starting smartd: [  OK  ]

Generating SSH1 RSA host key: [  OK  ]

Generating SSH2 RSA host key: [  OK  ]

Generating SSH2 DSA host key: [  OK  ]

Starting sshd: [  OK  ]

Starting xinetd: [  OK  ]

Starting crond: [  OK  ]

Starting libvirtd daemon: [  OK  ]

Starting NCS6k programs for LC on hostos: [  OK  ]

mcelog start/running, process 2637

Creating default host password file

serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649

host login: root

Password:

[host:~]$

[host:~]$

[host:~]$ telnet 0 50001 <-- to get to Calvados

Trying 0.0.0.0...

Connected to 0.

Escape character is '^]'.

sysadmin-vm:0_0 login:

sysadmin-vm:0_0 login: root

Password:

[sysadmin-vm:0_0:~]$ pgrep ccc  <- use pgrep to check if the process is running

2525

[sysadmin-vm:0_0:~]$ exit

logout

RCONSOLE 도구 사용

카드를 부팅할 수 없는 경우 NCS6008은 카드에 대해 원격 콘솔을 수행할 수 있는 기능을 제공하며, 카드가 고정되어 부팅할 수 없는 이유를 확인합니다.이 기능을 RCONSOLE이라고 하며, 이 기능의 사용 예는 다음과 같습니다.

특정 LC에서 Rconsole을 실행하는 절차:

1. SysadminVM으로 이동

2. 활성 RP에 연결합니다.

3. 전역 VRF chvrf 0 bash로 변경

4. /opt/cisco/calvados/sbin/rconsole -l(Linecard) 실행

예:

RP/1/RP1/CPU0:6008-B#admin

sysadmin-vm:F0_SC0#

sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole

Tue Oct  20 18:23:54.740 UTC

[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash

[sysadmin-vm:0_RP0:~]$ chvrf 0 bash

[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0

Connecting to location 0/0 (backplane-slotid 16, console 0)

Escape sequence is "end"

Waiting for card info from CCC-driver for slot 16

이 절차는 TAC에서 카드의 현재 상태를 확인하고 문제가 발생한 위치를 확인하는 데 널리 사용됩니다.

TAC 케이스를 열기 전에 수집할 명령 목록

XR VM:

플랫폼 표시

설치 활성 표시

버전 표시

재부팅 기록 위치 0/0/cpu0 표시

dir misc/disk1

cli 기록 세부 정보 표시

로그 표시

show tech-support npu

SysAdmin VM:

플랫폼 세부 정보 표시

플랫폼 조각 표시

설치 활성 표시

show sdr default-sdr reboot-history

reboot-history 카드 위치 표시 <>

show controller ccc reset-history onbo loc <>

show controller ccc reset-history onch loc <>

show controller ccc event-history detail location <>

기술 지원 ccc 표시

show tech-support Hbloss

show tech-support slice_manager

show tech-support trace

기술 지원 sdr_mgr 표시

로그 표시