内容

概要

前提条件

要件

使用するコンポーネント

背景説明

トラブルシュート

ラインカードが正常に起動した

ドライバエラーによりファブリックカードが起動できない

カードが POWEROFF または PRESENT STATE でスタックしている

カードが POWER_ON STATE でスタックしている

カードが SW_INACTIVE STATE でスタックしている

シナリオ1.SW_EVENT_FAILURE:shelf_mgr syslog によって SW_EVENT_ADMIN_VM_FAILURE が報告された

シナリオ2:LCがFAILED状態のままになる、最後のイベント：HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

カードがUNKNOWN状態のままになる

RCONSOLEツールの使用

TACケースをオープンする前に収集するコマンドのリスト

概要

このドキュメントでは、Network Convergence System 6000（NCS6K）ラインカードの起動の障害をトラブルシューティングする方法について説明します。また、TACが詳細な調査を行う際に役立つ、収集できるデータの概要についても説明します。

前提条件

要件

XR コマンド ライン インターフェイス（CLI）の基本的な知識があることが推奨されます。

使用するコンポーネント

このドキュメントは、XR リリース バージョン 5.0.1、5.2.1、5.2.3、および 5.2.4 を使用して作成されました。

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。対象のネットワークが実稼働中である場合には、どのようなコマンドについても、その潜在的な影響について確実に理解しておく必要があります。

背景説明

ルートプロセッサ(RP)、ファブリックカード(FC)、またはラインカード(LC)が起動せず、ブートステージでスタックしている場合は、最初にshow tech ctraceをSyadmin Virtual Machine(VM)から収集します。 この show tech は、現在のシステム状態とさまざまなコンポーネント間のインタラクションに関する情報を提供します。ただし、SysadminはCalvadosとも呼ばれ、カード上で起動していない可能性があり、show tech ctraceは該当カードの情報を収集できません。これは、カードがセキュアシェル(SSH)経由で到達不能であるために発生します。 このような場合、ブートプロセス時にカードがスタックする理由を知るには、rconsoleの手順が必要です。

注：このファイルは通常、サイズがかなり大きく（500MB ～ 1GB）、Sysadmin VM に保存されます。ボックスから抽出するには、XR VMにコピーする必要があります（同じドキュメントで後述する手順）。

トラブルシュート

Sysadmin VMの各カードのステータスを確認し、現在の状態を確認します。ハードウェアとソフトウェアの状態に特に注意してください。S/w状態がN/Aと表示されるカードは、RP CPUによって基本的に制御されるCPUレスカード（FCカード、ファントレイなど）であることに注意してください。動作状態のカードはCPUベースのカードであるため、ソフトウェアがロードされています。

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/0       PROTO-CXP-1XPITA        OPERATIONAL   OPERATIONAL   NSHUT

0/2       PROTO-CXP-2XPITA        POWERED_OFF   SW_INACTIVE   NSHUT

0/3       NC6-10X100G-M-K         OPERATIONAL   OPERATIONAL   NSHUT

0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     NC6-RP                  POWERED_ON    SW_INACTIVE   NSHUT

0/FC0     NC6-FC                  POWERED_ON    N/A           NSHUT

0/FC1     NC6-FC-MC               POWERED_ON    N/A           NSHUT

0/FC2     UNKNOWN                 FAILED        N/A           NSHUT

0/FC3     NC6-FC                  POWERED_ON    N/A           NSHUT

0/FC4     NC6-FC-B2B              POWERED_ON    N/A           NSHUT

0/FC5     NC6-FC                  OPERATIONAL   N/A           NSHUT

0/FT0     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT

0/FT1     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT

0/PT0     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

0/PT1     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

0/PT2     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT

次に、カード チップ コントローラ（CCC）インベントリ コマンドを調べて、カードの状態を確認します。

sysadmin-vm:0_RP0# show controller ccc inventory summary

CCC Inventory Summary :

BP                   HW

Location Card Type               ID    Serial Number  Ver   Card State

--------------------------------------------------------------------------------

0/RP0    NC6-RP (master)         0     SAD15270129    0.1   CARD_READY

0/RP1    NC6-RP (slave)          1     SAD1527012P    0.1   CARD_READY

0/FC0    NC6-FC                  8     SAD1618002F    0.2   WAIT_DEV_INIT

0/FC1    NC6-FC                  9     SAD153901ZT    0.2   WAIT_DEV_INIT

0/FC4    NC6-FC                  12    SAL1803KQEY    1.0   PON_POWERING_UP

0/FC5    NC6-FC                  13    SAD16180043    0.2   WAIT_DEV_INIT

0/0      NC6-10X100G-M-K         16    SAL1650UCN9    0.4   PXE_BOOTING

0/4      NC6-10X100G-M-K         20    SAD154502XU    0.1   CARD_READY

次に、さまざまなシナリオを示します。  また、次に示す予想される出力とトラブルシューティング手順も示します。

ラインカードが正常に起動した

sysadmin-vm:F0_SC0# show platform detail location 0/0

Platform Information for 0/0

PID :               NC6-10X100G-M-P

Description :       "NCS 6000 10x100G Multi-Service CXP"

VID/SN :            V01

HW Oper State :     OPERATIONAL

SW Oper State :     OPERATIONAL

Configuration :     "NSHUT RST"

HW Version :        1.0

Last Event :        HW_EVENT_OK

Last Event Reason : "Initial discovered state:BOOTED (card ok)"

Last EventとLast Event Reasonの出力は、カードが正常であることを示しています。show reboot historyコマンドを実行して、この特定のカードに過去に問題が発生したかどうかを確認します。問題が発生している場合は、何が問題だったかを確認します。

sysadmin-vm:F0_SC0# show reboot-history card location 0/0

Card Reboot History for 0/0

0

Timestamp    "Fri Oct  2 15:15:26 2015"

Reason Code  7

Reason       "Install Activate System Reload"

Src Location ""

Src Name     INSTALL

Timestamp    "Tue Sep  8 18:56:29 2015"

Reason Code  7

Reason       "ADMIN CLI RELOAD ROUTER GRACEFUL"

Src Location ""

Src Name     "CONFD USER"

Aborted: by user

ラインカード0/0が動作可能で、最後のリロードの理由はインストール済みです。これは、基本的にSoftware Maintenance Update(SMU)のインストールまたはソフトウェアアップグレードが実行されたことを意味します。これは想定どおりであるため、このカードに問題は発生していません。

ドライバエラーによりファブリックカードが起動できない

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/FC2     UNKNOWN                 FAILED        N/A           NSHUT <-

sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2

Card Reboot History for 0/FC2

Timestamp    "Thu Oct  9 12:10:22 2014"

Reason Code  15  <--

"Board reload as devices not up on Fabric Card"

Src Location 0/FC0

Src Name     FAM_AGENT_CALV_DRIVER_SFE ß

この例では、sfe_driverが正しく初期化されていないため、FCカードが起動しませんでした。

CCCの観点からリセット履歴を表示するには、さらにコマンドをいくつか実行します。再起動履歴 CLI を CCC ドライバのリセット履歴 CLI とともに使用すると、カードのリロードの発生源と原因を特定できます。

次の 2 つのオプションがあります。

Onboard：このオプションを使用すると、カードがウォームリセット（CPUがリロードされただけ）された場合に情報を検索できます。

Onchip：カードがコールドリセット（カードが完全にリロードされた – ハードリセット）された場合に、このオプションを使用して情報を検索します。

以下に、いくつかの例を示します。

sysadmin-vm:F0_SC0# show controller ccc reset-history on

Possible completions:

onboard   CCC Reset history in onboard EEPROM detail information

onchip    On-chip reset history entries since last CCC Cold Reset

sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0

****************************************************

***   On Chip Reset History for location 0/0   ***

****************************************************

TimeofDay    : Tue Oct 20 17:17:40 2015

Uptime       : 18 days 02:01:59 <--

Resets       : 2

Reset           Reset        Reset

idx Source          Command      Time

--- --------------- ------------ -------------------

0   ColdRst         AssrtHR      2015/10/02 15:15:43

1   ColdRst         DeAssrtHR    2015/10/02 15:15:50 --> List reset source as "ColdRst"

sysadmin-vm:F0_SC0# show controller ccc reset-history onboard  location 0/0

*****************************************************

***   On Board Reset History for location 0/0   ***

*****************************************************

Scratch EEPROM Magic   : PON

Scratch EEPROM Version : 0x00014000

Reset History Magic    : HIST

Number of Resets       : 102    <---

Reset           Reset        Reset

idx Source          Command      Time

--- --------------- ------------ -------------------

0   ColdRst         AssrtHR      1970/01/01  0:00:00 <-- ColdRst

1   ColdRst         DeAssrtHR    1970/01/01  0:00:06

2   ColdRst         AssrtHR      1970/01/01  0:00:00

3   ColdRst         DeAssrtHR    1970/01/01  0:00:06

4   WarmRst         AssrtHR      1970/05/03  7:21:55 <-- WarmRst

<output omitted>

ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.

さらに、実行されたリセット操作ごとに 2 つの固有のエントリがあります。つまり AssrtHR 操作と DeAssrtHR 操作です。これは、リセット信号がアサートされ、その後デアサートされたことを意味します。したがって、チップはリセットを完了します。

これらの各操作のタイムスタンプをメモします。この CLI を CCC インベントリ ステータス CLI と組み合わせると、リセットが発生した日時、およびカードが稼働状態または停止状態だった時間の長さを判別できます。

次に、カードがリロードプロセス時に通過したCCCステージを確認します。次に、さまざまな状態の例を示します。

CCC の観点から正常に起動したカード：

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Current State: CARD_READY

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/02  15:16:55.234  WAIT_BOOT_IMAGE         ev_boot_ssd_image

10/02  15:16:54.233  BIOS_STARTED            if_wait_ssd_image_booting

10/02  15:16:54.233  CPU_READY               if_bios_started

10/02  15:16:54.231  OIR_INSERT_NOTIF        if_cpu_is_ready

10/02  15:16:54.217  CCC_DRIVER_INIT         if_oir_insert_notif_not_done

10/02  15:16:54.195  PON_POWERED_ON          to_ccc_driver_init

10/02  15:16:54.195  CHECK_CCC_STATUS        if_pon_powered_on

10/02  15:16:54.194  READ_IDPROM             ev_idprom_available

10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done

10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available

10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready

10/02  15:16:52.537  IDLE                    ev_presence_scan

現在 PXE_BOOTING 段階にあるカード：

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3

CCC Card Event History for: 0/3

Current State: PXE_BOOTING

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

08/07  19:50:40.607  BIOS_STARTED            if_internal_pxe_booting

08/07  19:50:40.607  WAIT_BIOS_START         ev_bios_started

08/07  19:50:18.605  CPU_READY               if_bios_not_started

08/07  19:50:18.595  CCC_DRIVER_INIT         if_cpu_is_ready

08/07  19:50:18.568  PON_POWERED_ON          to_ccc_driver_init

08/07  19:50:18.568  CHECK_CCC_STATUS        if_pon_powered_on

08/07  19:50:18.567  GET_CCC_INFO            ev_get_ccc_info_done

08/07  19:50:18.550  WAIT_ETH_READY          ev_eth_ready

08/07  19:50:18.550  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/07  19:50:18.517  PON_UP_WARM             ev_ccc_reset_done

08/07  19:50:12.627  PON_DOWN_WARM           ev_pon_up_warm

08/07  19:50:08.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:07.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:06.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:05.239  PON_DOWN_WARM           ev_warm_reset_req_ignored

08/07  19:50:04.238  PON_DOWN_WARM           ev_warm_reset_req_ignored

GET_CCC_INFO でスタックしているチップが原因で起動できないカード：

sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6

CCC Card Event History for: 3/6

Card Event History as seen by Master (3/RP0)

Current State: GET_CCC_INFO

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/26  23:43:04.559  UBLAZE_NOT_READY        ev_timer_expired

10/26  23:42:34.559  CHECK_UBLAZE_BOOT       ev_timer_expired

10/26  23:42:24.528  WAIT_CCC_READY          ev_ccc_ready

10/26  23:42:21.516  RECOVERY_RESET          ev_timer_expired

10/26  23:42:03.516  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed

10/26  23:41:52.480  WAIT_CCC_READY          ev_ccc_ready

10/26  23:41:49.468  RECOVERY_RESET          ev_timer_expired

10/26  23:41:32.467  WAIT_CCC_READY          ev_no_fpga_ok_signal

10/26  23:41:29.456  RECOVERY_RESET          ev_timer_expired

10/26  23:41:13.455  WAIT_CCC_READY          ev_no_fpga_ok_signal

10/26  23:41:10.444  RECOVERY_RESET          ev_timer_expired

10/26  23:40:55.444  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed

10/26  23:40:55.439  WAIT_CCC_READY          ev_ccc_ready

10/26  23:40:52.320  IDLE                    ev_presence_scan

POWER_UP_FAILED 状態が原因で起動できないカード：

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2

CCC Card Event History for: 0/2

Current State: POWER_UP_FAILED

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

08/05  14:55:17.449  POWER_UP_FAILED         ev_wdog_timeout

08/05  14:45:31.265  CCC_DRIVER_INIT         if_pwr_up_failed

08/05  14:45:31.260  CHECK_CCC_STATUS        if_pwr_up_failed_again

08/05  14:45:31.258  GET_CCC_INFO            ev_get_ccc_info_done

08/05  14:45:31.223  WAIT_ETH_READY          ev_eth_ready

08/05  14:45:31.157  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/05  14:45:31.124  PON_UP_WARM             ev_ccc_reset_done

08/05  14:45:17.489  CCC_IN_RESET            ev_pon_up_warm

08/05  14:45:08.921  POWER_UP_FAILED         ev_pon_down_warm

08/05  14:35:07.152  POWER_UP_FAILED         ev_wdog_timeout

08/05  14:25:20.946  CCC_DRIVER_INIT         if_pwr_up_failed

08/05  14:25:20.941  CHECK_CCC_STATUS        if_pwr_up_failed_again

08/05  14:25:20.939  GET_CCC_INFO            ev_get_ccc_info_done

08/05  14:25:20.923  WAIT_ETH_READY          ev_eth_ready

08/05  14:25:20.887  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

08/05  14:25:20.830  PON_UP_WARM             ev_ccc_reset_done

Aborted: by user

このコマンドをbriefオプションとともに使用する場合、問題の根本原因に関連する完全なデータは提供されません。そのような情報を入手するには、brief キーワードを detail に置き換えます。

注：これは、カードがCCCレベルで起動しない場合のトラブルシューティングで最も重要なCLIです。

障害の詳細な説明を得るには、[Event Desc]と[Reason of the failure]に注目してください。

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Event buffer info:

Total number of events recorded: 13

Number of events available for display: 13

Current State: CARD_READY

EVENT #: 12 (record index = 12)

TIMESTAMP: 2015/10/02 15:16:55.234814 UTC

STATE: WAIT_BOOT_IMAGE

EVENT: ev_boot_ssd_image

EVENT DESC: SSD image is booting

EVENT #: 11 (record index = 11)

TIMESTAMP: 2015/10/02 15:16:54.233898 UTC

STATE: BIOS_STARTED

EVENT: if_wait_ssd_image_booting

EVENT #: 10 (record index = 10)

TIMESTAMP: 2015/10/02 15:16:54.233855 UTC

STATE: CPU_READY

EVENT: if_bios_started

EVENT #: 9 (record index = 9)

TIMESTAMP: 2015/10/02 15:16:54.231426 UTC

STATE: OIR_INSERT_NOTIF

EVENT: if_cpu_is_ready

EVENT #: 8 (record index = 8)

TIMESTAMP: 2015/10/02 15:16:54.217351 UTC

STATE: CCC_DRIVER_INIT

EVENT: if_oir_insert_notif_not_done

EVENT #: 7 (record index = 7)

TIMESTAMP: 2015/10/02 15:16:54.195808 UTC

STATE: PON_POWERED_ON

EVENT: to_ccc_driver_init

EVENT #: 6 (record index = 6)

TIMESTAMP: 2015/10/02 15:16:54.195786 UTC

STATE: CHECK_CCC_STATUS

さまざまなシナリオの出力例を次に示します。

電源の問題が原因で起動せず、POWER_UP_FAILED でスタックしているカード：

障害の詳細情報を得るには ERROR_INFO に注目してください。

sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2

CCC Card Event History for: 0/2

Event buffer info:

Total number of events recorded: 692

Number of events available for display: 255

Current State: POWER_UP_FAILED

EVENT #: 691 (record index = 179)

TIMESTAMP: 2014/08/05 14:55:17.449979 UTC

STATE: POWER_UP_FAILED

EVENT: ev_wdog_timeout

EVENT DESC: CCC watchdog timeout event

ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0

<output omitted>

起動せず、CCC_NOT_READY（チップの問題）でスタックしているカード：

sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2

CCC Card Event History for: 0/FC2

Event buffer info:

Total number of events recorded: 2

Number of events available for display: 2

Current State: CCC_NOT_READY

EVENT #: 1 (record index = 1)

TIMESTAMP: 2014/08/04 14:10:49.891845 UTC

STATE: WAIT_CCC_READY

EVENT: ev_ccc_ready_timeout

EVENT DESC: Timeout waiting for CCC to be ready

ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß

<output omitted>

カードを取り外して挿入し直す必要が生じることがあります。これに関して、CCC コンポーネントは、特定のラック トラッキング カード挿入/削除の OIR 履歴を提供します。キーワードslaveが使用されていることに注意してください。これにより、スタンバイ RP での情報が得られます。

sysadmin-vm:0_RP0# show controller ccc oir-history rack 0

Cards OIR History of rack: 0

OIR Events as seen by Master (0/RP0)-  View from the Active RP

DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO

-----  ------------   ----------   -----   ------------------   -----------

10/09  16:59:14.280   INSERTED     0/0     NC6-10X100G-M-K     SAL1650UCN9

10/09  16:58:49.064   REMOVED      0/0     NC6-10X100G-M-K     SAL1650UCN9

<output omitted>

sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0

Cards OIR History of rack: 0

OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP

DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO

-----  ------------   ----------   -----   ------------------   -----------

11/06  05:54:31.374   DISCOVERED   0/2     NC6-10X100G-M-K     SAD161300XK

11/06  05:53:37.442   DISCOVERED   0/6     NC6-10X100G-M-K      SAL1649TN46

<output omitted>

両方の RP で情報が同じである必要があります。

このコマンドの組み合わせを使用すると、ファブリックカードがブートできなかった原因の根本原因を特定できます。

カードが POWEROFF または PRESENT STATE でスタックしている

カードがPOWEROFF/PRESENT STATEでスタックしている場合は、複数のリセットが発生し、shelf_mgrによって電源がオフになった可能性が非常に高いです。

問題の根本原因を特定するには、次のコマンドを発行します。

1. Collect show tech ctrace from Sysadmin VM

2. show platform detail location <>

3. show reboot-history card location <>（RESETプロセスの実行回数を調べます）

4. show controller ccc event-history detail location <>

5. show controller ccc reset-history onboard  location <>

hw-module resetコマンドを使用してカードをリセットでき、このドキュメントで後述するrconsole手順を使用してブートプロセスを確認できます。

sysadmin-vm:F0_SC0# hw-module location 0/0 reload

Reload hardware module ? [no,yes] Yes

カードが POWER_ON STATE でスタックしている

カードが POWERED_ON でスタックしている場合は、他のドライバの動作を開始するのに必要な基本的な電源ゾーンを CCC がオンにしたことを意味します。カードを動作状態に移行するのは、それぞれのドライバの責任です。

SFE ドライバは FC を OPERATIONAL 状態に移行させます。その前に、そのカード上のすべての内部デバイス（ASIC とも呼ばれる）を検出して初期化します。

ESD ドライバは、SC-SW カードと Scapa の LC を OPERATIONAL 状態に移行します（SFE ドライバとは異なり、確認または初期化する項目がないため、ほぼ即時に移行します）。

カードが POWERED_ON 状態でスタックしている場合は、上記のいずれかのドライバがカードを OPERATIONAL 状態に移行できないことを意味します。CPU のないカードで、より頻繁に問題が発生します。例：ファブリック カードまたは SC のスイッチ カード（SC-SW）。

最初のステップは、ccc event-historyコマンドを確認することです。

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Event buffer info:

Total number of events recorded: 13

Number of events available for display: 13

<output ommited>

EVENT #: 7 (record index = 7)

TIMESTAMP: 2015/10/02 15:16:54.195808 UTC

STATE: PON_POWERED_ON

EVENT: to_ccc_driver_init

次に、必要な基本的な電源ゾーンを検証します：

sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c

Register    Register

Address     Value

------------------------

0x4C        0x3           - zones 0 and 1 OK

sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50

Register    Register

Address     Value

------------------------

0x50        0x3           - zone 0 and 1 Enabled

sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0

Power detail : Zone information for 0/RP0:

---------------------------------------------------------

| Power Zone | Power Status | Power Contrl | Power Fault |

---------------------------------------------------------

|   0        |   OK         |   SET        |   --        |  - Power Status OK

|   1        |   OK         |   SET        |   --        |  - Power Status OK

sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0

CCC IO Expander information for location: 0/0

------------------------------------------------------

Port 0: 0x3e

Port Bit I/O Val Bit Name

-------------------------------------

P0   0   O   0   Power Cycle

P0   1   I   1   FPGA OK

P0   2   I   1   uBlaze OK

P0   3   I   1   Clock OK

P0   4   I   1   Core Volt OK

P0   5   I   1   OTH Volt0 OK

P0   6   I   0   OTH Volt1 NOT OK

P0   7   I   0   OTH Volt2 NOT OK

Port 1: 0x3

Port Bit I/O Val Bit Name

-------------------------------------

P1   0   I   1   FPGA INIT OK

この検証によって根本原因が判明しない場合は、次のステップとしてTACサービスリクエストをオープンします。

カードが SW_INACTIVE STATE でスタックしている

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

--------------------------------------------------------------------- -------

0/1       P-L-10X100G-F-P         POWERED_OFF   SW_INACTIVE   SHUT

0/RP0     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/FC0     P-L-FC-S                OPERATIONAL   N/A           NSHUT

0/FC1     P-L-FC-S                OPERATIONAL   N/A           NSHUT

0/FT0     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

0/FT1     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

障害の理由として以下が考えられます。

- SSDアクセスの問題により、ホストOSが起動しない

- ハードウェアの問題により、ホストOSのブートがスタックする

- SysAdmin VMを生成できませんでした

- コントロールイーサネット接続の問題

- ソフトウェア障害が原因でカード MAC/IP がプログラムされない

- CCC Power-On interpreterによってイーサネットスイッチが正しくプログラムされない

- CCC SPIフラッシュでESDカラースイッチイメージのプログラムに失敗しました

シナリオ1.SW_EVENT_FAILURE:shelf_mgr syslog によって SW_EVENT_ADMIN_VM_FAILURE が報告された

sysadmin-vm:0_RP0# show platform

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/1       PROTO-CXP-2XPITA        OPERATIONAL   OPERATIONAL   NSHUT

0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT

0/RP1     NC6-RP                  OPERATIONAL   SW_INACTIVE   NSHUT

0/FC0     NC6-FC-MC               OPERATIONAL   N/A           NSHUT

0/CI0     P-L-CRFT                OPERATIONAL   N/A           NSHUT

0/FT0     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT

0/FT1     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT

RP1がブートしない理由には、いくつかの理由があります。この問題を見つける最も簡単な方法は、RPでrconsoleを実行してログオンを確認することです（このドキュメントの最後にあるrconsoleの手順を参照してください）。

シナリオ2:LCがFAILED状態のままになる、最後のイベント：HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

HW状態がFAILED、SW状態がSW_INACTIVEであることを確認します。

sysadmin-vm:0_RP0# show platform location 0/1

Location  Card Type               HW State      SW State      Config State

----------------------------------------------------------------------------

0/1       NC6-60X10GE-M-S         FAILED        SW_INACTIVE   NSHUT

次のコマンドを実行し、[Last Even Reason]をオンにします。

sysadmin-vm:0_RP0# show platform detail location 0/1

Platform Information for 0/1

PID :               NC6-60X10GE-M-S

Description :       "NCS 6000 60x10G Multi-Service SFP+"

VID/SN :            V01

HW Oper State :     FAILED

SW Oper State :     SW_INACTIVE

Configuration :     "NSHUT RST"

HW Version :        0.6

Last Event :        HW_EVENT_FAILURE

Last Event Reason : "pon exit  <-- UP_WARM_RESET cnt=123  fail_code=LC_POWER_MAIN_FAULT"

sysadmin-vm:0_RP0#

該当するカードのsyslogをフィルタリングして、ログメッセージを確認します。

0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.

0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7

0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1

0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED

0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1

0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1

0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.

0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED

0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit  <-- UP_WARM_RESET cnt=4  fail_code=LC_POWER_MAIN_FAULT' for card 0/1

show reboot historyコマンドを実行し、AssrtHRメッセージとDeAssrtHRメッセージの間に大きな時間差があるかどうかを確認します。これは、VM間に内部接続の問題があるためと考えられます。

sysadmin-vm:0_RP0#show reboot-history card location 0/1

Reset history example: every 20 mins for 2 hours before it recovered:

33  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014

34  0    WarmRst      AssrtHR      0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014

35  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014

36  0    WarmRst      AssrtHR      0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014

カードがUNKNOWN状態のままになる

カードから管理状態がUNKNOWNと報告された場合、CCCはボードからIDPROMを読み取れなかったため、カードはブートを完了できません。このような場合は、指定された場所で次のコマンドを実行します。

RP/0/RP0/CPU0:A41-PE1#show platform

Node name         Node type             Node state       Admin state   Config state

-----------------------------------------------------------------------------------

0/RP1             NC6-RP                OPERATIONAL      UNKNOWN

0/FC1             NC6-FC                OPERATIONAL      UNKNOWN

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

CCC Card Event History for: 0/0

Card Event History as seen by Master (0/RP1)

Current State: CARD_READY

DATE   TIME (UTC)    STATE                   EVENT

-----  ------------  ----------------------  ------------------------------

10/02  15:16:54.194  READ_IDPROM             ev_idprom_available

10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done

10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available

10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok

10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready

10/02  15:16:52.537  IDLE                    ev_presence_scan

次に、rconsoleを使用して、ブートアッププロセス時にLCでCCCが実行されているかどうかを確認します。

1. SysadminVMでプロセスIDを収集します。

sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0

----------------------------------------------------------------------

PID: 2525

Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/sbin/ccc_driver

Instance #: 0

Respawn: ON

Respawn count: 1

Max. spawns per 4 mins: 4

Last started: 10/02/2015 15:17:23.000

Process state: Run

startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/etc/startup/ccc_driver.startup

Ready: 5s

2.次のコマンドを使用してLCにRconsoleを実行します。

sysadmin-vm:F0_SC0# attach location 0/RP0

[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash

[sysadmin-vm:0_RP0:~]$ chvrf 0 bash

[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0

Connecting to location 0/0 (backplane-slotid 16, console 0)

Escape sequence is "end"

Waiting for card info from CCC-driver for slot 16

Got card info from CCC-driver for slot 16

IOS Build Date : 04/22/2015 by lchinnad

System Memory Speed : 1334 MHz

Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz

Press F12 to goto Boot Manager..

Booting System Host OS..

Waiting For CCC Valid Time of Day..

Waiting For CCC Valid Time of Day..

CCC Time: Fri Oct 2 15:16:54 2015

GNU GRUB version 2.00

Press F2 to goto grub Menu..

Booting from Disk..

Loading Kernel..

Loading initrd..

[    1.949229] i8042: No controller found

Starting udev: [  OK  ]

Switching to new root and running init.

Starting udev: [  OK  ]

Actual changes:

large-receive-offload: off [requested on]

ntuple-filters: on

Setting hostname host:  [  OK  ]

Checking filesystems:[  OK  ]

Entering non-interactive startup

Bringing up loopback interface:  [  OK  ]

Bringing up interface eth0:  Device eth0 does not seem to be present, delaying initialization.

[FAILED]

Starting system logger: [  OK  ]

Starting kernel logger: [  OK  ]

Starting kdump:[  OK  ]

Starting system message bus: [  OK  ]

Starting smartd: [  OK  ]

Generating SSH1 RSA host key: [  OK  ]

Generating SSH2 RSA host key: [  OK  ]

Generating SSH2 DSA host key: [  OK  ]

Starting sshd: [  OK  ]

Starting xinetd: [  OK  ]

Starting crond: [  OK  ]

Starting libvirtd daemon: [  OK  ]

Starting NCS6k programs for LC on hostos: [  OK  ]

mcelog start/running, process 2637

Creating default host password file

serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649

host login: root

Password:

[host:~]$

[host:~]$

[host:~]$ telnet 0 50001 <-- to get to Calvados

Trying 0.0.0.0...

Connected to 0.

Escape character is '^]'.

sysadmin-vm:0_0 login:

sysadmin-vm:0_0 login: root

Password:

[sysadmin-vm:0_0:~]$ pgrep ccc  <- use pgrep to check if the process is running

2525

[sysadmin-vm:0_0:~]$ exit

logout

RCONSOLEツールの使用

カードが起動できない場合、NCS6008には内蔵機能が搭載されており、カード上でリモートコンソールを実行する機能が提供され、カードがスタックして起動できない理由が確認されます。この機能はRCONSOLEと呼ばれ、次にその使用例を示します。

特定の LC で rconsole を実行する手順：

1. [SysadminVM]に移動します

2. アクティブ RP に接続します.

3. グローバル VRF chvrf 0 bash に変更します

4. /opt/cisco/calvados/sbin/rconsole -l（ラインカード）を実行します。

例：

RP/1/RP1/CPU0:6008-B#admin

sysadmin-vm:F0_SC0#

sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole

Tue Oct  20 18:23:54.740 UTC

[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash

[sysadmin-vm:0_RP0:~]$ chvrf 0 bash

[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0

Connecting to location 0/0 (backplane-slotid 16, console 0)

Escape sequence is "end"

Waiting for card info from CCC-driver for slot 16

カードの現在の状態を判別し、スタックしいる場所を確認するために、この手順が TAC で広く使用されます。

TACケースをオープンする前に収集するコマンドのリスト

XR VM：

show platform

show install active

Show version

Show reboot history location 0/0/cpu0

dir misc/disk1

show cli history detail

Show log

show tech-support npu

SysAdmin VM：

show platform detail

show platform slices

show install active

show sdr default-sdr reboot-history

show reboot-history card location <>

show controller ccc reset-history onbo loc <>

show controller ccc reset-history onch loc <>

show controller ccc event-history detail location <>

show tech-support ccc

show tech-support Hbloss

show tech-support slice_manager

show tech-support ctrace

show tech-support sdr_mgr

show log