目錄

簡介

調試機箱問題

風扇問題

電源

溫度或熱量

調試Supervisor模組問題

交換器/Supervisor重設/重新載入

啟用的監督器啟動

備用管理引擎啟動

活動Supervisor重新啟動

簡介

本文檔介紹Nexus 7000(N7K)硬體的故障排除技術。

調試機箱問題

風扇問題

此命令顯示交換機上的風扇模組狀態。

SITE1-AGG1# show environment fan

Fan:

------------------------------------------------------

Fan             Model                Hw         Status

------------------------------------------------------

Fan1(sys_fan1)  N7K-C7010-FAN-S      1.1        Ok

Fan2(sys_fan2)  N7K-C7010-FAN-S      1.1        Ok

Fan3(fab_fan1)  N7K-C7010-FAN-F      1.1        Ok

Fan4(fab_fan2)  N7K-C7010-FAN-F      1.1        Ok

Fan_in_PS1      --                   --         Ok

Fan_in_PS2      --                   --         Ok

Fan_in_PS3      --                   --         Shutdown

Fan Zone Speed: Zone 1: 0x78 Zone 2: 0x58

Fan Air Filter : Present

風扇狀態可以是「正常」、「故障」或「不存在」。

- 正常 — 所有風扇（包括風扇控制器）均工作正常

- 故障 — 一個或多個風扇或風扇控制器出現故障。軟體無法確定是單個風扇、多個風扇還是所有風扇出現故障。如果至少有一個風扇出現故障，則顯示此狀態。此時會輸出以下優先順序1系統日誌消息：風扇模組故障。

- 缺席 — 風扇模組已卸下。卸下風扇模組後，軟體將啟動5分鐘的倒計時；如果在5分鐘內未重新插入風扇模組，則整個交換機都關閉。軟體讀取串列電可擦除可程式設計只讀儲存器(SEEPROM)上的位元組以確定是否存在風扇模組。如果風扇模組已部分插入，或者軟體由於任何其他原因無法訪問風扇模組上的SEEPROM，則軟體無法將此情況與真正的風扇模組拆除區分開來。交換機將在5分鐘後關閉。如果軟體檢測到刪除，此優先順序0系統日誌消息每5秒列印一次。

“Fan module removed. Fan module has been absent for 120 seconds"

- 對於電源風扇故障，軟體不會執行任何明確操作，除非使用系統日誌消息指示此類故障。

電源

此命令顯示交換機上已安裝的電源、電源使用摘要和電源狀態。

提供了命令以及輸出示例。

SITE1-AGG1# show environment power

Power Supply:

Voltage: 50 Volts

Power                              Actual        Total

Supply    Model                    Output     Capacity    Status

(Watts )     (Watts )

-------  -------------------  -----------  -----------  --------------

1        N7K-AC-6.0KW              1179 W       6000 W     Ok

2        N7K-AC-6.0KW              1117 W       6000 W     Ok

3        N7K-AC-6.0KW                 0 W          0 W     Shutdown

Actual        Power

Module    Model                     Draw    Allocated    Status

(Watts )     (Watts )

-------  -------------------  -----------  -----------  --------------

1        N7K-M148GT-11              N/A          400 W    Powered-Up

3        N7K-M132XP-12              N/A          750 W    Powered-Up

4        N7K-F132XP-15              318 W        385 W    Powered-Up

5        N7K-SUP1                   N/A          210 W    Powered-Up

6        N7K-SUP1                   N/A          210 W    Powered-Up

10       N7K-M132XP-12L             535 W        750 W    Powered-Up

Xb1      N7K-C7010-FAB-1            N/A           80 W    Powered-Up

Xb2      N7K-C7010-FAB-1            N/A           80 W    Powered-Up

Xb3      N7K-C7010-FAB-1            N/A           80 W    Powered-Up

Xb4      xbar                       N/A           80 W    Absent

Xb5      xbar                       N/A           80 W    Absent

fan1     N7K-C7010-FAN-S            133 W        720 W    Powered-Up

fan2     N7K-C7010-FAN-S            133 W        720 W    Powered-Up

fan3     N7K-C7010-FAN-F             12 W        120 W    Powered-Up

fan4     N7K-C7010-FAN-F             12 W        120 W    Powered-Up

N/A - Per module power not available

Power Usage Summary:

--------------------

Power Supply redundancy mode (configured)                PS-Redundant

Power Supply redundancy mode (operational)               Non-Redundant

Total Power Capacity (based on configured mode)              12000 W

Total Power of all Inputs (cumulative)                       12000 W

Total Power Output (actual draw)                              2296 W

Total Power Allocated (budget)                                4785 W

Total Power Available for additional modules                  7215 W

電源狀態可以是以下其中一項：

- 正常 — 電源工作正常

- Fail/Shutdown — 電源發生故障，或者使用電源上的開關將其關閉。每當電源發生故障時，軟體都會列印此優先順序2 syslog消息；電源1出現故障或關閉（序列號xxxx）。

- 關機 — 軟體已關閉電源。僅當檢測到不匹配的電源對並且模式為冗餘或者從組合模式轉換到冗餘模式時，軟體才會關閉低容量電源。如果兩個電源的容量相同，或者組合了模式，軟體永遠不會關閉電源。此優先順序2系統日誌消息已列印並伴隨軟體電源關閉；檢測到電源1。這將減少系統可用的冗餘電源，並可能導致服務中斷（序列號xxxx）。

- Absent（缺電） — 電源不存在並已卸下。在拆除電源期間，會列印此優先順序2系統日誌消息；已卸下電源2（序列號xxxx）。

電源故障：

每個電源都有一個指示電源輸出狀態的LED。此LED由電源直接控制，紅色表示電源故障。掃描系統日誌時，可能會顯示有關電源故障和恢復的交替消息，以進一步指示與電源相關的問題。

溫度或熱量

機箱中的每個卡至少有兩個溫度感測器。每個溫度感測器配置有次要閾值和主要閾值。此命令連同輸出範例顯示如何從交換器擷取溫度資訊：

SITE1-AGG1# show environment temperature

Temperature:

--------------------------------------------------------------------

Module   Sensor        MajorThresh   MinorThres   CurTemp     Status

(Celsius)     (Celsius)    (Celsius)

--------------------------------------------------------------------

1        Crossbar(s5)    105             95          46         Ok

1        CTSdev4 (s9)    115             105         56         Ok

1        CTSdev5 (s10)   115             105         57         Ok

1        CTSdev7 (s12)   115             105         56         Ok

1        CTSdev9 (s14)   115             105         53         Ok

1        CTSdev10(s15)   115             105         53         Ok

1        CTSdev11(s16)   115             105         52         Ok

1        CTSdev12(s17)   115             105         51         Ok

1        QEng1Sn1(s18)   115             105         51         Ok

1        QEng1Sn2(s19)   115             105         50         Ok

1        QEng1Sn3(s20)   115             105         48         Ok

1        QEng1Sn4(s21)   115             105         48         Ok

1        L2Lookup(s22)   120             110         47         Ok

1        L3Lookup(s23)   120             110         54         Ok

3        Crossbar(s5)    105             95          50         Ok

3        QEng1Sn1(s12)   115             110         69         Ok

3        QEng1Sn2(s13)   115             110         67         Ok

3        QEng1Sn3(s14)   115             110         66         Ok

3        QEng1Sn4(s15)   115             110         67         Ok

3        QEng2Sn1(s16)   115             110         70         Ok

3        QEng2Sn2(s17)   115             110         67         Ok

3        QEng2Sn3(s18)   115             110         66         Ok

3        QEng2Sn4(s19)   115             110         67         Ok

3        L2Lookup(s27)   115             105         51         Ok

3        L3Lookup(s28)   120             110         64         Ok

4        Crossbar1(s1)   105             95          69         Ok

4        Crossbar2(s2)   105             95          52         Ok

4        L2dev1(s3)      105             95          37         Ok

4        L2dev2(s4)      105             95          43         Ok

4        L2dev3(s5)      105             95          45         Ok

4        L2dev4(s6)      105             95          45         Ok

4        L2dev5(s7)      105             95          40         Ok

4        L2dev6(s8)      105             95          41         Ok

4        L2dev7(s9)      105             95          42         Ok

4        L2dev8(s10)     105             95          40         Ok

4        L2dev9(s11)     105             95          38         Ok

4        L2dev10(s12)    105             95          38         Ok

4        L2dev11(s13)    105             95          38         Ok

4        L2dev12(s14)    105             95          37         Ok

4        L2dev13(s15)    105             95          34         Ok

4        L2dev14(s16)    105             95          33         Ok

4        L2dev15(s17)    105             95          33         Ok

4        L2dev16(s18)    105             95          32         Ok

5        Intake  (s3)    60              42          24         Ok

5        EOBC_MAC(s4)    105             95          42         Ok

5        CPU     (s5)    105             95          42         Ok

5        Crossbar(s6)    105             95          47         Ok

5        Arbiter (s7)    110             100         55         Ok

5        CTSdev1 (s8)    115             105         44         Ok

5        InbFPGA (s9)    105             95          43         Ok

5        QEng1Sn1(s10)   115             105         48         Ok

5        QEng1Sn2(s11)   115             105         46         Ok

5        QEng1Sn3(s12)   115             105         44         Ok

5        QEng1Sn4(s13)   115             105         44         Ok

6        Intake  (s3)    60              42          24         Ok

6        EOBC_MAC(s4)    105             95          40         Ok

6        CPU     (s5)    105             95          36         Ok

6        Crossbar(s6)    105             95          45         Ok

6        Arbiter (s7)    110             100         52         Ok

6        CTSdev1 (s8)    115             105         43         Ok

6        InbFPGA (s9)    105             95          43         Ok

6        QEng1Sn1(s10)   115             105         53         Ok

6        QEng1Sn2(s11)   115             105         51         Ok

6        QEng1Sn3(s12)   115             105         48         Ok

6        QEng1Sn4(s13)   115             105         48         Ok

10       Crossbar(s5)    105             95          46         Ok

10       QEng1Sn1(s12)   115             110         65         Ok

10       QEng1Sn2(s13)   115             110         62         Ok

10       QEng1Sn3(s14)   115             110         64         Ok

10       QEng1Sn4(s15)   115             110         65         Ok

10       QEng2Sn1(s16)   115             110         65         Ok

10       QEng2Sn2(s17)   115             110         63         Ok

10       QEng2Sn3(s18)   115             110         64         Ok

10       QEng2Sn4(s19)   115             110         65         Ok

10       L2Lookup(s27)   115             105         51         Ok

10       L3Lookup(s28)   120             110         71         Ok

xbar-1   Intake  (s2)    60              42          27         Ok

xbar-1   Crossbar(s3)    105             95          55         Ok

xbar-2   Intake  (s2)    60              42          25         Ok

xbar-2   Crossbar(s3)    105             95          49         Ok

xbar-3   Intake  (s2)    60              42          26         Ok

xbar-3   Crossbar(s3)    105             95          47         Ok

進氣感測器放置在氣流進氣口，是卡溫度的最關鍵指示器。所有軟體操作都基於進氣感測器的嚴重溫度違規而採取。

- 非進氣感測器上所有次要閾值違規和主要閾值違規

這會導致系統日誌消息、callhome事件和簡單網路管理協定(SNMP)陷阱。此優先順序1或2消息顯示在系統日誌中 — 模組1報告的主要溫度警報（感測器指數1溫度76）。

- 進氣感測器上的線路卡上的主溫度閾值違規

線路卡會立即關閉，並且此優先順序為0的syslog消息 — 模組1因主溫度報警而關閉。

- 進氣感測器上冗餘管理引擎上的主溫度閾值違規

冗餘Supervisor立即關閉。這將導致切換或備用裝置關閉，具體取決於違反閾值的特定Supervisor。系統會顯示此優先順序0系統日誌消息 — 模組1由於主溫度警報而關閉。

- 溫度感測器故障

有時，溫度感測器會故障而無法訪問。未對此條件執行任何顯式軟體操作。此時會顯示「Priority 4 syslog（優先順序4）」消息 — 模組1溫度感測器出現故障。

調試Supervisor模組問題

交換器/Supervisor重設/重新載入

調試交換機/Supervisor級別重置/重新載入通常需要檢視儲存在Supervisor上的非易失性隨機訪問儲存器(NVRAM)中的調試/日誌資訊。NVRAM中存在3種調試/日誌資訊，它們可能包含一些重要資訊。

1.1重置原因

重置原因儲存在每個Supervisor上的Supervisor NVRAM中。每個Supervisor儲存其自己的重置原因。交換器重新開機後，可以使用此CLI指令轉儲重設原因。提供了示例輸出。

SITE1-AGG1# show system reset-reason

----- reset reason for Supervisor-module 5 (from Supervisor in slot 5) ---

1) No time

Reason: Unknown

Service:

Version: 6.1(2)

2) No time

Reason: Unknown

Service:

Version: 6.1(1)

3) At 246445 usecs after Wed Nov  7 21:26:59 2012

Reason: Reset triggered due to Switchover Request by User

Service: SAP(93): Swover due to install

Version: 6.1(2)

4) At 36164 usecs after Tue Nov  6 01:18:15 2012

Reason: Reset Requested by CLI command reload

Service:

Version: 5.2(1)

----- reset reason for Supervisor-module 5 (from Supervisor in slot 6) ---

1) At 939785 usecs after Wed Nov  7 22:28:36 2012

Reason: Reset due to upgrade

Service:

Version: 6.1(1)

2) At 687128 usecs after Thu Mar 29 18:06:34 2012

Reason: Reset of standby by active sup due to sysmgr timeout

Service:

Version: 6.0(2)

3) At 10012 usecs after Thu Mar 29 17:56:13 2012

Reason: Reset of standby by active sup due to sysmgr timeout

Service:

Version: 6.0(2)

4) At 210045 usecs after Thu Mar 29 17:45:51 2012

Reason: Reset of standby by active sup due to sysmgr timeout

Service:

Version: 6.0(2)

----- reset reason for Supervisor-module 6 (from Supervisor in slot 5) ---

1) At 50770 usecs after Wed Nov  7 21:12:19 2012

Reason: Reset due to upgrade

Service:

Version: 6.1(2)

2) At 434294 usecs after Mon Nov  5 22:10:16 2012

Reason: Reset due to upgrade

Service:

Version: 5.2(1)

3) At 518 usecs after Mon Nov  5 21:21:51 2012

Reason: Reset Requested by CLI command reload

Service:

Version: 5.2(7)

4) At 556934 usecs after Mon Nov  5 21:12:15 2012

Reason: Reset due to upgrade

Service:

Version: 5.2(1)

----- reset reason for Supervisor-module 6 (from Supervisor in slot 6) ---

1) No time

Reason: Unknown

Service:

Version: 6.1(2)

2) At 462775 usecs after Wed Nov  7 22:38:44 2012

Reason: Reset triggered due to Switchover Request by User

Service: SAP(93): Swover due to install

Version: 6.1(1)

3) No time

Reason: Unknown

Service:

Version: 6.1(2)

4) No time

Reason: Unknown

Service:

Version: 5.2(1)

最多可儲存並顯示前4個重置原因。重置原因包括：

- 重置/重新載入發生的時間戳

- 重置/重新載入卡的原因

- 導致重置/重新載入的服務 — 如果有

- 當時運行的軟體版本

有時會顯示Unknown的重置原因。軟體未知或超出軟體控制的重置原因歸類為「未知」。這些通常包括：

- 交換機的任何電源循環 — 包括電源的受控電源循環或電源故障導致的重置電源

- Supervisor上重置前面板重置按鈕

- 導致CPU/DRAM/IO重置或掛起的任何其他硬體故障

1.2 NVRAM系統日誌

優先順序0、1和2的系統日誌消息也會記錄到Supervisor的NVRAM中。交換器重新聯機後，可以使用此指令顯示NVRAM中的系統日誌訊息。系統會顯示命令和輸出範例：

SITE1-AGG1# show log nvram

2012 Nov 17 05:59:51 SITE1-AGG1 %$ VDC-1 %$ %SYSMGR-STANDBY-2-LAST_CORE_BASIC_TRACE: : PID 15681 with message 'Core detected due to hwclock crash'.

2012 Nov 17 12:07:11 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-2-LOG_CMP_UP: Connectivity Management processor(on module 5) is now UP

2012 Nov 17 12:07:56 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 1 has come online

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 1 ok (Serial number DTM131000A4)

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 1 ok

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 2 ok (Serial number DTM140700HS)

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 2 ok

2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_DETECT: Power supply 3 detected but shutdown (Serial number DTM1413004P)

2012 Nov 17 12:07:59 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 1 detected (Serial number JAF1308ABCS)

2012 Nov 17 12:08:01 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 2 detected (Serial number JAB120600NX)

2012 Nov 17 12:08:02 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 3 detected (Serial number JAF1508AJHN)

2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 1 detected (Serial number JAB121602HP) Module-Type 10/100/1000 Mbps Ethernet Module Model N7K-M148GT-11

2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 1 powered up (Serial number JAB121602HP)

2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 3 detected (Serial number JAF1441BSED) Module-Type 10 Gbps Ethernet Module Model N7K-M132XP-12

2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 4 detected (Serial number JAF1542ABML) Module-Type 1/10 Gbps Ethernet Module Model N7K-F132XP-15

2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 3 powered up (Serial number JAF1441BSED)

2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 4 powered up (Serial number JAF1542ABML)

2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 10 detected (Serial number JAF1521BNMK) Module-Type 10 Gbps Ethernet XL Module Model N7K-M132XP-12L

2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 10 powered up (Serial number JAF1521BNMK)

2012 Nov 17 12:08:30 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-STANDBY-2-LOG_CMP_UP: Connectivity Management processor(on module 6) is now UP

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 1 (Fan1(sys_fan1) fan) ok

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 2 (Fan2(sys_fan2) fan) ok

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 3 (Fan3(fab_fan1) fan) ok

2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 4 (Fan4(fab_fan2) fan) ok

2012 Nov 17 12:11:40 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 2 has come online

2012 Nov 17 12:12:31 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 3 has come online

2012 Nov 17 12:13:21 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 4 has come online

2012 Nov 17 13:10:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPMINALRM: Xbar-1 reported minor temperature alarm. Sensor=2 Temperature=43 MinThreshold=42

2012 Nov 17 19:56:35 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPOK: Xbar-1 recovered from minor temperature alarm. Sensor=2 Temperature=41 MinThreshold=42

掃描NVRAM系統日誌可能會提供有關導致交換機/Supervisor重新載入/重置的特定故障的詳細資訊。

1.3模組例外日誌

模組異常日誌是每個模組上所有錯誤和異常情況的完整日誌。有些例外是災難性的，有些例外會部分影響模組中的某些埠，有些例外則用於警告目的。每個日誌條目都有記錄異常的特定裝置、異常級別、錯誤代碼、受影響的埠、時間戳。例外記錄儲存在Supervisor上的NVRAM中，且可使用此CLI命令顯示。提供了示例輸出。

SITE1-AGG1# show module internal exceptionlog

********* Exception info for module 1 ********

exception information --- exception instance 1 ----

Module Slot Number: 1

Device Id         : 10

Device Name       : eobc

Device Errorcode  : 0xc0005043

Device ID         : 00 (0x00)

Device Instance   : 05 (0x05)

Dev Type (HW/SW)  : 00 (0x00)

ErrNum (devInfo)  : 67 (0x43)

System Errorcode  : 0x4042004d EOBC link failure

Error Type        : Warning

PhyPortLayer      : Ethernet

Port(s) Affected  : none

DSAP              : 0 (0x0)

UUID              : 0 (0x0)

Time              : Mon Nov  5 20:39:38 2012

(Ticks: 5098948A jiffies)

exception information --- exception instance 2 ----

Module Slot Number: 1

Device Id         : 10

Device Name       : eobc

Device Errorcode  : 0xc0005047

Device ID         : 00 (0x00)

Device Instance   : 05 (0x05)

Dev Type (HW/SW)  : 00 (0x00)

ErrNum (devInfo)  : 71 (0x47)

System Errorcode  : 0x4042004e EOBC heartbeat failure

Error Type        : Warning

PhyPortLayer      : Ethernet

Port(s) Affected  : none

DSAP              : 0 (0x0)

UUID              : 0 (0x0)

Time              : Mon Nov  5 20:39:37 2012

(Ticks: 50989489 jiffies)

例外日誌提供用於排除錯誤和例外情況故障的關鍵資訊。此處列出了一些裝置ID。

#define DEV_LINECARD_CTRL 1

#define DEV_SAHARA_FPGA 2

#define DEV_RIVIERA_ASIC 3

#define DEV_LUXOR_ASIC 4

#define DEV_FRONTIER_U_ASIC 5

#define DEV_FRONTIER_D_ASIC 6

#define DEV_ALADDIN_ASIC 7

#define DEV_SSA_ASIC 8

#define DEV_MIRAGE_ASIC 9

#define DEV_EOBC_MAC 10

#define DEV_SUPERVISOR_CTRL 11

#define DEV_BELLAGIO_ASIC 12

#define DEV_SIBYTE 13

#define DEV_FLAMINGO 14

#define DEV_FATW_CTRL 15

#define DEV_MGMT_MAC 16

#define DEV_MOD_RDN_CTRL 17

#define DEV_MOD_ENV 18

#define DEV_GG_FPGA 19

#define DEV_BALLY_MAIN_BOARD 20

#define DEV_BALLY_DAUGHTER_CARD 21

#define DEV_LOCAL_SSO_ASIC 22

#define DEV_REMOTE_SSO_ASIC 23

#define DEV_ID_UD_FIX_FPGA 24

#define DEV_ID_PM_FPGA 25 // PM - Power Mngmnt

#define DEV_ID_SUP_XBUS2 26

#define DEV_MARRIOTT_FPGA 27

#define DEV_REUSE_ME 28

#define DEV_GBIC 29

#define DEV_XGFC_FPGA 30

#define DEV_GNN_FPGA 31

#define DEV_SIBYTE_MEM_EPLD 32

#define DEV_BATTERY 33

#define DEV_IDE_DISK 45

#define DEV_XCVR 46

#define DEV_LINECARD 48

#define DEV_TEMP_SENSOR 49

#define DEV_HIFN_COMP 50

#define DEV_X2 51

在多層資料交換器(MDS)機箱中，監督器模組的設定與線路卡模組的設定略有不同。當系統中存在兩個監控器並且系統已啟動時，其中一個監控器將變為活動狀態，另一個處於備用狀態。主用管理引擎啟動和備用管理引擎啟動不同，此處將對此進行討論。

啟用的監督器啟動

如果系統中沒有活動的Supervisor，則啟動的Supervisor將預設為活動的Supervisor。稱為系統管理器的進程負責以有序方式載入管理引擎上的所有軟體元件。在Supervisor上運行的第一個軟體元件之一是平台管理器。此元件將載入所有核心驅動程式並通過系統管理器進行握手。在成功後，系統管理器將根據進程之間的內部依賴關係繼續運行並啟動其餘進程。

從模組管理器的角度來看，Supervisor就像另一個具有微妙差異的線卡模組。當平台管理器向模組管理器指示Supervisor處於UP狀態時，模組管理器不等待註冊。相反，它會通知所有軟體元件Supervisor已啟動（也稱為Sup Insertion Sequence）。 所有元件都將配置Supervisor。如果任何元件出現故障後恢復，Supervisor將重新啟動。

備用管理引擎啟動

如果系統中有一個活動的Supervisor，則正在啟動的Supervisor將預設為備用Supervisor狀態。備用Supervisor需要映象活動Supervisor的狀態。這是通過在主用模式下啟動「system manager」，將主用管理引擎狀態同步到備用管理引擎來實現的。一旦備用上的所有元件與主用Supervisor的元件同步，模組管理器就會收到備用管理引擎已啟動的通知。

模組管理器現在將繼續，並通知活動Supervisor上的所有軟體元件以配置備用Supervisor（也稱為備用Sup插入序列）。 任何元件在待命Sup插入過程中出現的錯誤都會導致備用Supervisor重新啟動。

活動Supervisor重新啟動

MDS在運行時維護大量調試資訊。但是，每當主管重新啟動時，許多調試資訊都將丟失。然而，所有關鍵資訊都儲存在非易失性ram中，這可用於重構故障。當作用中Supervisor重新啟動時，只有再次重新啟動後，才能獲取儲存在其nvram中的資訊。Supervisor再次啟動後，可以使用以下命令轉儲永久日誌：

Switch# show logging nvram

Switch# show system reset-reason

Switch# show module internal exception-log

範例 1：活動Sup重新啟動（由於Supervisor進程崩潰）

在此範例中，Supervisor Process crashed(Service "xbar")將導致活動sup重新啟動。當Supervisor再次啟動時，reset-reason中儲存的資訊會給出關於Supervisor重啟的清楚指示。

switch# show system reset-reason

----- reset reason for module 6 -----

1) At 94009 usecs after Tue Sep 27 18:52:13 2005

Reason: Reset triggered due to HA policy of Reset

Service: Service "xbar"

Version: 2.1(2)

如果系統中有備用管理引擎，則備用管理引擎現在將成為主用管理引擎。在備用Supervisor上顯示系統日誌資訊也會提供相同的資訊（雖然沒有明確顯示為「show system reset-reason」）。

Switch# show logging

2005 Sep 27 18:58:05 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 1225) hasn't caught signal 9 (no core).

2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2349) hasn't caught signal 9 (no core).

2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2352) hasn't caught signal 9 (no core).

範例 2：活動Sup重新啟動（由於運行時診斷失敗）

在本示例中，插槽6中的Supervisor處於活動狀態，Supervisor上的仲裁程式報告致命錯誤。當任何硬體裝置報告致命錯誤時，將重新啟動包含裝置的模組。在這種情況下，活動Supervisor將重新啟動。如果存在備用管理引擎，則備用管理引擎將接管。備用管理引擎和異常日誌上的系統日誌消息將包含用於識別錯誤源的資訊。

Switch# show logging

2005 Sep 28 14:17:47 172.20.150.204 %XBAR-5-XBAR_STATUS_REPORT: Module 6 reported status for component 12 code 0x60a02.

2005 Sep 28 14:17:59 172.20.150.204 %PORT-5-IF_UP: Interface mgmt0 on slot 5 is up

2005 Sep 28 14:18:00 172.20.150.204 %CALLHOME-2-EVENT: SUP_FAILURE

switch# show module internal exceptionlog module 6

********* Exception info for module 6 ********

exception information --- exception instance 1 ----

device id: 12

device errorcode: 0x80000020

system time: (1127917068 ticks) Wed Sep 28 14:17:48 2005

error type: FATAL error

Number Ports went bad:

1,2,3,4,5,6

exception information --- exception instance 2 ----

device id: 12

device errorcode: 0x00060a02

system time: (1127917067 ticks) Wed Sep 28 14:17:47 2005

error type: Warning

Number Ports went bad:

1,2,3,4,5,6

此外，重新引導的sup重新聯機時，「show system reset-reason」也會包含相關資訊。在這種情況下，模組6（是活動sup）由Sap 48重新啟動，錯誤代碼為0x80000020。擁有此sap的進程可通過命令「show system internal mts sup sap 48 description」獲得，該命令表明此進程是xbar-manager。

switch(standby)# show system reset-reason

----- reset reason for module 6 -----

1) At 552751 usecs after Wed Sep 28 14:17:48 2005

Reason: Reset Requested due to Fatal Module Error

Service: lcfail:80000020 sap:48 node:060

Version: 2.1(2)

範例 3:備用Sup無法聯機

在此範例中，作用中sup已啟動且正在運行，而備用sup已插入系統。但是show module並不表示該模組曾經啟動。

switch# show module

Mod Ports Module-Type Model Status

--- ----- -------------------------------- ------------------ ------------

5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *

8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)

--- ----------- ------ --------------------------------------------------

5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num

--- -------------------------------------- ----------

5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

但是，如果登入standby sup的主控台，它會顯示它為standby。

runlog>telnet sw4-ts 2004

Trying 172.22.22.55...

Connected to sw4-ts.cisco.com (172.22.22.55).

Escape character is '^]'.

MDS Switch

login: admin

Password:

Cisco Storage Area Networking Operating System (SAN-OS) Software

TAC support: http://www.cisco.com/tac

Copyright (c) 2002-2005, Cisco Systems, Inc. All rights reserved.

The copyrights to certain works contained herein are owned by

other third parties and are used and distributed under license.

Some parts of this software are covered under the GNU Public

License. A copy of the license is available at

http://www.gnu.org/licenses/gpl.html.

switch(standby)#

如前所述，當備用sup插入系統時，活動supervisor的所有元件的配置和狀態都會複製到備用(gsync)。 在此過程完成之前，活動Supervisor不考慮備用Supervisor。要驗證此過程是否完成，可以在活動Supervisor上發出以下命令。命令的輸出表明同步正在進行（可能從未完成）。

switch# show system redundancy status

Redundancy mode

---------------

administrative: HA

operational: None

This supervisor (sup-1)

-----------------------

Redundancy state: Active

Supervisor state: Active

Internal state: Active with HA standby

Other supervisor (sup-2)

------------------------

Redundancy state: Standby

Supervisor state: HA standby

Internal state: HA synchronization in progress

最有可能發生這種情況的原因是，如果備用裝置上的某個軟體元件無法將其狀態與活動Supervisor同步。要驗證哪些進程未同步，可以在活動Supervisor上發出此命令，輸出表明許多軟體元件尚未完成gsync。

switch# show system internal sysmgr gsyncstats

Name Gsync done Gsync time(sec)

---------------- ---------- -------------

aaa 1 0

ExceptionLog 1 0

platform 1 1

radius 1 0

securityd 1 0

SystemHealth 1 0

tacacs 0 N/A

acl 1 0

ascii-cfg 1 1

bios_daemon 0 N/A

bootvar 1 0

callhome 1 0

capability 1 0

cdp 1 0

cfs 1 0

cimserver 1 0

cimxmlserver 0 N/A

confcheck 1 0

core-dmon 1 0

core-client 0 N/A

device-alias 1 0

dpvm 0 N/A

dstats 1 0

epld_upgrade 0 N/A

epp 1 1

此外，通過檢視待命Supervisor，我們可以看到xbar軟體元件已重新啟動23次。這看起來很可能是待機未啟動的原因。

switch(standby)# show system internal sysmgr service all

Name UUID PID SAP state Start count

---------------- ---------- ------ ----- ----- -----------

aaa 0x000000B5 1458 111 s0009 1

ExceptionLog 0x00000050 [NA] [NA] s0002 None

platform 0x00000018 1064 39 s0009 1

radius 0x000000B7 1457 113 s0009 1

securityd 0x0000002A 1456 55 s0009 1

vsan 0x00000029 1436 15 s0009 1

vshd 0x00000028 1408 37 s0009 1

wwn 0x00000030 1435 114 s0009 1

xbar 0x00000017 [NA] [NA] s0017 23

xbar_client 0x00000049 1434 917 s0009 1

範例 3:待命Sup處於通電狀態

在本範例中，待命sup插入插槽6。在active-sup上發出的show module命令，顯示待命Sup處於開機狀態。

switch# show module

Mod Ports Module-Type Model Status

--- ----- -------------------------------- ------------------ ------------

5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active *

6 0 Supervisor/Fabric-1 powered-up

8 8 IP Storage Services Module powered-dn

Mod Sw Hw World-Wide-Name(s) (WWN)

--- ----------- ------ --------------------------------------------------

5 2.1(2) 1.1 --

Mod MAC-Address(es) Serial-Num

--- -------------------------------------- ----------

5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG

在本例中，show logging不提供任何有價值的資訊，show module internal exception-log也不提供。但是，由於給定模組的所有狀態轉換都儲存在模組管理器中，因此我們可以檢視模組管理器的狀態轉換，找出錯誤所在。內部狀態轉換包括：

Switch# show module internal event-history module 5

64) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563504 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_LC_NOT_PRESENT]

Triggered event: [LCM_EV_PFM_MODULE_SUP_INSERTED]

Next state: [LCM_ST_SUPERVISOR_INSERTED]

65) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563944 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_SUPERVISOR_INSERTED]

Triggered event: [LCM_EV_START_SUP_INSERTED_SEQUENCE]

Next state: [LCM_ST_CHECK_INSERT_SEQUENCE]

66) Event:ESQ_START length:32, at 564045 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2710, Ret:success

Seq Type:SERIAL

67) Event:ESQ_REQ length:32, at 564422 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

68) Event:ESQ_RSP length:32, at 566174 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081)

69) Event:ESQ_REQ length:32, at 566346 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2, Ret:success

[E_MTS_TX] Dst:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

70) Event:ESQ_RSP length:32, at 566635 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2, Ret:success

[E_MTS_RX] Src:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081)

71) Event:ESQ_REQ length:32, at 566772 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x3, Ret:success

[E_MTS_TX] Dst:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

73) Event:ESQ_RSP length:32, at 586418 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x3, Ret:(null)

[E_MTS_RX] Src:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081)

74) FSM:<ID(1): Slot 6, node 0x0601> Transition at 586436 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_CHECK_INSERT_SEQUENCE]

Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]

Next state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]

75) Event:ESQ_START length:32, at 586611 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x2710, Ret:success

Seq Type:SERIAL

76) Event:ESQ_REQ length:32, at 593649 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

77) Event:ESQ_RSP length:32, at 594854 usecs after Wed Sep 28 14:44:53 2005

Instance:1, Seq Id:0x1, Ret:success

[E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082)

90) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604447 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_CHECK_REMOVAL_SEQUENCE]

Triggered event: [LCM_EV_ALL_LC_REMOVED_RESP_RECEIVED]

Next state: [LCM_ST_LC_FAILURE]

91) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604501 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_LC_FAILURE]

Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED]

Next state: [LCM_ST_LC_FAILURE]

92) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604518 usecs after Wed Sep 28 14:44:53 2005

Previous state: [LCM_ST_LC_FAILURE]

Triggered event: [LCM_EV_SUPERVISOR_FAILURE]

Next state: [LCM_ST_LC_NOT_PRESENT]

Curr state: [LCM_ST_LC_NOT_PRESENT]

switch#

檢視Index 92上方的日誌，指示Supervisor處於失敗狀態，並且觸發事件為LCM_EV_LC_INSERTED_SEQ_FAILED。（插入序列失敗）。 向上的日誌中查詢插入序列失敗的原因，請參閱插入序列在MTS_SAP_XBAR_MANAGER（索引73和索引74）響應之後立即失敗。 這表示插入待命sup時xbar組態發生錯誤。通過檢視故障元件（在本例中為xbar元件）的內部日誌，可以完成更多調試。