目錄

簡介

必要條件

需求

採用元件

背景資訊

適用硬體

Cisco Nexus 9200和9300雲規模CRC識別和跟蹤程式

NX-OS軟體版本10.2(1)及更高版本

NX-OS軟體版本10.1(2)及更低版本

步驟1.確定物理介面上的CRC計數器遞增

步驟2.將物理介面對映到ASIC、MAC塊和Mac塊子埠

步驟3.檢查CRC相關計數器的雲規模ASIC暫存器

Cisco Nexus 9500雲端規模 — 模組化交換器上的CRC識別與追蹤程式

步驟1.對映線卡和交換矩陣模組之間的內部鏈路。

步驟2.檢查iEth鏈路上的CRC計數器並跟蹤損壞幀的來源。

範例

案例1.接收堆疊式CRC的物理介面

步驟1.確認遞增CRC

步驟2.將物理介面對映到ASIC、MAC塊和MAC塊子埠

步驟3.檢查CRC相關計數器的雲規模ASIC暫存器

案例1結論

案例2.實體介面接收的錯誤訊框具有無效的CRC

步驟1.確認遞增CRC

步驟2.將物理介面對映到ASIC、MAC塊和MAC塊子埠

步驟3.檢查CRC相關計數器的雲規模ASIC暫存器

案例2結論

案例3. Nexus 9500 iEth CRC錯誤系統日誌

步驟1.將交換矩陣模組上的乙太網鏈路對映到連線的線卡

步驟2.檢查乙太網鏈路上接收的CRC是否無效或堆積

步驟3.跟蹤入口線卡上包含無效CRC的幀的來源

案例3結論

案例4.使用輸出介面追蹤無效CRC訊框的來源。

步驟1.識別將無效CRC幀傳送到輸出線卡的交換矩陣模組

步驟2.將交換矩陣模組上的iEth鏈路對映到連線的線卡並檢查堆疊的CRC

步驟3.跟蹤入口模組上具有無效CRC的幀的源

案例4結論

相關資訊

簡介

本文檔介紹用於跟蹤在一系列Cisco Nexus 9000雲規模ASIC模組上的物理介面上觀察到的CRC錯誤來源的步驟。本文檔還介紹了用於區分模組化Nexus交換機的物理介面和內部交換矩陣鏈路上觀察到的堆疊和非堆疊的CRC錯誤的步驟。

必要條件

需求

思科建議您瞭解直通交換和存轉交換的基本知識。思科還建議您瞭解乙太網FCS（幀校驗序列）欄位的基本知識以及FCS欄位使用的CRC（循環冗餘校驗）演算法。有關詳細資訊，請參閱以下文檔：

- 適用於低延遲環境的直通和儲存轉發乙太網交換

採用元件

本檔案中的資訊是根據執行NX-OS軟體版本7.0(3)I7(8)的Cisco Nexus 9000系列交換器（搭載雲端規模ASIC）。

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路正在作用，請確保您已瞭解任何指令可能造成的影響。

背景資訊

預設情況下，Cisco Nexus 9000系列交換機使用直通交換。直通交換是指交換機對幀做出轉發決定，並在交換機處理了足夠的幀報頭做出有效的轉發決定後立即開始從出口介面轉發幀。這不同於儲存轉發交換，在儲存轉發交換中，交換機在從輸出介面轉發幀之前緩衝整個幀。

乙太網幀的FCS欄位驗證幀的完整性並確保幀在傳輸過程中未損壞。乙太網幀的FCS欄位位於該幀的負載後方的乙太網幀的末尾。在儲存轉發交換模式下運行的交換機能夠使用FCS欄位驗證乙太網幀的完整性，然後再將幀從出口介面轉發出去（或者，如果FCS欄位包含無效內容，則丟棄該幀）。 但是，在直通交換模式下運行的交換機無法在將乙太網幀從輸出介面轉發出之前使用FCS欄位驗證其完整性；換句話說，當直通交換機能夠驗證乙太網幀的完整性時，大部分乙太網幀已經從輸出介面轉發出去。

如果在直通交換模式下運行的交換機收到帶有無效FCS欄位的乙太網幀，該交換機將採取以下操作：

1. 使用當前（不正確）FCS欄位值的位逆值重寫乙太網幀的FCS欄位。如果需要路由該幀，則在重寫該幀的乙太網報頭後，將計算當前（不正確）的FCS欄位值。此操作稱為「停止」CRC。

2. 根據在乙太網幀上做出的轉發決策，將乙太網幀的剩餘部分（以及儲存的CRC）從輸出介面轉發出去。

3. 遞增輸入介面上的輸入錯誤計數器和/或CRC錯誤計數器。

本檔案介紹驗證與輸入介面相關聯的CRC計數器是普通CRC（通常表示連線到輸入介面的連結上的實體層問題）還是堆疊CRC（表示連線到輸入介面的裝置也在直通交換模式下運作並收到錯誤格式的乙太網路訊框）的步驟。

適用硬體

本文件內容涵蓋的程序僅適用於以下硬體：

- Nexus 9200/9300固定交換器

- N9K-C92160YC-X

- N9K-C92300YC

- N9K-C92304QC

- N9K-C92348GC-X

- N9K-C9236C

- N9K-C9272Q

- N9K-C9332C

- N9K-C9364C

- N9K-C93108TC-EX

- N9K-C93108TC-EX-24

- N9K-C93180LC-EX

- N9K-C93180YC-EX

- N9K-C93180YC-EX-24

- N9K-C93108TC-FX

- N9K-C93108TC-FX-24

- N9K-C93180YC-FX

- N9K-C93180YC-FX-24

- N9K-C9348GC-FXP

- N9K-C93240YC-FX2

- N9K-C93216TC-FX2

- N9K-C9336C-FX2

- N9K-C9336C-FX2-E

- N9K-C93360YC-FX2

- N9K-C93180YC-FX3

- N9K-C93108TC-FX3P

- N9K-C93180YC-FX3S

- N9K-C9316D-GX

- N9K-C93600CD-GX

- N9K-C9364C-GX

- N9K-C9364D-GX2A

- N9K-C9332D-GX2B

- Nexus 9500模組化交換線路卡

- N9K-X97160YC-EX

- N9K-X9732C-EX

- N9K-X9736C-EX

- N9K-X97284YC-FX

- N9K-X9732C-FX

- N9K-X9788TC-FX

- N9K-X9716D-GX

Cisco Nexus 9200和9300雲規模CRC識別和跟蹤程式

本文此節將介紹確定Cisco Nexus 9200和9300系列交換機上的特定物理介面Ethernet1/1上觀察到的CRC錯誤源的分步說明。

NX-OS軟體版本10.2(1)及更高版本

從NX-OS軟體版本10.2(1)開始，配備Cloud Scale ASIC的Nexus交換機在經過交換機的乙太網幀的FCS欄位中為具有堆積CRC的資料包提供一個新的介面計數器。您可以使用show interface命令來識別具有遞增非零CRC和堆積CRC計數器的物理介面。這裡顯示一個範例，其中實體介面Ethernet1/1具有零CRC計數器和非零堆積CRC計數器，這表示此介面收到具有無效和堆積CRC的訊框。

switch# show interface

<snip>

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 04:09:21

Last clearing of "show interface" counters 00:50:37

0 interface resets

RX

8 unicast packets  253 multicast packets  2 broadcast packets

1832838280 input packets  2199405650587 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants 1832838019 CRC  0 no buffer

1832838019 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

1832838019 Stomped CRC

TX

908 unicast packets  323 multicast packets  3 broadcast packets

1234 output packets  113342 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  0 output discard

0 Tx pause

請注意，遞增的「CRC」計數器表示收到幀時帶有堆疊的CRC或無效但未堆疊的CRC。遞增的「堆積CRC」計數器增加表示收到具有堆積CRC的幀。

或者，show interface counters errors non-zero命令可用於檢視介面錯誤計數器。此步驟的範例如下所示。

switch# show interface counters errors non-zero

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth1/1       1790348828  1790348828         0  1790348828         0           0

--------------------------------------------------------------------------------

Port         Single-Col  Multi-Col   Late-Col  Exces-Col  Carri-Sen       Runts

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

Port          Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

Port         InDiscards

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

Port         Stomped-CRC

--------------------------------------------------------------------------------

Eth1/1      1790348828

您可以將show interface命令管道連線到json或json-pretty命令，以結構化格式獲取CRC和儲存的CRC計數器統計資訊。此步驟的範例如下所示。

switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc

"eth_crc": "828640831",

"eth_stomped_crc": "828640831",

NX-API REST API可用於使用sys/intf/phys-[intf-id]/dbgEtherStats.json對象模型檢索這些相同的統計資訊。此步驟的範例如下所示。

/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json

{

"totalCount": "1",

"imdata": [

{

"rmonEtherStats": {

"attributes": {

"cRCAlignErrors": "26874272810",

"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",

"dropEvents": "0",

"rXNoErrors": "26874276337",

"stompedCRCAlignErrors": "26874272810",

...

}

}

}

]

}

NX-OS軟體版本10.1(2)及更低版本

對於10.2(1)之前的NX-OS軟體版本，堆疊的CRC計數器在介面上不可用。需要執行幾個步驟來確定觀察到無效CRC的輸入介面，並驗證CRC是無效還是堆積。

步驟1.確定物理介面上的CRC計數器遞增

使用show interface命令識別具有遞增非零CRC計數器的物理介面。此處顯示的範例中，實體介面Ethernet1/1具有非零CRC計數器。

switch# show interface

<snip>

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 04:09:21

Last clearing of "show interface" counters 00:50:37

0 interface resets

RX

3 unicast packets  3087 multicast packets  0 broadcast packets

3097 input packets  244636 bytes

7 jumbo packets  0 storm suppression bytes

0 runts  7 giants  7 CRC  0 no buffer

7 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

或者，可以使用show interface counters errors non-zero命令顯示所有帶有非零錯誤計數器（包括非零CRC計數器）的介面。 此處顯示的示例，其中物理介面Ethernet1/1具有由FCS-Err列顯示的非零CRC計數器。

switch# show interface counters errors non-zero

<snip>

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth1/1                7          7          0          7          0           0

步驟2.將物理介面對映到ASIC、MAC塊和Mac塊子埠

使用show interface hardware-mappings命令確定三個關鍵特徵：

1. Unit — 物理介面所連線的雲規模ASIC的識別符號。這使用從零開始的編號系統（例如，第一個ASIC是0，第二個ASIC是1等）

2. MacId — 物理介面所連線的MAC塊的識別符號。這使用從零開始的編號系統（例如，第一個MAC塊是0，第二個MAC塊是1等）

3. MacSP — 物理介面所連線的MAC塊子埠的識別符號。每個MAC塊都有四個與其關聯的子埠，這些子埠遵循基於零的編號系統，並且以2的值遞增。因此，第一個子埠的索引為0，第二個子埠的索引為2，第三個子埠的索引為4，第四個子埠的索引為6。

此處的示例中說明了這一點，其中物理介面Ethernet1/1與Cloud Scale ASIC 0、MAC塊4和MAC塊子埠0關聯。

switch# show interface hardware-mappings

<snip>

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth1/1     1a000000 1    0    16    255   0     -1    0     16    32    4     0     1    0     32

Eth1/2     1a000200 1    0    17    255   4     -1    0     17    34    4     2     5    0     34

Eth1/3     1a000400 1    0    18    255   8     -1    0     18    36    4     4     9    0     36

Eth1/4     1a000600 1    0    19    255   12    -1    0     19    38    4     6     13   0     38

Eth1/5     1a000800 1    0    12    255   16    -1    0     12    24    3     0     17   0     24

步驟3.檢查CRC相關計數器的雲規模ASIC暫存器

使用slot {x} show hardware internal tah counters asic {y}命令檢視Cloud Scale ASIC的註冊計數器。此命令包含兩個變數：

1. {x} — 將此值替換為線卡插槽編號。對於架頂式交換機，該值始終為1。對於行尾模組化交換機，線卡插槽編號將是物理介面名稱中的第一個數字。例如，物理介面Ethernet1/1的線卡插槽編號為1，而物理介面Ethernet4/24的線卡插槽編號為4。

2. {y} — 用步驟2中標識的Cloud Scale ASIC識別符號替換此值。例如，如果物理介面Ethernet1/1的「Unit」列的值為0，則此變數的值為0。如果物理介面Ethernet4/24的「Unit」列的值為3，則此變數的值為3。

此輸出將顯示一個表。表的每一行都是不同的ASIC暫存器。表的每一列都與交換機上的一個物理介面相對應。每列使用的名稱不是物理介面的名稱，而是MAC塊和MAC塊子埠的組合。列標題使用的格式如下：

M{A},{B}-{InterfaceSpeed}

此格式有三個變數，如下所示：

1. {A} — 將此值替換為MAC塊編號。

2. {B} — 將此值替換為MAC塊子埠號。

3. {InterfaceSpeed} — 此值將對應於介面的實體速度（例如10G、25G、40Gx4等）

以下範例對此進行了說明。回想一下，物理介面Ethernet1/1與線卡插槽編號1和Cloud Scale ASIC 0關聯，這意味著我們必須運行的命令是slot 1 show hardware internal tah counters asic 0。與物理介面Ethernet1/1關聯的MAC塊是4，與物理介面Ethernet1/1關聯的MAC塊子埠是0，而物理介面Ethernet1/1是10G介面。因此，我們要找的列標題將是M4,0-10G。

附註：以下命令的輸出非常長且寬。在終端會話中可能難以讀取該輸出。思科建議使用terminal width 511命令最大化終端的寬度，並將此輸出複製到外部文本讀取器/編輯器以供檢視。

switch# slot 1 show hardware internal tah counters asic 0

<snip>

*************** PER MAC/CH SRAM COUNTERS ****************

REG_NAME                 M4,0-10G     M4,2-10G     M4,4-10G     M4,6-10G     M5,0-40Gx4   M6,0-40Gx4   M7,0-40Gx4   M8,0-10G

----------------------------------------------------------------------------------------------------------------------------

02-RX Frm with FCS Err   ....         ....         ....         ....         ....         ....         ....         ....

16-RX Frm CRC Err(Stomp) c            ....         ....         ....         ....         ....         ....         ....

此命令的輸出將包含幾十個暫存器計數器。有兩個關鍵暫存器計數器與區分自然CRC錯誤與儲存的CRC相關：

1. 02-RX Frm with FCS Err — 表示收到具有無效但未儲存的CRC的幀。

2. 16-RX From CRC Err(Stomp) — 表示收到具有堆積CRC的幀。

這些計數器的值以十六進位制表示。dec NX-OS命令可將十六進位制值轉換為十進位制值，如下所示。

N9K-C93180YC-EX-2# dec 0xc

12

兩個暫存器計數器的組合值將等效於通過show interface或show interface counters errors non-zero的輸出在物理介面上觀察到的CRC數。

Cisco Nexus 9500雲端規模 — 模組化交換器上的CRC識別與追蹤程式

本文此節將介紹確定Cisco Nexus 9500系列交換機上特定物理介面Ethernet1/1上觀察到的CRC錯誤源的分步說明。

Nexus 9500系列交換機上的每個線卡都通過內部鏈路（乙太網）連線到交換矩陣模組。每個線卡的每個ASIC與所有交換矩陣模組具有全網狀連線。此處的示例顯示一個線卡，該線卡具有四個Sugarbowl ASIC，內部鏈路連線到模組化Nexus 9500交換機中的四個交換矩陣模組。

當ASIC接收的流量需要輸出另一個ASIC或線卡時，該流量需要通過交換矩陣模組傳送到交換矩陣。輸入ASIC會根據封包標頭的雜湊和ASIC可用的iEth連結數量，選擇通向光纖模組的iEth連結之一。

步驟1.對映線卡和交換矩陣模組之間的內部鏈路。

使用show system internal fabric connectivity module {x}命令(其中{x}是線卡或交換矩陣模組插槽編號)顯示指定線卡和所有交換矩陣模組之間的內部鏈路。此輸出將顯示一個表，其中每行顯示線卡內部鏈路（在「LC-iEthLink」列下）與每個交換矩陣模組內部鏈路（在「FM-iEthLink」列下）之間的一對一對映。 此處顯示的範例來自插入8個線卡和4個光纖模組的Nexus 9508交換器。此處的輸出顯示，插入交換機插槽8中的線卡的每個ASIC例項通過2條內部鏈路連線到4個已安裝的交換矩陣模組（插入插槽22、23、24和26）中的每個。

Nexus9500# show system internal fabric connectivity module 8

Internal Link-info Linecard slot:8

------------------------------------------------------------------------

LC-Slot  LC-Unit   LC-iEthLink   MUX   FM-Slot   FM-Unit   FM-iEthLink

------------------------------------------------------------------------

8        0     iEth01         -         22        0      iEth18

8        0     iEth02         -         22        1      iEth50

8        0     iEth03         -         23        0      iEth18

8        0     iEth04         -         23        1      iEth50

8        0     iEth05         -         24        0      iEth18

8        0     iEth06         -         24        1      iEth50

8        0     iEth07         -         26        0      iEth18

8        0     iEth08         -         26        1      iEth50

8        1     iEth09         -         22        0      iEth03

8        1     iEth10         -         22        1      iEth35

8        1     iEth11         -         23        0      iEth03

8        1     iEth12         -         23        1      iEth35

8        1     iEth13         -         24        0      iEth03

8        1     iEth14         -         24        1      iEth35

8        1     iEth15         -         26        0      iEth03

8        1     iEth16         -         26        1      iEth35

8        2     iEth17         -         22        0      iEth32

8        2     iEth18         -         22        1      iEth53

8        2     iEth19         -         23        0      iEth32

8        2     iEth20         -         23        1      iEth53

8        2     iEth21         -         24        0      iEth32

8        2     iEth22         -         24        1      iEth53

8        2     iEth23         -         26        0      iEth32

8        2     iEth24         -         26        1      iEth53

8        3     iEth25         -         22        0      iEth31

8        3     iEth26         -         22        1      iEth54

8        3     iEth27         -         23        0      iEth31

8        3     iEth28         -         23        1      iEth54

8        3     iEth29         -         24        0      iEth31

8        3     iEth30         -         24        1      iEth54

8        3     iEth31         -         26        0      iEth31

8        3     iEth32         -         26        1      iEth54

同樣，可以從交換矩陣模組的角度檢查iEth鏈路對映。這裡顯示一個示例，其中顯示了插入插槽22中的交換矩陣模組與安裝在Nexus 9508機箱中的8個線卡中的每一個之間的內部鏈路。

Nexus9500# show system internal fabric connectivity module 22

Internal Link-info Fabriccard slot:22

------------------------------------------------------------------------

FM-Slot  FM-Unit   FM-iEthLink   LC-Slot   LC-Unit   LC-EthLink    MUX

------------------------------------------------------------------------

22         0      iEth09          1         0      iEth01         -

22         0      iEth06          1         1      iEth11         -

22         0      iEth25          1         2      iEth21         -

22         0      iEth26          1         3      iEth31         -

22         0      iEth10          2         0      iEth01         -

22         0      iEth05          2         1      iEth11         -

22         0      iEth23          2         2      iEth21         -

22         0      iEth24          2         3      iEth31         -

22         0      iEth12          3         0      iEth01         -

22         0      iEth11          3         1      iEth11         -

22         0      iEth21          3         2      iEth21         -

22         0      iEth22          3         3      iEth31         -

22         0      iEth14          4         0      iEth01         -

22         0      iEth13          4         1      iEth11         -

22         0      iEth07          4         2      iEth21         -

22         0      iEth08          4         3      iEth31         -

22         0      iEth16          5         0      iEth01         -

22         0      iEth15          5         1      iEth11         -

22         0      iEth01          5         2      iEth21         -

22         0      iEth04          5         3      iEth31         -

22         0      iEth20          6         0      iEth01         -

22         0      iEth17          6         1      iEth11         -

22         0      iEth28          6         2      iEth21         -

22         0      iEth27          6         3      iEth31         -

22         0      iEth19          7         0      iEth01         -

22         0      iEth02          7         1      iEth09         -

22         0      iEth30          7         2      iEth17         -

22         0      iEth29          7         3      iEth25         -

22         0      iEth18          8         0      iEth01         -

22         0      iEth03          8         1      iEth09         -

22         0      iEth32          8         2      iEth17         -

22         0      iEth31          8         3      iEth25         -

22         1      iEth41          1         0      iEth02         -

22         1      iEth38          1         1      iEth12         -

22         1      iEth59          1         2      iEth22         -

22         1      iEth60          1         3      iEth32         -

22         1      iEth42          2         0      iEth02         -

22         1      iEth37          2         1      iEth12         -

22         1      iEth62          2         2      iEth22         -

22         1      iEth61          2         3      iEth32         -

22         1      iEth44          3         0      iEth02         -

22         1      iEth43          3         1      iEth12         -

22         1      iEth64          3         2      iEth22         -

22         1      iEth63          3         3      iEth32         -

22         1      iEth46          4         0      iEth02         -

22         1      iEth45          4         1      iEth12         -

22         1      iEth39          4         2      iEth22         -

22         1      iEth40          4         3      iEth32         -

22         1      iEth48          5         0      iEth02         -

22         1      iEth47          5         1      iEth12         -

22         1      iEth36          5         2      iEth22         -

22         1      iEth33          5         3      iEth32         -

22         1      iEth52          6         0      iEth02         -

22         1      iEth49          6         1      iEth12         -

22         1      iEth57          6         2      iEth22         -

22         1      iEth58          6         3      iEth32         -

22         1      iEth34          7         0      iEth02         -

22         1      iEth51          7         1      iEth10         -

22         1      iEth55          7         2      iEth18         -

22         1      iEth56          7         3      iEth26         -

22         1      iEth50          8         0      iEth02         -

22         1      iEth35          8         1      iEth10         -

22         1      iEth53          8         2      iEth18         -

22         1      iEth54          8         3      iEth26         -

使用show system internal fabric link-state module {x}命令檢查內部埠是否為up（在「ST」列下），以及特定內部鏈路的相應ASIC片和MAC識別符號（在「MAC」列下）是什麼。此步驟的範例如下所示。

Nexus9500# show system internal fabric link-state module 8

cli : mod = 8

module number = 8

========================================================================================================================

Module number = 8

========================================================================================================================

[LC]   [    INST:SLI:MAC:GLSRC]   [IETH]    [ST]   <========>  [FM]   [    INST:SLI:MAC:GLSRC]  [IETH]   [ST]

========================================================================================================================

[ 8]   [  0 :   0 :   7 : 0x38]   [iEth01]   [UP]  <========>  [22]   [  0 :   3 :  21 :  0x18]   [iEth18]   [UP]

[ 8]   [  0 :   1 :   9 :  0x0]   [iEth02]   [UP]  <========>  [22]   [  1 :   3 :  21 :  0x18]   [iEth50]   [UP]

[ 8]   [  0 :   0 :   6 : 0x30]   [iEth03]   [UP]  <========>  [23]   [  0 :   3 :  21 :  0x18]   [iEth18]   [UP]

[ 8]   [  0 :   1 :  16 : 0x38]   [iEth04]   [UP]  <========>  [23]   [  1 :   3 :  21 :  0x18]   [iEth50]   [UP]

[ 8]   [  0 :   0 :   8 : 0x40]   [iEth05]   [UP]  <========>  [24]   [  0 :   3 :  21 :  0x18]   [iEth18]   [UP]

[ 8]   [  0 :   1 :  15 : 0x30]   [iEth06]   [UP]  <========>  [24]   [  1 :   3 :  21 :  0x18]   [iEth50]   [UP]

[ 8]   [  0 :   0 :   5 : 0x28]   [iEth07]   [UP]  <========>  [26]   [  0 :   3 :  21 :  0x18]   [iEth18]   [UP]

[ 8]   [  0 :   1 :  17 : 0x40]   [iEth08]   [UP]  <========>  [26]   [  1 :   3 :  21 :  0x18]   [iEth50]   [UP]

[ 8]   [  1 :   0 :   7 : 0x38]   [iEth09]   [UP]  <========>  [22]   [  0 :   0 :   4 :  0x20]   [iEth03]   [UP]

[ 8]   [  1 :   1 :   9 :  0x0]   [iEth10]   [UP]  <========>  [22]   [  1 :   0 :   4 :  0x20]   [iEth35]   [UP]

[ 8]   [  1 :   0 :   6 : 0x30]   [iEth11]   [UP]  <========>  [23]   [  0 :   0 :   4 :  0x20]   [iEth03]   [UP]

[ 8]   [  1 :   1 :  16 : 0x38]   [iEth12]   [UP]  <========>  [23]   [  1 :   0 :   4 :  0x20]   [iEth35]   [UP]

[ 8]   [  1 :   0 :   8 : 0x40]   [iEth13]   [UP]  <========>  [24]   [  0 :   0 :   4 :  0x20]   [iEth03]   [UP]

[ 8]   [  1 :   1 :  15 : 0x30]   [iEth14]   [UP]  <========>  [24]   [  1 :   0 :   4 :  0x20]   [iEth35]   [UP]

[ 8]   [  1 :   0 :   5 : 0x28]   [iEth15]   [UP]  <========>  [26]   [  0 :   0 :   4 :  0x20]   [iEth03]   [UP]

[ 8]   [  1 :   1 :  17 : 0x40]   [iEth16]   [UP]  <========>  [26]   [  1 :   0 :   4 :  0x20]   [iEth35]   [UP]

[ 8]   [  2 :   0 :   7 : 0x38]   [iEth17]   [UP]  <========>  [22]   [  0 :   5 :  35 :  0x28]   [iEth32]   [UP]

[ 8]   [  2 :   1 :   9 :  0x0]   [iEth18]   [UP]  <========>  [22]   [  1 :   4 :  24 :   0x0]   [iEth53]   [UP]

[ 8]   [  2 :   0 :   6 : 0x30]   [iEth19]   [UP]  <========>  [23]   [  0 :   5 :  35 :  0x28]   [iEth32]   [UP]

[ 8]   [  2 :   1 :  16 : 0x38]   [iEth20]   [UP]  <========>  [23]   [  1 :   4 :  24 :   0x0]   [iEth53]   [UP]

[ 8]   [  2 :   0 :   8 : 0x40]   [iEth21]   [UP]  <========>  [24]   [  0 :   5 :  35 :  0x28]   [iEth32]   [UP]

[ 8]   [  2 :   1 :  15 : 0x30]   [iEth22]   [UP]  <========>  [24]   [  1 :   4 :  24 :   0x0]   [iEth53]   [UP]

[ 8]   [  2 :   0 :   5 : 0x28]   [iEth23]   [UP]  <========>  [26]   [  0 :   5 :  35 :  0x28]   [iEth32]   [UP]

[ 8]   [  2 :   1 :  17 : 0x40]   [iEth24]   [UP]  <========>  [26]   [  1 :   4 :  24 :   0x0]   [iEth53]   [UP]

[ 8]   [  3 :   0 :   7 : 0x38]   [iEth25]   [UP]  <========>  [22]   [  0 :   5 :  34 :  0x20]   [iEth31]   [UP]

[ 8]   [  3 :   1 :   9 :  0x0]   [iEth26]   [UP]  <========>  [22]   [  1 :   4 :  25 :   0x8]   [iEth54]   [UP]

[ 8]   [  3 :   0 :   6 : 0x30]   [iEth27]   [UP]  <========>  [23]   [  0 :   5 :  34 :  0x20]   [iEth31]   [UP]

[ 8]   [  3 :   1 :  16 : 0x38]   [iEth28]   [UP]  <========>  [23]   [  1 :   4 :  25 :   0x8]   [iEth54]   [UP]

[ 8]   [  3 :   0 :   8 : 0x40]   [iEth29]   [UP]  <========>  [24]   [  0 :   5 :  34 :  0x20]   [iEth31]   [UP]

[ 8]   [  3 :   1 :  15 : 0x30]   [iEth30]   [UP]  <========>  [24]   [  1 :   4 :  25 :   0x8]   [iEth54]   [UP]

[ 8]   [  3 :   0 :   5 : 0x28]   [iEth31]   [UP]  <========>  [26]   [  0 :   5 :  34 :  0x20]   [iEth31]   [UP]

[ 8]   [  3 :   1 :  17 : 0x40]   [iEth32]   [UP]  <========>  [26]   [  1 :   4 :  25 :   0x8]   [iEth54]   [UP]

步驟2.檢查iEth鏈路上的CRC計數器並跟蹤損壞幀的來源。

在模組化Nexus 9500交換機上，在以下情況中可能會看到一個或多個iEth鏈路上出現CRC錯誤：

1. 當交換器在直通交換模式下操作時，如果線卡在FCS欄位中收到損壞的乙太網幀，且CRC值不正確，則不會本地丟棄線卡。相反，線卡會照常轉送封包。如果封包的輸出介面屬於另一個ASIC或線路卡，輸入線路卡會將封包轉送到光纖模組。交換矩陣模組也以直通交換模式運行，因此交換矩陣模組會將資料包轉發到出口線卡。輸出線卡會將封包轉送到下一個躍點，並增加輸出介面上的輸出錯誤計數器。

2. 如果內部鏈路由於硬體故障而失敗，則穿越內部鏈路的資料包可能線上卡和交換矩陣模組之間損壞。

使用show system internal fabric connectivity stats module {x}命令檢查相應內部鏈路的CRC計數器。這裡顯示一個例子，插入插槽22中的交換矩陣模組接收的iEth56上包含無效CRC的資料包，該iEth56連線到插入交換機插槽7中的線卡的iEth26。這表示交換矩陣模組從插入交換機插槽7中的線卡接收損壞的乙太網幀。

Nexus9500# show system internal fabric connectivity stats module 22

Internal Link-info Stats Fabriccard slot:22

-------------------------------------------------------------------------------------

FM-Slot  FM-Unit   FM-iEthLink   LC-Slot   LC-Unit   LC-EthLink    MUX    CRC

-------------------------------------------------------------------------------------

22         0      iEth09          1         0      iEth01         -     0

22         0      iEth06          1         1      iEth11         -     0

22         0      iEth25          1         2      iEth21         -     0

22         0      iEth26          1         3      iEth31         -     0

22         0      iEth10          2         0      iEth01         -     0

22         0      iEth05          2         1      iEth11         -     0

22         0      iEth23          2         2      iEth21         -     0

22         0      iEth24          2         3      iEth31         -     0

22         0      iEth12          3         0      iEth01         -     0

22         0      iEth11          3         1      iEth11         -     0

22         0      iEth21          3         2      iEth21         -     0

22         0      iEth22          3         3      iEth31         -     0

22         0      iEth14          4         0      iEth01         -     0

22         0      iEth13          4         1      iEth11         -     0

22         0      iEth07          4         2      iEth21         -     0

22         0      iEth08          4         3      iEth31         -     0

22         0      iEth16          5         0      iEth01         -     0

22         0      iEth15          5         1      iEth11         -     0

22         0      iEth01          5         2      iEth21         -     0

22         0      iEth04          5         3      iEth31         -     0

22         0      iEth20          6         0      iEth01         -     0

22         0      iEth17          6         1      iEth11         -     0

22         0      iEth28          6         2      iEth21         -     0

22         0      iEth27          6         3      iEth31         -     0

22         0      iEth19          7         0      iEth01         -     0

22         0      iEth02          7         1      iEth09         -     0

22         0      iEth30          7         2      iEth17         -     0

22         0      iEth29          7         3      iEth25         -     0

22         0      iEth18          8         0      iEth01         -     0

22         0      iEth03          8         1      iEth09         -     0

22         0      iEth32          8         2      iEth17         -     0

22         0      iEth31          8         3      iEth25         -     0

22         1      iEth41          1         0      iEth02         -     0

22         1      iEth38          1         1      iEth12         -     0

22         1      iEth59          1         2      iEth22         -     0

22         1      iEth60          1         3      iEth32         -     0

22         1      iEth42          2         0      iEth02         -     0

22         1      iEth37          2         1      iEth12         -     0

22         1      iEth62          2         2      iEth22         -     0

22         1      iEth61          2         3      iEth32         -     0

22         1      iEth44          3         0      iEth02         -     0

22         1      iEth43          3         1      iEth12         -     0

22         1      iEth64          3         2      iEth22         -     0

22         1      iEth63          3         3      iEth32         -     0

22         1      iEth46          4         0      iEth02         -     0

22         1      iEth45          4         1      iEth12         -     0

22         1      iEth39          4         2      iEth22         -     0

22         1      iEth40          4         3      iEth32         -     0

22         1      iEth48          5         0      iEth02         -     0

22         1      iEth47          5         1      iEth12         -     0

22         1      iEth36          5         2      iEth22         -     0

22         1      iEth33          5         3      iEth32         -     0

22         1      iEth52          6         0      iEth02         -     0

22         1      iEth49          6         1      iEth12         -     0

22         1      iEth57          6         2      iEth22         -     0

22         1      iEth58          6         3      iEth32         -     0

22         1      iEth34          7         0      iEth02         -     0

22         1      iEth51          7         1      iEth10         -     0

22         1      iEth55          7         2      iEth18         -     0

22         1      iEth56          7         3      iEth26         -     1665601166

22         1      iEth50          8         0      iEth02         -     0

22         1      iEth35          8         1      iEth10         -     0

22         1      iEth53          8         2      iEth18         -     0

22         1      iEth54          8         3      iEth26         -     0

線上卡或交換矩陣模組上使用slot {x} show hardware internal tah counters asic {y}命令，確定CRC錯誤是無效還是儲存的CRC。將無效CRC錯誤與儲存的CRC錯誤區分開的兩個暫存器計數器為：

1. 02-RX Frm with FCS Err — 表示收到具有無效但未儲存的CRC的幀。

2. 16-RX From CRC Err(Stomp) — 表示收到具有堆積CRC的幀。

此處顯示一個範例，其中透過內部連結iEth54連線到插入機箱插槽8中的線路卡插入機箱插槽22中的交換矩陣模組上接收的損壞幀會使用堆疊的CRC接收：

Nexus9500# slot 22 show hardware internal tah counters asic 1

REG_NAME                 M24,0-100Gx4                                                                    M25,0-100Gx4

--------------------------------------------------------------------------------------------------------------------------

02-RX Frm with FCS Err   ....                                                                            ....

03-RX Frm with any Err   ....                                                                            144912733e

16-RX Frm CRC Err(Stomp) ....                                                                            14491277d7

或者，使用show hardware internal errors module {x}命令查看特定模組的ASIC錯誤計數器。此步驟的範例如下所示。請注意，在此輸出中，「Interface Inbound Errors(CRC，len，Algn Err)」計數器為無效CRC和堆疊的CRC遞增，而「Interface Inbound CRC Error Stocked」計數器僅為堆疊的CRC遞增。

Nexus9500# show hardware internal errors module 22

|------------------------------------------------------------------------|

| Device:Lacrosse                 Role:MAC                     Mod:22    |

| Last cleared @ Tue Jul  6 04:10:45 2021

| Device Statistics Category :: ERROR

|------------------------------------------------------------------------|

Instance:0

ID    Name                                          Value             Ports

--    ----                                          -----             -----

Instance:1

ID    Name                                          Value             Ports

--    ----                                          -----             -----

196635  Interface Inbound Errors (CRC,len,Algn Err)   0000053053264536  27:0

1048603 Interface Inbound CRC Error Stomped           0000053053264535  27:0

確定接收損壞的幀的入口線卡後，以類似的方式使用slot {x} show hardware internal tah counters asic {y}或show hardware internal errors module {x}命令來識別接收錯誤的入口介面，以及是否將錯誤作為無效CRC或儲存的CRC接收。

交換矩陣模組或出口線卡顯示iEth鏈路上的CRC錯誤，但連線的線卡沒有輸入CRC的跡象的情況極少。此問題的根本原因通常是交換矩陣模組的硬體故障。思科建議使用Cisco TAC開啟支援案例，進一步解決此問題，並在必要時更換光纖模組。

範例

本文此節將通過一些示例來介紹上述過程。

案例1.接收堆疊式CRC的物理介面

此示例演示如何識別物理介面上的CRC錯誤是儲存的CRC。

請考慮以下拓撲：

在本例中，通過從介面SVI 10（擁有IP地址192.0.2.1）到N9K-3的介面SVI 10（擁有IP地址192.0.2.3）（擁有MTU為1500位元組）發出的8000位元組ICMP資料包，在交換機N9K-1上生成有目的地儲存的CRC錯誤。N9K-1、N9K-2和N9K-3均為Nexus 93180YC-EX型號交換機。

N9K-3# ping 192.0.2.3 count 5 packet-size 8000

PING 192.0.2.3 (192.0.2.3): 8000 data bytes

Request 0 timed out

Request 1 timed out

Request 2 timed out

Request 3 timed out

Request 4 timed out

Request 5 timed out

--- 192.0.2.3 ping statistics ---

5 packets transmitted, 0 packets received, 100.00% packet loss

在本例中，在交換機N9K-3的物理介面Ethernet1/1上觀察到遞增的CRC錯誤。

N9K-3# show interface Ethernet1/1

<snip>

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 06:13:44

Last clearing of "show interface" counters 02:55:00

0 interface resets

RX

9 unicast packets  10675 multicast packets  0 broadcast packets

10691 input packets  816924 bytes

7 jumbo packets  0 storm suppression bytes

0 runts  7 giants  7 CRC  0 no buffer

7 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

步驟1.確認遞增CRC

通過生成源自N9K-1的介面SVI 10（擁有IP地址192.0.2.1）、目的地為N9K-3的介面SVI 10（擁有IP地址192.0.2.3）的巨型8000位元組ICMP資料包，確認物理介面Ethernet1/1上的CRC正在增加。

N9K-1# ping 192.0.2.3 count 5 packet-size 8000

PING 192.0.2.3 (192.0.2.3): 8000 data bytes

Request 0 timed out

Request 1 timed out

Request 2 timed out

Request 3 timed out

Request 4 timed out

Request 5 timed out

--- 192.0.2.3 ping statistics ---

5 packets transmitted, 0 packets received, 100.00% packet loss

N9K-3# show interface Ethernet1/1

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 06:52:57

Last clearing of "show interface" counters 03:34:13

0 interface resets

RX

11 unicast packets  13066 multicast packets  0 broadcast packets

13089 input packets  1005576 bytes

12 jumbo packets  0 storm suppression bytes

0 runts  12 giants  12 CRC  0 no buffer

12 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

步驟2.將物理介面對映到ASIC、MAC塊和MAC塊子埠

在N9K-3上使用show interface hardware-mappings命令將物理介面Ethernet1/1對映到ASIC編號0、MAC塊4和MAC塊子埠0。

N9K-3# show interface hardware-mappings

<snip>

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth1/1     1a000000 1    0    16    255   0     -1    0     16    32    4     0     1    0     32

Eth1/2     1a000200 1    0    17    255   4     -1    0     17    34    4     2     5    0     34

Eth1/3     1a000400 1    0    18    255   8     -1    0     18    36    4     4     9    0     36

Eth1/4     1a000600 1    0    19    255   12    -1    0     19    38    4     6     13   0     38

Eth1/5     1a000800 1    0    12    255   16    -1    0     12    24    3     0     17   0     24

步驟3.檢查CRC相關計數器的雲規模ASIC暫存器

根據步驟2中的資訊，我們知道以下事實：

1. 物理介面Ethernet1/1對映到ASIC編號0。

2. 物理介面Ethernet1/1對映到MAC塊4的MAC塊子埠0

3. 因為N9K-3是架頂式Nexus 93180YC-EX型號交換機，我們知道唯一可能的線卡插槽編號是1

4. 從步驟1中收集的show interface的輸出中，我們知道Ethernet1/1物理介面的速度為10G。

使用此資訊，我們可以使用slot 1 show hardware internal tah counters asic 0命令檢視所有物理介面的ASIC暫存器計數器。具體來說，我們將尋找與M4、0-10G關聯的ASIC暫存器計數器。

N9K-3# slot 1 show hardware internal tah counters asic 0

<snip>

*************** PER MAC/CH SRAM COUNTERS ****************

REG_NAME                 M4,0-10G     M4,2-10G     M4,4-10G     M4,6-10G     M5,0-40Gx4     M6,0-40Gx4     M7,0-40Gx4     M8,0-10G

----------------------------------------------------------------------------------------------------------------------------------

02-RX Frm with FCS Err   ....         ....         ....         ....         ....           ....           ....           ....

16-RX Frm CRC Err(Stomp) c            ....         ....         ....         ....           ....           ....           ....

我們可以看到暫存器16的非零十六進位制值0xc，表示此物理介面上接收到具有堆積CRC的幀。我們可以使用dec 0xc命令將此值轉換為十進位制值12，該值匹配物理介面Ethernet1/1上的CRC錯誤數。

N9K-3# dec 0xc

12

案例1結論

我們已確認N9K-3在物理介面Ethernet1/1上接收具有CRC堆積的幀。這意味著Ethernet1/1鏈路遠端端的裝置（在本例中為N9K-2）正在堆積這些幀的CRC;錯誤訊框的根本原因並非直接連線到Ethernet1/1的連結，而是位於更下游的位置。應對下游網路裝置執行更多故障排除，以確定這些錯誤幀的來源。

案例2.實體介面接收的錯誤訊框具有無效的CRC

此示例演示如何識別由於直連鏈路上的物理層問題引起的錯誤幀而導致物理介面上的CRC錯誤增加。

請考慮以下拓撲：

在本示例中，連線到交換機N9K-1的物理介面Ethernet1/40的流量發生器故意生成具有錯誤CRC的幀。這模擬了連線到Ethernet1/40的鏈路上的物理層問題，例如收發器故障或電纜損壞。N9K-1接收這些幀，識別CRC無效，並在Ethernet1/40物理介面上遞增CRC錯誤計數器。N9K-1是Nexus 93180YC-EX型號交換機。

N9K-1# show interface Ethernet1/40

Ethernet1/40 is up

admin state is up, Dedicated Interface

Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 06:13:44

Last clearing of "show interface" counters 02:55:00

0 interface resets

RX

1710 unicast packets  9873 multicast packets  0 broadcast packets

11583 input packets  886321 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  1683 CRC  0 no buffer

1683 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

步驟1.確認遞增CRC

通過show interface或show interface counters non-zero命令確認CRC在N9K-1的物理介面Ethernet1/40上遞增。

N9K-1# show interface Ethernet1/40

<snip>

Ethernet1/40 is up

admin state is up, Dedicated Interface

Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 06:13:44

Last clearing of "show interface" counters 02:55:00

0 interface resets

RX

14055 unicast packets  9873 multicast packets  0 broadcast packets

23928 input packets  1676401 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  14028 CRC  0 no buffer

14028 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

N9K-1# show interface counters errors non-zero

<snip>

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth1/40           26373      26373          0      26373          0           0

步驟2.將物理介面對映到ASIC、MAC塊和MAC塊子埠

在N9K-1上使用show interface hardware-mappings命令將物理介面Ethernet1/40對映到ASIC編號0,MAC塊10,MAC塊子埠6。

N9K-1# show interface hardware-mappings

<snip>

---------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

---------------------------------------------------------------------------------------------

Eth1/38    1a004a00 1    0    45    255   148   -1    1     5     10    10    2     149  0     10

Eth1/39    1a004c00 1    0    46    255   152   -1    1     6     12    10    4     153  0     12

Eth1/40    1a004e00 1    0    47    255   156   -1    1     7     14    10    6     157  0     14

Eth1/41    1a005000 1    0    76    255   160   -1    1     36    64    17    0     161  0     64

Eth1/42    1a005200 1    0    77    255   164   -1    1     37    66    17    2     165  0     66

步驟3.檢查CRC相關計數器的雲規模ASIC暫存器

根據步驟2中的資訊，我們知道以下事實：

1. 物理介面Ethernet1/40對映到ASIC編號0。

2. 物理介面Ethernet1/40對映到MAC塊10的MAC塊子埠6。

3. 因為N9K-1是架頂式Nexus 93180YC-EX型號交換機，我們知道唯一可能的線卡插槽編號是1。

4. 從步驟1中收集的show interface的輸出中，我們知道Ethernet1/40的物理介面速度為10G。

使用此資訊，我們可以使用slot 1 show hardware internal tah counters asic 0命令檢視所有物理介面的ASIC暫存器計數器。具體來說，我們將尋找與M10、6-10G關聯的ASIC暫存器計數器。

N9K-1# slot 1 show hardware internal tah counters asic 0

*************** PER MAC/CH SRAM COUNTERS ****************

REG_NAME                 M8,2-10G     M8,4-10G     M8,6-10G     M9,0-40Gx4     M10,0-10G      M10,2-10G      M10,4-10G      M10,6-10G

-------------------------------------------------------------------------------------------------------------------------------------

02-RX Frm with FCS Err   ....         ....         ....         ....           ....           ....           ....           973e

16-RX Frm CRC Err(Stomp) ....         ....         ....         ....           ....           ....           ....           ....

我們可以看到暫存器2的非零十六進位制值0x973e，表示在此物理介面上接收到具有無效但非堆積CRC的幀。我們可以使用dec 0x973e命令將此值轉換為38,718的十進位制值，該值匹配（或小於）物理介面Ethernet1/40上的CRC錯誤數，因為CRC不斷遞增。

N9K-1# dec 0x973e

38718

案例2結論

我們已確認N9K-1在物理介面Ethernet1/40上接收的CRC無效但非堆疊的幀。這意味著直接連線到Ethernet1/40的鏈路（或鏈路遠端端的裝置）最可能是格式錯誤的幀源。應該對此鏈路的物理層執行進一步的故障排除，以找出錯誤幀的根本原因（如檢查電纜是否損壞、用已知良好的收發器更換當前收發器等）。

案例3. Nexus 9500 iEth CRC錯誤系統日誌

此示例演示在Nexus 9500系列交換機生成內部介面上的報告錯誤的系統日誌時，如何識別iEth內部鏈路上的CRC錯誤來源。以下是一個系統日誌的示例。

Nexus9500# show logging logfile

<snip>

2021 Jul  9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904

此系統日誌表示在插入交換機插槽22中的交換矩陣模組的iEth56內部鏈路上檢測到錯誤。

步驟1.將交換矩陣模組上的乙太網鏈路對映到連線的線卡

使用show system internal fabric connectivity stats module {x}命令確定受影響的iEth內部連結連線到哪個線卡。在本示例中，插入交換機插槽22中的交換矩陣模組的iEth56出現錯誤。這裡顯示一個示例，其中插入插槽22中的交換矩陣模組的iEth56連線到插入交換機插槽7中的線卡的iEth26。

Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot

FM-Slot  FM-Unit   FM-iEthLink   LC-Slot   LC-Unit   LC-EthLink    MUX    CRC

22         1      iEth56          7         3      iEth26         -     603816174

使用show system internal fabric link-state module {x}命令查詢與交換矩陣模組的iEth56內部鏈路關聯的ASIC例項和MAC識別符號。這裡顯示一個示例，其中ASIC例項為1,MAC識別符號為27。

Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56

[FM]   [    INST:SLI:MAC:GLSRC]   [IETH]    [ST]   <========>  [LC]   [    INST:SLI:MAC:GLSRC]  [IETH]   [ST]

[22]   [  1 :   4 :  27 : 0x18]   [iEth56]   [UP]  <========>  [ 7]   [  3 :   1 :   9 :   0x0]   [iEth26]   [UP]

步驟2.檢查乙太網鏈路上接收的CRC是否無效或堆積

對於連線到插入插槽22中的交換矩陣模組的iEth56，上一步顯示我們的ASIC例項識別符號為1，我們的MAC識別符號為27。使用slot {x} show hardware internal tah counters asic {y}命令識別系統日誌報告的CRC是無效的CRC還是堆疊的CRC。這裡顯示一個示例，其中M27,0-100Gx4列與我們的MAC識別符號27關聯，並表示CRC已堆疊。

Nexus9500# slot 22 show hardware internal tah counters asic 1

REG_NAME                  M27,0-100Gx4

-----------------------------------------

02-RX Frm with FCS Err    ....

16-RX Frm CRC Err(Stomp)  be9cb9bd6

或者，使用show hardware internal errors module {x} 命令來收集此相同資訊。此步驟的範例如下所示。

Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst

Instance:1

196635 Interface Inbound Errors (CRC,len,Algn Err)    0000051587084851  27:0

1048603 Interface Inbound CRC Error Stomped           0000051587084850  27:0

回想一下，在此輸出中，無效CRC和堆疊的CRC的「介面入站錯誤(CRC、len、Algn Err)」計數器遞增，而「介面入站CRC錯誤堆疊的」計數器僅遞增。

步驟3.跟蹤入口線卡上包含無效CRC的幀的來源

現在我們已經知道，插入交換機插槽22中的交換矩陣模組的CRC是從插入插槽7中的線卡進入交換機的。使用此資訊，我們可以使用show interface counters errors module {x} non-zero命令識別屬於相關線卡的介面上的非零CRC計數。此步驟的範例如下所示。

Nexus9500# show interface counters errors module 7 non-zero

<snip>

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth7/32               0          0          0 1195309745          0           0

我們可以在相#2線卡上重複此方案的步驟，以驗證線卡是否收到無效CRC或儲存的CRC。

Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst

Instance:3

196619 Interface Inbound Errors (CRC,len,Algn Err)    0000051801011139  11:0

1048587 Interface Inbound CRC Error Stomped           0000051801011140  11:0

使用show interface hardware-mappings命令來標識上列輸出中的MacId:MacSP值11:0對映到的前面板埠。這裡顯示一個示例，其中11:0對映到前面板埠Eth7/32。

Nexus9500# show interface hardware-mappings | include Name|Eth7

<snip>

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

Eth7/1     1a300000 25   0    16    255   0     -1    0     16    32    4     0     1    0     32

Eth7/2     1a300200 25   0    12    255   4     -1    0     12    24    3     0     5    0     24

Eth7/3     1a300400 25   0    8     255   8     -1    0     8     16    2     0     9    0     16

Eth7/4     1a300600 25   0    4     255   12    -1    0     4     8     1     0     13   0     8

Eth7/5     1a300800 25   0    60    255   16    -1    1     20    40    14    0     17   0     40

Eth7/6     1a300a00 25   0    56    255   20    -1    1     16    32    13    0     21   0     32

Eth7/7     1a300c00 25   0    52    255   24    -1    1     12    24    12    0     25   0     24

Eth7/8     1a300e00 25   0    48    255   28    -1    1     8     16    11    0     29   0     16

Eth7/9     1a301000 26   1    12    255   32    -1    0     12    24    3     0     33   0     24

Eth7/10    1a301200 26   1    8     255   36    -1    0     8     16    2     0     37   0     16

Eth7/11    1a301400 26   1    4     255   40    -1    0     4     8     1     0     41   0     8

Eth7/12    1a301600 26   1    0     255   44    -1    0     0     0     0     0     45   0     0

Eth7/13    1a301800 26   1    60    255   48    -1    1     20    40    14    0     49   0     40

Eth7/14    1a301a00 26   1    56    255   52    -1    1     16    32    13    0     53   0     32

Eth7/15    1a301c00 26   1    52    255   56    -1    1     12    24    12    0     57   0     24

Eth7/16    1a301e00 26   1    48    255   60    -1    1     8     16    11    0     61   0     16

Eth7/17    1a302000 27   2    16    255   64    -1    0     16    32    4     0     65   0     32

Eth7/18    1a302200 27   2    12    255   68    -1    0     12    24    3     0     69   0     24

Eth7/19    1a302400 27   2    8     255   72    -1    0     8     16    2     0     73   0     16

Eth7/20    1a302600 27   2    4     255   76    -1    0     4     8     1     0     77   0     8

Eth7/21    1a302800 27   2    60    255   80    -1    1     20    40    14    0     81   0     40

Eth7/22    1a302a00 27   2    56    255   84    -1    1     16    32    13    0     85   0     32

Eth7/23    1a302c00 27   2    52    255   88    -1    1     12    24    12    0     89   0     24

Eth7/24    1a302e00 27   2    48    255   92    -1    1     8     16    11    0     93   0     16

Eth7/25    1a303000 28   3    12    255   96    -1    0     12    24    3     0     97   0     24

Eth7/26    1a303200 28   3    8     255   100   -1    0     8     16    2     0     101  0     16

Eth7/27    1a303400 28   3    4     255   104   -1    0     4     8     1     0     105  0     8

Eth7/28    1a303600 28   3    0     255   108   -1    0     0     0     0     0     109  0     0

Eth7/29    1a303800 28   3    60    255   112   -1    1     20    40    14    0     113  0     40

Eth7/30    1a303a00 28   3    56    255   116   -1    1     16    32    13    0     117  0     32

Eth7/31    1a303c00 28   3    52    255   120   -1    1     12    24    12    0     121  0     24

Eth7/32    1a303e00 28   3    48    255   124   -1    1     8     16    11    0     125  0     16

案例3結論

我們已確認Nexus 9500在物理介面Ethernet7/32上接收具有stocked CRC的幀。這意味著Ethernet7/32鏈路遠端端的裝置正在裝載這些幀的CRC;格式不正確的幀的根源不是直接連線到Ethernet7/32的鏈路，而是更下游的鏈路。應對下游網路裝置執行更多故障排除，以確定這些錯誤幀的來源。

案例4.使用輸出介面追蹤無效CRC訊框的來源。

此示例演示當上游交換機報告Nexus 9500正在生成具有堆積CRC的幀時，如何跟蹤Nexus 9500交換機上具有無效CRC的幀的源。在此案例中，上游交換機通過前面板埠Ethernet8/9連線。

步驟1.識別將無效CRC幀傳送到輸出線卡的交換矩陣模組

我們知道，向上游交換機傳送帶有堆積CRC的幀的輸出介面是Ethernet8/9。首先，我們需要確定將帶有堆積CRC的幀傳送到插在機箱插槽8中的線卡的交換矩陣模組。我們使用show hardware internal errors module {x}命令開始此過程。此步驟的範例如下所示。

Nexus9500# show hardware internal errors module 8 | i CRC|Inst

<snip>

Instance:1

196617 Interface Inbound Errors (CRC,len,Algn Err)    0000091499464650  9:0

1048585 Interface Inbound CRC Error Stomped           0000091499464651  9:0

上述輸出中的MacID:MacSP 9:0可以使用show system internal fabric link-state module 8命令對映到源交換矩陣模組。此步驟的範例如下所示。

Nexus9500# show system internal fabric link-state module 8

cli : mod = 8

module number = 8

========================================================================================================================

Module number = 8

========================================================================================================================

[LC]   [    INST:SLI:MAC:GLSRC]   [IETH]    [ST]   <========>  [FM]   [    INST:SLI:MAC:GLSRC]  [IETH]   [ST]

========================================================================================================================

...

[ 8]   [  1 :   1 :   9 :  0x0]   [iEth10]   [UP]  <========>  [22]   [  1 :   0 :   4 :  0x20]   [iEth35]   [UP]

我們看到插入插槽8中的線卡上的MAC識別符號9對映到插入機箱插槽22中的交換矩陣模組。我們預計在內部鏈路iEth10上會看到CRC錯誤。我們可以使用show system internal fabric connectivity stats module 8命令驗證此錯誤。此步驟的範例如下所示。

Nexus9500# show system internal fabric connectivity stats module 8

Internal Link-info Stats Linecard slot:8

-------------------------------------------------------------------------------------

LC-Slot  LC-Unit   LC-iEthLink   MUX   FM-Slot   FM-Unit   FM-iEthLink    CRC

-------------------------------------------------------------------------------------

8        0     iEth01         -         22        0      iEth18        0

8        0     iEth02         -         22        1      iEth50        0

8        0     iEth03         -         23        0      iEth18        0

8        0     iEth04         -         23        1      iEth50        0

8        0     iEth05         -         24        0      iEth18        0

8        0     iEth06         -         24        1      iEth50        0

8        0     iEth07         -         26        0      iEth18        0

8        0     iEth08         -         26        1      iEth50        0

8        1     iEth09         -         22        0      iEth03        0

8        1     iEth10         -         22        1      iEth35        1784603561

步驟2.將交換矩陣模組上的iEth鏈路對映到連線的線卡並檢查堆疊的CRC

接下來，我們按照與案例3相同的流程，檢查接收CRC的iEth內部鏈路、這些CRC是否根據交換矩陣模組的ASIC進行堆疊，以及哪個線卡連線到交換矩陣模組的iEth內部鏈路。此處使用show system internal fabric connectivity stats module {x}命令、show hardware internal errors module {x}命令和show system internal fabric link-state module {x}命令顯示此示例。

Nexus9500# show system internal fabric connectivity stats module 22

Internal Link-info Stats Fabriccard slot:22

-------------------------------------------------------------------------------------

FM-Slot  FM-Unit   FM-iEthLink   LC-Slot   LC-Unit   LC-EthLink    MUX    CRC

22         1      iEth56          7         3      iEth26         -     1171851894

Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst

Instance:1

196635  Interface Inbound Errors (CRC,len,Algn Err)   0000054593935847  27:0

1048603 Interface Inbound CRC Error Stomped           0000054593935846  27:0

Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56

[FM]   [    INST:SLI:MAC:GLSRC]   [IETH]    [ST]   <========>  [LC]   [    INST:SLI:MAC:GLSRC]  [IETH]   [ST]

[22]   [  1 :   4 :  27 : 0x18]   [iEth56]   [UP]  <========>  [ 7]   [  3 :   1 :   9 :   0x0]   [iEth26]   [UP]

步驟3.跟蹤入口模組上具有無效CRC的幀的源

在確定輸入線卡（在此案例中，插入插槽7中的線卡通過iEth26連線到插入插槽22中的交換矩陣模組的iEth56）後，我們確定損壞的幀進入交換機的哪個輸入埠。這是使用show interface counters errors module {x} non-zero命令完成的。show hardware internal errors module {x}命令和show interface hardware-mappings命令的輸出可以驗證接收的幀是無效還是儲存的CRC。此處範例所示，損毀的訊框透過前面板介面Ethernet7/32進入交換器。

Nexus9500# show interface counters errors module 7 non-zero

<snip>

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth7/32               0          0          0 4128770335          0           0

--------------------------------------------------------------------------------

Port         Stomped-CRC

--------------------------------------------------------------------------------

Eth7/32      4129998971

Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst

<snip>

Instance:3

196619  Interface Inbound Errors (CRC,len,Algn Err)   0000054901402307  11:0

1048587 Interface Inbound CRC Error Stomped           0000054901402308  11:0

Nexus9500# show interface hardware-mappings | i Name|Eth7

<snip>

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

...

Eth7/32    1a303e00 28   3    48    255   124   -1    1     8     16    11    0     125  0     16

案例4結論

我們已確認Nexus 9500在物理介面Ethernet7/32上接收具有stocked CRC的幀。這意味著Ethernet7/32鏈路遠端端的裝置正在裝載這些幀的CRC;格式不正確的幀的根源不是直接連線到Ethernet7/32的鏈路，而是更下游的鏈路。應對下游網路裝置執行更多故障排除，以確定這些錯誤幀的來源。

相關資訊

- 適用於低延遲環境的直通和儲存轉發乙太網交換