識別和跟蹤Nexus 9000雲規模ASIC CRC
目錄
簡介
本文檔介紹用於跟蹤在Cisco Nexus 9000雲規模ASIC模組上觀察到的CRC錯誤來源的步驟。
必要條件
需求
思科建議您瞭解直通交換和存轉交換的基本知識。思科還建議您瞭解乙太網幀校驗序列(FCS)欄位的基礎知識以及FCS欄位使用的循環冗餘校驗(CRC)演算法。如需詳細資訊，請參閱以下檔案：
採用元件
本檔案中的資訊是根據執行NX-OS軟體版本7.0(3)I7(8)的Cisco Nexus 9000系列交換器（搭載雲端規模ASIC）。
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。
背景資訊
本文檔還介紹了用於區分模組化Nexus交換機的物理介面和內部交換矩陣鏈路上觀察到的堆疊和非堆疊的CRC錯誤的步驟。
預設情況下，Cisco Nexus 9000系列交換機使用直通交換。直通交換是指交換機對幀做出轉發決定，並在交換機處理了足夠的幀報頭做出有效的轉發決定後立即開始從出口介面轉發幀。這不同於儲存轉發交換，在儲存轉發交換中，交換機在從輸出介面轉發幀之前緩衝整個幀。
乙太網幀的FCS欄位驗證幀的完整性並確保幀在傳輸過程中未損壞。乙太網幀的FCS欄位位於該幀的負載後方的乙太網幀的末尾。在儲存轉發交換模式下運行的交換機能夠使用FCS欄位驗證乙太網幀的完整性，然後再將幀從出口介面轉發出去（或者，如果FCS欄位包含無效內容，則丟棄該幀）。但是，在直通交換模式下運行的交換機無法在將幀從輸出介面轉發出去之前使用FCS欄位驗證乙太網幀的完整性；換句話說，當直通交換機能夠驗證乙太網幀的完整性時，大多數乙太網幀已經從輸出介面轉發出去。
如果在直通交換模式下運行的交換機收到帶有無效FCS欄位的乙太網幀，則交換機可以採取以下措施：
- 使用當前（不正確）FCS欄位值的位逆值重寫乙太網幀的FCS欄位。如果需要路由該幀，則重新寫入該幀的乙太網報頭後，將計算當前（不正確）的FCS欄位值。此操作稱為停止CRC。
- 根據在乙太網幀上做出的轉發決策，將乙太網幀的剩餘部分（以及儲存的CRC）從輸出介面轉發出去。
- 遞增輸入介面上的輸入錯誤計數器和/或CRC錯誤計數器。
本檔案介紹驗證與輸入介面相關聯的CRC計數器是普通CRC（通常表示連線到輸入介面的連結上的實體層問題）還是堆疊CRC（表示連線到輸入介面的裝置也在直通交換模式下運作並收到錯誤格式的乙太網路訊框）的步驟。
適用硬體
本文件內容涵蓋的程序僅適用於以下硬體：
Nexus 9200/9300固定交換器
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500模組化交換線路卡
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200和9300雲規模CRC識別和跟蹤程式
本文此節介紹確定Cisco Nexus 9200和9300系列交換機上的特定物理介面Ethernet1/1上觀察到的CRC錯誤源的分步說明。
NX-OS軟體版本10.2(1)及更高版本
從NX-OS軟體版本10.2(1)開始，配備Cloud Scale ASIC的Nexus交換機在經過交換機的乙太網幀的FCS欄位中為具有堆積CRC的資料包提供一個新的介面計數器。您可以使用show interface命令來識別具有遞增非零CRC和堆積CRC計數器的物理介面。這裡顯示一個範例，其中實體介面Ethernet1/1具有零CRC計數器和非零堆積CRC計數器，這表示此介面收到具有無效和堆積CRC的訊框。
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
註：遞增CRC計數器表示收到帶有堆積CRC或無效但未堆積CRC的幀。遞增的堆積CRC計數器遞增表示收到具有堆積CRC的幀。
或者，show interface counters errors non-zero命令可用於檢視介面錯誤計數器。此步驟的範例如下所示。
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
您可以將show interface命令管道連線到json或json-pretty命令，以結構化格式獲取CRC和儲存的CRC計數器統計資訊。此步驟的範例如下所示。
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST API可用於使用sys/intf/phys-[intf-id]/dbgEtherStats.json對象模型檢索這些相同的統計資訊。此步驟的範例如下所示。
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OS軟體版本10.1(2)及更低版本
對於10.2(1)之前的NX-OS軟體版本，堆疊的CRC計數器在介面上不可用。需要執行幾個步驟來確定觀察到無效CRC的輸入介面，並驗證CRC是無效還是堆積。
步驟 1.標識物理介面上的遞增CRC計數器
使用show interface命令識別具有遞增非零CRC計數器的物理介面。此處顯示的範例中，實體介面Ethernet1/1具有非零CRC計數器。
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
或者，可以使用show interface counters errors non-zero命令顯示所有帶有非零錯誤計數器（包括非零CRC計數器）的介面。此處顯示的示例，其中物理介面Ethernet1/1具有由FCS-Err列顯示的非零CRC計數器。
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
步驟 2.將物理介面對映到ASIC、MAC塊和Mac塊子埠
使用show interface hardware-mappings命令確定三個關鍵特徵：
- 裝置 — 物理介面所連線的雲規模ASIC的識別符號。這使用從零開始的編號系統（例如，第一個ASIC是0，第二個ASIC是1，等等）
- MacId — 物理介面所連線的MAC塊的識別符號。這使用從零開始的編號系統（例如，第一個MAC塊為0，第二個MAC塊為1，等等）
- MacSP — 物理介面所連線的MAC塊子埠的識別符號。每個MAC塊都有四個與其相關的子埠，這些子埠使用基於零的編號系統，並且以2的值遞增。因此，第一子埠的索引為0，第二子埠的索引為2，第三子埠的索引為4，第四子埠的索引為6。
此處的示例中說明了這一點，其中物理介面Ethernet1/1與Cloud Scale ASIC 0、MAC塊4和MAC塊子埠0關聯。
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
步驟 3.檢查CRC相關計數器的雲擴展ASIC暫存器
使用slot {x} show hardware internal tah counters asic {y}命令檢視Cloud Scale ASIC的註冊計數器。此命令包含兩個變數：
- {x} — 將此值替換為線卡插槽編號。對於架頂式交換機，此值始終為1。對於行尾模組化交換機，線卡插槽編號是物理介面名稱中的第一個編號。例如，物理介面Ethernet1/1的線卡插槽編號為1，而物理介面Ethernet4/24的線卡插槽編號為4。
- {y} — 將此值替換為步驟2中標識的雲規模ASIC識別符號。例如，如果物理介面Ethernet1/1的Unit列的值為0，則此變數的值將為0。如果物理介面Ethernet4/24的Unit列的值為3，則此變數的值為3。
此輸出可以顯示表。表的每一行都是不同的ASIC暫存器。該表的每一列都與交換機上的一個物理介面相對應。每列使用的名稱不是物理介面的名稱，而是MAC塊和MAC塊子埠的組合。用於列標題的格式如下：
M{A},{B}-{InterfaceSpeed}
此格式有三個變數：
- {A} — 將此值替換為MAC塊編號。
- {B} — 將此值替換為MAC塊子埠號。
- {InterfaceSpeed} — 此值可與介面的實體速度對應（例如，10G、25G、40Gx4等）
以下範例對此進行了說明。回想一下，物理介面Ethernet1/1與線卡插槽編號1和Cloud Scale ASIC 0關聯，這意味著您必須運行的命令是slot 1 show hardware internal tah counters asic 0。與物理介面Ethernet1/1關聯的MAC塊為4，與物理介面Ethernet1/1關聯的MAC塊子埠為0，而物理介面Ethernet1/1為10G介面。因此，我們要查詢的列標題是M4,0-10G。
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
此命令的輸出包含幾十個暫存器計數器。有兩個關鍵暫存器計數器與區分自然CRC錯誤與儲存的CRC相關：
- 02-RX Frm with FCS Err — 表示收到具有無效但未儲存的CRC的幀。
- 16-RX From CRC Err(Stomp) — 表示收到具有堆積CRC的幀。
這些計數器的值以十六進位制表示。dec NX-OS命令可以將十六進位制值轉換為十進位制值，如下所示。
N9K-C93180YC-EX-2# dec 0xc
12
兩個暫存器計數器的組合值等於通過show interface或show interface counters errors non-zero的輸出在物理介面上觀察到的CRC數。
Cisco Nexus 9500雲端規模 — 模組化交換器上的CRC識別和追蹤程式
本文此節介紹確定Cisco Nexus 9500系列交換機上特定物理介面Ethernet1/1上觀察到的CRC錯誤源的分步說明。
Nexus 9500系列交換機上的每個線卡都通過內部鏈路（乙太網）連線到交換矩陣模組。每個線卡的每個ASIC與所有交換矩陣模組具有全網狀連線。此處的示例顯示一個線卡，該線卡具有四個Sugarbowl ASIC，內部鏈路連線到模組化Nexus 9500交換機中的四個交換矩陣模組。
當ASIC接收的流量需要輸出另一個ASIC或線卡時，該流量需要通過交換矩陣模組傳送到交換矩陣。輸入ASIC根據封包標頭的雜湊和可用於ASIC的iEth連結數量，選擇通向光纖模組的iEth連結之一。
步驟 1.對映線卡和交換矩陣模組之間的內部鏈路。
使用show system internal fabric connectivity module {x}命令（其中{x}是線卡或交換矩陣模組插槽編號）顯示指定線卡和所有交換矩陣模組之間的內部鏈路。此輸出顯示一個表，其中每一行顯示線卡內部鏈路（在LC-iEthLink列下）與每個交換矩陣模組內部鏈路（在FM-iEthLink列下）之間的一對一對映。此處顯示的範例來自插入8個線卡和4個光纖模組的Nexus 9508交換器。此處的輸出顯示，插入交換機插槽8中的線卡的每個ASIC例項通過2條內部鏈路連線到4個已安裝的交換矩陣模組（插入插槽22、23、24和26）中的每個。
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
同樣，可以從交換矩陣模組的角度檢查iEth鏈路對映。這裡顯示一個示例，其中顯示了插入插槽22中的交換矩陣模組與安裝在Nexus 9508機箱中的8個線卡中的每個線卡之間的內部鏈路。
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
使用show system internal fabric link-state module {x}命令檢查內部埠是否為up（在ST列下），以及特定內部鏈路的相應ASIC片和MAC識別符號（在MAC列下）是什麼。此步驟的範例如下所示。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
步驟 2.檢查Eth鏈路上的CRC計數器並跟蹤損壞幀的來源
在模組化Nexus 9500交換機上，您可以在以下場景中看到一個或多個iEth鏈路上出現CRC錯誤：
- 當交換機以直通交換模式運行時，在FCS欄位中接收具有錯誤CRC值的損壞乙太網幀的線卡不會本地丟棄該幀。相反，線卡會照常轉送封包。如果封包的輸出介面屬於另一個ASIC或線路卡，則輸入線路卡會將封包轉送到光纖模組。交換矩陣模組也以直通交換模式運行，因此交換矩陣模組將資料包轉發到出口線卡。輸出線卡將封包轉送到下一個躍點，並增加輸出介面上的輸出錯誤計數器。
- 如果內部鏈路由於硬體故障而失敗，則穿越內部鏈路的資料包可能會線上卡和交換矩陣模組之間損壞。
使用show system internal fabric connectivity stats module {x}命令檢查相應內部鏈路的CRC計數器。這裡顯示一個例子，插入插槽22中的交換矩陣模組接收的iEth56上包含無效CRC的資料包，該iEth56連線到插入交換機插槽7中的線卡的iEth26。這表示交換矩陣模組從插入交換機插槽7中的線卡接收損壞的乙太網幀。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
線上卡或交換矩陣模組上使用slot {x} show hardware internal tah counters asic {y}命令，確定CRC錯誤是無效還是儲存的CRC。將無效CRC錯誤與儲存的CRC錯誤區分開的兩個暫存器計數器為：
- 02-RX Frm with FCS Err — 表示收到具有無效但未儲存的CRC的幀。
- 16-RX From CRC Err(Stomp) — 表示收到具有堆積CRC的幀。
此處顯示一個範例，其中透過內部連結iEth54在插入機箱插槽22中的光纖模組上接收損毀的訊框，連線到插入機箱插槽8中的線路卡，且接收時採用堆疊式CRC:
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
或者，使用show hardware internal errors module {x}命令查看特定模組的ASIC錯誤計數器。此步驟的範例如下所示。
註：在此輸出中，無效CRC和堆積CRC的介面入站錯誤(CRC、len、Algn Err)計數器會遞增，而介面入站CRC錯誤堆積(Interface Inbound CRC Error Stocked)計數器僅會遞增。
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
確定接收損壞的幀的入口線卡後，以類似的方式使用slot {x} show hardware internal tah counters asic {y}或show hardware internal errors module {x}命令來識別接收錯誤的入口介面，以及是否將錯誤作為無效CRC或儲存的CRC接收。
交換矩陣模組或出口線卡顯示iEth鏈路上的CRC錯誤，但連線的線卡沒有輸入CRC的跡象的情況極少。此問題的根本原因通常是交換矩陣模組的硬體故障。思科建議使用Cisco TAC開啟支援案例，進一步解決此問題，並在必要時更換光纖模組。
範例
本檔案的此節將介紹前面的步驟和一些示例。
案例 1.接收堆疊式CRC的物理介面
此示例演示如何識別物理介面上的CRC錯誤是儲存的CRC。
請考慮使用此拓樸：
在本例中，通過從介面SVI 10（擁有IP地址192.0.2.1）到N9K-3的介面SVI 10（擁有IP地址192.0.2.3）（擁有MTU為1500位元組）發出的8000位元組ICMP資料包，在交換機N9K-1上生成有目的地儲存的CRC錯誤。N9K-1、N9K-2和N9K-3均為Nexus 93180YC-EX型號交換機。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
在本例中，在交換機N9K-3的物理介面Ethernet1/1上觀察到遞增的CRC錯誤。
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
步驟 1.確認遞增CRC
通過生成源自N9K-1的介面SVI 10（擁有IP地址192.0.2.1）、目的地為N9K-3的介面SVI 10（擁有IP地址192.0.2.3）的巨型8000位元組ICMP資料包，確認物理介面Ethernet1/1上的CRC正在增加。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
步驟 2.將物理介面對映到ASIC、MAC塊和MAC塊子埠
在N9K-3上使用show interface hardware-mappings命令將物理介面Ethernet1/1對映到ASIC編號0、MAC塊4和MAC塊子埠0。
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
步驟 3.檢查CRC相關計數器的雲擴展ASIC暫存器
根據步驟2中的資訊，您知道以下事實：
- 物理介面Ethernet1/1對映到ASIC編號0。
- 物理介面Ethernet1/1對映到MAC塊4的MAC塊子埠0
- 因為N9K-3是架頂式Nexus 93180YC-EX型號交換機，所以您知道唯一可能的線卡插槽編號是1
- 從步驟1中收集的show interface的輸出中，您知道物理介面Ethernet1/1的速度是10G。
使用此資訊，可以使用slot 1 show hardware internal tah counters asic 0命令檢視所有物理介面的ASIC暫存器計數器。具體來說，您正在尋找與M4、0-10G關聯的ASIC暫存器計數器。
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
您可以看到暫存器16的非零十六進位制值0xc，表示此物理介面上接收到具有堆積CRC的幀。您可以使用dec 0xc命令將此值轉換為十進位制值12，該值匹配物理介面Ethernet1/1上的CRC錯誤數。
N9K-3# dec 0xc
12
結論
您已經確認N9K-3正在物理介面Ethernet1/1上接收帶有堆積CRC的幀。這意味著Ethernet1/1鏈路遠端端的裝置（在本例中為N9K-2）正在增大這些幀的CRC；格式錯誤的幀的根本原因不是直接連線到Ethernet1/1的鏈路，而是更下游的鏈路。可以在下游網路裝置上執行其他故障排除，以確定這些錯誤幀的來源。
案例 2.物理介面收到格式錯誤的幀，其中的CRC無效
此示例演示如何識別由於直連鏈路上的物理層問題引起的錯誤幀而導致物理介面上的CRC錯誤增加。
請考慮使用此拓樸：
在本示例中，連線到交換機N9K-1的物理介面Ethernet1/40的流量生成器會故意生成具有錯誤CRC的幀。這模擬了連線到Ethernet1/40的鏈路上的物理層問題，例如收發器故障或電纜損壞。N9K-1接收這些幀，識別CRC無效，並遞增Ethernet1/40物理介面上的CRC錯誤計數器。 N9K-1是Nexus 93180YC-EX型號交換機。
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
步驟 1.確認遞增CRC
通過show interface或show interface counters non-zero命令確認CRC在N9K-1的物理介面Ethernet1/40上遞增。
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
步驟 2.將物理介面對映到ASIC、MAC塊和MAC塊子埠
在N9K-1上使用show interface hardware-mappings命令將物理介面Ethernet1/40對映到ASIC編號0,MAC塊10,MAC塊子埠6。
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
步驟 3.檢查CRC相關計數器的雲擴展ASIC暫存器
根據步驟2中的資訊，您知道以下事實：
- 物理介面Ethernet1/40對映到ASIC編號0。
- 物理介面Ethernet1/40對映到MAC塊10的MAC塊子埠6。
- 因為N9K-1是架頂式Nexus 93180YC-EX型號交換機，所以您知道唯一可能的線卡插槽編號是1。
- 從步驟1中收集的show interface的輸出中，您知道物理介面Ethernet1/40的速度是10G。
使用此資訊，可以使用slot 1 show hardware internal tah counters asic 0命令檢視所有物理介面的ASIC暫存器計數器。具體來說，您正在尋找與M10、6-10G關聯的ASIC暫存器計數器。
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
您可以看到暫存器2的非零十六進位制值0x973e，表示在此物理介面上接收到具有無效但非堆積CRC的幀。
您可以使用dec 0x973e命令將此值轉換為38,718的十進位制值，該值匹配（或小於）物理介面Ethernet1/40上的CRC錯誤數，因為CRC不斷遞增。
N9K-1# dec 0x973e
38718
結論
您已確認N9K-1在物理介面Ethernet1/40上接收具有無效但未儲存的CRC的幀。這表示直接連線到Ethernet1/40（或鏈路遠端裝置）的鏈路最可能是格式錯誤的幀源。可以對此鏈路的物理層執行進一步的故障排除，以查明幀格式錯誤的根本原因（例如檢查電纜是否損壞、用已知良好的收發器更換當前收發器等）。
案例 3.Nexus 9500 iEth CRC錯誤系統日誌
此示例演示在Nexus 9500系列交換機生成內部介面上的報告錯誤的系統日誌時，如何識別iEth內部鏈路上的CRC錯誤來源。以下是一個系統日誌的示例。
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
此系統日誌表示在插入交換機插槽22中的交換矩陣模組的iEth56內部鏈路上檢測到錯誤。
步驟 1.將交換矩陣模組上的乙太網鏈路對映到連線的線卡
使用show system internal fabric connectivity stats module {x}命令確定受影響的iEth內部連結連線到哪個線卡。在本示例中，插入交換機插槽22中的交換矩陣模組的iEth56出現錯誤。這裡顯示一個示例，其中插入插槽22中的交換矩陣模組的iEth56連線到插入交換機插槽7中的線卡的iEth26。
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
使用show system internal fabric link-state module {x}命令查詢與交換矩陣模組的iEth56內部鏈路關聯的ASIC例項和MAC識別符號。這裡顯示一個示例，其中ASIC例項為1,MAC識別符號為27。
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
步驟 2.檢查乙太網鏈路上接收的CRC是否無效或堆積
上一步顯示，對於連線到插入插槽22中的交換矩陣模組的iEth56，我們的ASIC例項識別符號為1,MAC識別符號為27。使用slot {x} show hardware internal tah counters asic {y}命令識別系統日誌報告的CRC是無效的CRC還是儲存的CRC。這裡顯示一個示例，其中M27,0-100Gx4列與我們的MAC識別符號27關聯，並表示CRC已堆疊。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
或者，使用show hardware internal errors module {x} 命令來收集此相同資訊。此步驟的範例如下所示。
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
回想一下，在此輸出中，無效CRC和堆疊的CRC的介面入站錯誤(CRC、len、Algn Err)計數器增加，而介面入站CRC錯誤堆疊計數器僅增加堆疊的CRC。
步驟 3.跟蹤入口線路卡上具有無效CRC的幀的來源
現在您知道，插入交換機插槽22中的交換矩陣模組的CRC是從插入插槽7中的線卡進入交換機的。使用此資訊，可以使用show interface counters errors module {x} non-zero命令識別屬於相關線卡的介面上的非零CRC計數器。此步驟的範例如下所示。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
您可以在相#2線卡上重複此方案的步驟，以驗證線卡是否收到無效CRC或儲存的CRC。
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
使用show interface hardware-mappings命令標識前一個輸出中的MacId:MacSP值11:0對映到的前面板埠。這裡顯示一個示例，其中11:0對映到前面板埠Eth7/32。
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
您已確認Nexus 9500在物理介面Ethernet7/32上接收帶有堆積CRC的幀。這意味著Ethernet7/32鏈路遠端端的裝置正在停止這些幀的CRC；格式錯誤的幀的根源不是直接連線到Ethernet7/32的鏈路，而是位於更下游的位置。可以在下游網路裝置上執行其他故障排除，以確定這些錯誤幀的來源。
案例 4.跟蹤具有輸出介面的無效CRC幀的來源
此示例演示當上游交換機報告Nexus 9500正在生成具有堆積CRC的幀時，如何跟蹤Nexus 9500交換機上具有無效CRC的幀的源。在此案例中，上游交換機通過前面板埠Ethernet8/9連線。
步驟 1.標識將無效CRC幀傳送到出口線卡的交換矩陣模組
您知道，向上游交換機傳送帶有堆積CRC的幀的輸出介面是Ethernet8/9。首先，您需要確定將帶有堆積CRC的幀傳送到插在機箱插槽8中的線卡的交換矩陣模組。可以使用show hardware internal errors module {x}命令開始此過程。此步驟的範例如下所示。
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
使用show system internal fabric link-state module 8命令，可以將先前輸出中的MacID:MacSP 9:0對映到源交換矩陣模塊。此步驟的範例如下所示。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
您看到插入插槽8中的線卡上的MAC識別符號9對映到插入機箱插槽22中的交換矩陣模組。您預計在內部鏈路iEth10上會看到CRC錯誤。您可以使用show system internal fabric connectivity stats module 8命令驗證此情況。此步驟的範例如下所示。
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
步驟 2.將交換矩陣模組上的乙太網鏈路對映到連線的線卡並檢查是否有堆疊的CRC
接下來，您使用與案例3中相同的流程，方法是檢查接收CRC的iEth內部鏈路、這些CRC是否根據交換矩陣模組的ASIC進行堆疊，以及哪個線卡連線到交換矩陣模組的iEth內部鏈路。此處使用show system internal fabric connectivity stats module {x}命令、show hardware internal errors module {x}命令和show system internal fabric link-state module {x}命令顯示此示例。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
步驟 3.跟蹤入口模組上具有無效CRC的幀的源
在確定輸入線卡（在此案例中，插入插槽7中的線卡通過iEth26連線到插入插槽22中的交換矩陣模組的iEth56）後，您確定損壞的幀進入交換機的哪個輸入埠。這是使用show interface counters errors module {x} non-zero命令完成的。show hardware internal errors module {x}命令和show interface hardware-mappings命令的輸出可以驗證接收的幀是無效還是儲存的CRC。
此處範例所示，損毀的訊框透過前面板介面Ethernet7/32進入交換器。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
您已確認Nexus 9500在物理介面Ethernet7/32上接收帶有堆積CRC的幀。這意味著Ethernet7/32鏈路遠端端的裝置正在停止這些幀的CRC；格式錯誤的幀的根源不是直接連線到Ethernet7/32的鏈路，而是位於更下游的位置。
可以在下游網路裝置上執行其他故障排除，以確定這些錯誤幀的來源。
相關資訊
修訂記錄
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
3.0 |
08-Nov-2023 |
已更新標題、簡介、技術內容術語、SEO、風格要求、機器翻譯和格式。 |
2.0 |
03-Oct-2021 |
更新適用硬體部分以包括新硬體。 |
1.0 |
13-Nov-2020 |
初始版本 |
意見