Nexus 9000クラウドスケールASIC CRCの特定とトレース
内容
はじめに
このドキュメントでは、Cisco Nexus 9000クラウドスケールASICモジュールで見られるCRCエラーの原因をトレースするために使用される手順について説明します。
前提条件
要件
カットスルースイッチングとストアアンドフォワードスイッチングの基本を理解しておくことをお勧めします。また、イーサネットフレームチェックシーケンス(FCS)フィールドの基本と、FCSフィールドで使用される巡回冗長検査(CRC)アルゴリズムについても理解しておくことを推奨します。詳細については、次のドキュメントを参照してください。
使用するコンポーネント
このドキュメントの情報は、NX-OSソフトウェアリリース7.0(3)I7(8)を実行しているCloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチに基づくものです。
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
背景説明
このドキュメントでは、モジュラNexusスイッチの物理インターフェイスと内部ファブリックリンクで見られるストンプCRCエラーと非ストンプCRCエラーを区別するための手順についても説明します。
Cisco Nexus 9000シリーズスイッチは、デフォルトでカットスルースイッチングを使用します。カットスルースイッチングとは、スイッチがフレームに対して転送の決定を行い、有効な転送の決定を行うのに十分なフレームのヘッダーをスイッチが処理するとすぐに、フレームを出力インターフェイスから転送し始めるスイッチングです。これは、出力インターフェイスからフレームを転送する前にフレーム全体をバッファリングするストアアンドフォワードスイッチングとは異なります。
イーサネットフレームのFCSフィールドは、フレームの整合性を検証し、フレームが転送中に破損していないことを確認します。イーサネットフレームのFCSフィールドは、フレームのペイロードの背後にあるイーサネットフレームの末尾に配置されます。ストアアンドフォワードスイッチングモードで動作するスイッチは、出力インターフェイスからフレームを転送する（または、FCSフィールドに無効な内容がある場合はフレームをドロップする）前に、FCSフィールドを使用してイーサネットフレームの整合性を確認できます。ただし、カットスルースイッチングモードで動作するスイッチは、フレームを出力インターフェイスから転送する前に、FCSフィールドを使用してイーサネットフレームの整合性を確認できません。つまり、カットスルースイッチがイーサネットフレームの整合性を確認できる時点で、イーサネットフレームの大部分はすでに出力インターフェイスから転送されています。
カットスルースイッチングモードで動作しているスイッチが、無効なFCSフィールドを持つイーサネットフレームを受信した場合、スイッチは次のアクションを実行できます。
- イーサネットフレームのFCSフィールドを、現在の（不正な）FCSフィールドの値のビット単位の反転で書き換えます。フレームをルーティングする必要がある場合は、フレームのイーサネットヘッダーが書き換えられた後に、現在の（誤った）FCSフィールドの値が計算されます。この動作は、CRCストンプと呼ばれます。
- フレームに対する転送の決定に従って、イーサネットフレームの残りの部分を（ストンプされたCRCとともに）出力インターフェイスから転送します。
- 入力インターフェイスの入力エラーカウンタとCRCエラーカウンタの両方またはいずれか一方を増加させます。
このドキュメントでは、入力インターフェイスに関連付けられたCRCカウンタが正常なCRC（通常は、入力インターフェイスに接続されているリンク上の物理層の問題を示す）か、またはストンプされたCRC（入力インターフェイスに接続されているデバイスもカットスルースイッチングモードで動作していて、不正なイーサネットフレームを受信したことを示す）かを確認する手順について説明します。
該当ハードウェア
このドキュメントで説明する手順は、次のハードウェアにのみ適用されます。
Nexus 9200/9300固定構成スイッチ
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX（日本未発売）
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500モジュラスイッチラインカード
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX（日本未発売）
- N9K-X9732C-FX（日本未発売）
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200および9300クラウドスケールCRCの識別とトレース手順
このセクションでは、Cisco Nexus 9200および9300シリーズスイッチの特定の物理インターフェイスEthernet1/1で見られるCRCエラーの発生源を特定する手順について説明します。
NX-OSソフトウェアリリース10.2(1)以降
NX-OSソフトウェアリリース10.2(1)以降、クラウドスケールASICを搭載したNexusスイッチには、スイッチを通過するイーサネットフレームのFCSフィールドでストンプされたCRCを持つパケット用の新しいインターフェイスカウンタがあります。show interfaceコマンドを使用すると、ゼロ以外のCRCカウンタとストンプされたCRCカウンタが増加している物理インターフェイスを識別できます。この例を次に示します。物理インターフェイスEthernet1/1には、ゼロのCRCカウンタとゼロ以外のストンプCRCカウンタがあります。これは、無効なCRCとストンプされたCRCを持つフレームがこのインターフェイスで受信されたことを示します。
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
注:CRCカウンタが増加している場合は、フレームがストンプされたCRCまたは無効だがストンプされていないCRCのいずれかで受信されたことを示します。ストンプされたCRCカウンタの増加は、ストンプされたCRCを持つフレームが受信されたことを示します。
または、show interface counters errors non-zeroコマンドを使用して、インターフェイスエラーカウンタを表示することもできます。この例を次に示します。
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
パイプを使用してshow interfaceコマンドをjsonまたはjson-prettyコマンドに渡すと、構造化された形式でCRCとストンプされたCRCカウンタの統計情報を取得できます。この例を次に示します。
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST APIを使用すると、sys/intf/phys-[intf-id]/dbgEtherStats.jsonオブジェクトモデルを使用してこれらの同じ統計情報を取得できます。この例を次に示します。
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OSソフトウェアリリース10.1(2)以前
NX-OSソフトウェアリリース10.2(1)より前のリリースでは、インターフェイスにstopped CRCカウンタはありません。無効なCRCが観察される入力インターフェイスを判別し、CRCが無効であるかストンプされているかを検証するには、いくつかの手順を実行する必要があります。
ステップ 1：物理インターフェイスでのCRCカウンタの増加の確認
show interfaceコマンドを使用して、ゼロ以外のCRCカウンタが増加している物理インターフェイスを特定します。次に示す例では、物理インターフェイスEthernet1/1にゼロ以外のCRCカウンタがあります。
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
または、show interface counters errors non-zeroコマンドを使用して、ゼロ以外のエラーカウンタ（ゼロ以外のCRCカウンタを含む）を持つすべてのインターフェイスを表示することもできます。次に示す例では、物理インターフェイスEthernet1/1にゼロ以外のCRCカウンタがあり、FCS-Err列に表示されています。
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
ステップ 2：ASIC、MACブロック、およびMacブロックサブポートへの物理インターフェイスのマッピング
show interface hardware-mappingsコマンドを使用して、次の3つの主要な特性を識別します。
- Unit：物理インターフェイスが接続するクラウドスケールASICのID。これは、ゼロベースの番号付け方式を使用します（たとえば、最初のASICは0、2番目のASICは1など）
- MacId：物理インターフェイスが接続するMACブロックのID。これは、ゼロから始まる番号付け方式を使用します（たとえば、最初のMACブロックは0、2番目のMACブロックは1など）
- MacSP：物理インターフェイスが接続するMACブロックサブポートのID。各MACブロックには4つのサブポートが関連付けられており、ゼロベースの番号付けシステムを使用し、2ずつ増分されます。したがって、第1サブポートのインデックスは0、第2サブポートのインデックスは2、第3サブポートのインデックスは4、第4サブポートのインデックスは6である。
これは、物理インターフェイスEthernet1/1がCloud Scale ASIC 0、MACブロック4、およびMACブロックサブポート0に関連付けられている場合の例で示されています。
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
ステップ 3：クラウドスケールASICレジスタのCRC関連カウンタの確認
slot {x} show hardware internal tah counters asic {y}コマンドを使用して、Cloud Scale ASICのレジスタカウンタを表示します。このコマンドには、次の2つの変数が含まれます。
- {x}：この値をラインカードのスロット番号に置き換えます。トップオブラックスイッチの場合、この値は常に1です。エンドオブローのモジュラスイッチの場合、ラインカードスロット番号は物理インターフェイス名の最初の番号です。たとえば、物理インターフェイスEthernet1/1のラインカードスロット番号は1ですが、物理インターフェイスEthernet4/24のラインカードスロット番号は4です。
- {y}：この値を手順2で特定されたCloud Scale ASIC IDに置き換えます。たとえば、物理インターフェイスEthernet1/1のUnit列の値が0の場合、この変数の値は0になります。物理インターフェイスEthernet4/24のUnit列の値が3の場合、この変数の値は3になります。
この出力では、表を表示できます。テーブルの各行は異なるASICレジスタです。テーブルの各列は、スイッチの物理インターフェイスに対応します。各列に使用される名前は、物理インターフェイスの名前ではなく、MACブロックとMACブロックサブポートの組み合わせです。列ヘッダーに使用される形式は次のとおりです。
M{A},{B}-{InterfaceSpeed}
この形式には、次の3つの変数があります。
- {A}：この値をMACブロック番号で置き換えます。
- {B}：この値をMACブロックサブポート番号で置き換えます。
- {InterfaceSpeed}：この値は、インターフェイスの物理速度に対応します（10G、25G、40Gx4など）。
これについては、次の例で説明します。物理インターフェイスEthernet1/1は、ラインカードのスロット番号1とCloud Scale ASIC 0に関連付けられていることを思い出してください。つまり、実行する必要があるコマンドは、slot 1 show hardware internal tah counters asic 0です。物理インターフェイスEthernet1/1に関連付けられたMACブロックは4、物理インターフェイスEthernet1/1に関連付けられたMACブロックサブポートは0、物理インターフェイスEthernet1/1は10Gインターフェイスです。したがって、検索する列ヘッダーはM4,0 ～ 10Gです。
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
このコマンドの出力には、数十のレジスタカウンタが含まれています。自然なCRCエラーとストンプされたCRCの区別に関連する重要なレジスタカウンタが2つあります。
- 02-RX Frm with FCS Err：無効だがストンプされていないCRCを持つフレームを受信したことを示します。
- 16-RX Frm CRC Err(Stomp)：ストンプ状態のCRCを持つフレームが受信されたことを示します。
これらのカウンタの値は16進数です。次に示すように、dec NX-OSコマンドを使用すると、16進数値を10進数値に変換できます。
N9K-C93180YC-EX-2# dec 0xc
12
両方のレジスタカウンタを合わせた値は、show interfaceまたはshow interface counters errors non-zeroの出力によって物理インターフェイスで観察されたCRCの数と同じです。
Cisco Nexus 9500クラウドスケール – モジュラスイッチでのCRCの識別とトレースの手順
このセクションでは、Cisco Nexus 9500シリーズスイッチの特定の物理インターフェイスEthernet1/1で見られるCRCエラーの発生源を特定する手順について説明します。
Nexus 9500シリーズスイッチの各ラインカードは、内部リンク(iEth)を介してファブリックモジュールに接続されます。各ラインカードの各ASICは、すべてのファブリックモジュールへのフルメッシュ接続を備えています。次の例は、4つのSugarbowl ASICを搭載したラインカードを示しています。内部リンクは、モジュラ型のNexus 9500スイッチ内の4つのファブリックモジュールに接続されています。
ASICによって受信されたトラフィックが別のASICまたはラインカードから出力される必要がある場合、そのトラフィックはファブリックモジュールを介してファブリックに送信される必要があります。入力ASICは、パケットのヘッダーのハッシュとASICで使用可能なiEthリンクの数に基づいて、ファブリックモジュールへのiEthリンクの1つを選択します。
ステップ 1：ラインカードとファブリックモジュール間の内部リンクのマッピング
show system internal fabric connectivity module {x}コマンド（{x}はラインカードまたはファブリックモジュールのスロット番号）を使用して、指定したラインカードとすべてのファブリックモジュール間の内部リンクを表示します。この出力は表を示しています。この表の各行は、ラインカードの内部リンク（LC-iEthLink列の下）と各ファブリックモジュールの内部リンク（FM-iEthLink列の下）の間の1対1のマッピングを示しています。この例は、8つのラインカードと4つのファブリックモジュールが挿入されたNexus 9508スイッチから取得したものです。この出力例は、スイッチのスロット8に挿入されたラインカードの各ASICインスタンスが、2つの内部リンクを通じて、装着されている4つのファブリックモジュール（スロット22、23、24、および26に挿入）にそれぞれ接続されていることを示しています。
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
同様に、iEthリンクマッピングは、ファブリックモジュールの観点からチェックできます。次に例を示します。ここでは、スロット22に挿入されたファブリックモジュールと、Nexus 9508シャーシに取り付けられた8枚の各ラインカードとの間の内部リンクが表示されています。
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
show system internal fabric link-state module {x}コマンドを使用して、内部ポートが（ST列で）アップしているかどうか、および（MAC列で）特定の内部リンクの対応するASICスライスとMAC IDが何であるかを確認します。この例を次に示します。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
ステップ 2：iEthリンクのCRCカウンタを確認し、破損フレームの原因を追跡する
モジュラ型のNexus 9500スイッチでは、次のシナリオで1つ以上のiEthリンクでCRCエラーが発生する可能性があります。
- スイッチがカットスルースイッチングモードで動作している場合、FCSフィールドに誤ったCRC値が含まれる破損したイーサネットフレームを受信したラインカードは、ローカルでフレームを廃棄しません。代わりに、ラインカードは通常どおりパケットを転送します。パケットの出力インターフェイスが別のASICまたはラインカードに属している場合、入力ラインカードはパケットをファブリックモジュールに転送します。ファブリックモジュールはカットスルースイッチングモードでも動作するため、ファブリックモジュールはパケットを出力ラインカードに転送します。出力ラインカードはパケットをネクストホップに転送し、出力インターフェイスの出力エラーカウンタを増加させます。
- ハードウェアの障害が原因で内部リンクに障害が発生した場合、ラインカードとファブリックモジュール間で内部リンクを通過するパケットが破損する可能性があります。
show system internal fabric connectivity stats module {x}コマンドを使用して、対応する内部リンクのCRCカウンタを確認します。この例を次に示します。ここでは、スロット22に挿入されたファブリックモジュールが、スイッチのスロット7に挿入されたラインカードのiEth26に接続されたiEth56で無効なCRCを持つパケットを受信しています。これは、破損したイーサネットフレームが、スイッチのスロット7に挿入されたラインカードからファブリックモジュールによって受信されたことを示します。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
ラインカードまたはファブリックモジュールでslot {x} show hardware internal tah counters asic {y}コマンドを使用して、CRCエラーが無効であるか、CRCのストンプが発生しているかを確認します。無効なCRCエラーとストンプされたCRCエラーを区別する2つのレジスタカウンタは次のとおりです。
- 02-RX Frm with FCS Err：無効だがストンプされていないCRCを持つフレームを受信したことを示します。
- 16-RX Frm CRC Err(Stomp)：ストンプ状態のCRCを持つフレームが受信されたことを示します。
この例を次に示します。この例では、シャーシのスロット22に挿入されたファブリックモジュールで、内部リンクiEth54を介して破損したフレームが受信され、シャーシのスロット8に挿入されたラインカードに接続され、ストンプCRCで受信されます。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
または、show hardware internal errors module {x}コマンドを使用して、特定のモジュールのASICエラーカウンタを表示します。この例を次に示します。
注：この出力では、Interface Inbound Errors (CRC,len,Algn Err)カウンタが無効なCRCとストンプされたCRCの両方で増加し、Interface Inbound CRC Error StompedカウンタがストンプされたCRCのみの値で増加します。
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
破損したフレームを受信している入力ラインカードを特定した後で、slot {x} show hardware internal tah counters asic {y}またはshow hardware internal errors module {x}コマンドを同様の方法で使用して、エラーを受信している入力インターフェイスを特定し、エラーが無効なCRCまたはストンプされたCRCとして受信されているかどうかを確認します。
まれに、ファブリックモジュールまたは出力ラインカードでiEthリンクにCRCエラーが表示されるものの、接続されたラインカードに入力CRCの兆候がない場合があります。この問題の根本的な原因は、通常、ファブリックモジュールのハードウェア障害です。この問題をさらにトラブルシューティングして必要に応じてファブリックモジュールを交換するには、Cisco TACのサポートケースをオープンすることをお勧めします。
例
このセクションでは、前の手順を例を挙げて説明します。
シナリオ 1.ストンプされたCRCを受信する物理インターフェイス
この例は、物理インターフェイスのCRCエラーがストンプされたCRCであることを識別する方法を示しています。
このトポロジを参照してください。
この例では、スイッチN9K-1で、インターフェイスSVI 10（IPアドレス192.0.2.1を所有）を発信元とし、N9K-3のインターフェイスSVI 10（IPアドレス192.0.2.3を所有）を宛先とするジャンボサイズの8000バイトのICMPパケットによって、意図的にストンプされたCRCエラーが生成されます。MTUはは15555555500バイト6です。N9K-1、N9K-2、およびN9K-3はすべてNexus 93180YC-EXモデルスイッチです。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
この例では、スイッチN9K-3の物理インターフェイスEthernet1/1でCRCエラーの増加が観察されています。
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 1：CRCの増加の確認
N9K-1のインターフェイスSVI 10（IPアドレス192.0.2.1を所有）からN9K-3のインターフェイスSVI 10（IPアドレス192.0.2.3を所有）に向けてジャンボサイズの8000バイトのICMPパケットを生成することによって、物理インターフェイスEthernet1/1でCRCが増加していることを確認します。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 2：ASIC、MACブロック、およびMACブロックサブポートへの物理インターフェイスのマッピング
N9K-3でshow interface hardware-mappingsコマンドを使用して、物理インターフェイスEthernet1/1をASIC番号0、MACブロック4、およびMACブロックサブポート0にマッピングします。
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
ステップ 3：クラウドスケールASICレジスタのCRC関連カウンタの確認
ステップ2の情報から、次のことがわかります。
- 物理インターフェイスEthernet1/1はASIC番号0にマッピングされています。
- 物理インターフェイスEthernet1/1は、MACブロック4のMACブロックサブポート0にマッピングされる
- N9K-3はトップオブラックのNexus 93180YC-EXモデルのスイッチであるため、使用可能なラインカードスロット番号は1だけです
- ステップ1で収集したshow interfaceの出力から、物理インターフェイスEthernet1/1の速度が10Gであることがわかります。
この情報を使用すると、slot 1 show hardware internal tah counters asic 0コマンドを使用して、すべての物理インターフェイスのASICレジスタカウンタを表示できます。具体的には、M4,0-10Gに関連するASICレジスタカウンタを探します。
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
レジスタ16にゼロ以外の16進数値0xcが表示されます。これは、この物理インターフェイスでストンプCRCを持つフレームが受信されたことを示します。dec 0xcコマンドを使用すると、これを10進数の値12に変換できます。12の値は、物理インターフェイスEthernet1/1でのCRCエラーの数と一致します。
N9K-3# dec 0xc
12
結論
N9K-3が物理インターフェイスEthernet1/1でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet1/1リンクのリモート側のデバイス（この場合はN9K-2）がこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet1/1に直接接続されているリンクではなく、ダウンストリームにあります。ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの発生源を特定できます。
シナリオ 2.物理インターフェイスが無効なCRCを持つ不正なフレームを受信した
この例は、直接接続されたリンクの物理層の問題が原因で発生する不正なフレームが原因で、物理インターフェイスのCRCエラーが増加していることを特定する方法を示しています。
このトポロジを参照してください。
この例では、スイッチN9K-1の物理インターフェイスEthernet1/40に接続されたトラフィックジェネレータが、誤ったCRCを持つフレームを意図的に生成しています。これは、トランシーバの故障やケーブルの損傷など、Ethernet1/40に接続されているリンク上の物理層の問題をシミュレートします。N9K-1はこれらのフレームを受信し、CRCが無効であることを認識して、Ethernet1/40物理インターフェイスのCRCエラーカウンタを増加させます。 N9K-1はNexus 93180YC-EXモデルのスイッチです。
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 1：CRCの増加の確認
show interfaceコマンドまたはshow interface counters non-zeroコマンドを使用して、N9K-1の物理インターフェイスEthernet1/40でCRCが増加していることを確認します。
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
ステップ 2：ASIC、MACブロック、およびMACブロックサブポートへの物理インターフェイスのマッピング
N9K-1でshow interface hardware-mappingsコマンドを使用して、物理インターフェイスEthernet1/40をASIC番号0、MACブロック10、MACブロックサブポート6にマッピングします。
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
ステップ 3：クラウドスケールASICレジスタのCRC関連カウンタの確認
ステップ2の情報から、次のことがわかります。
- 物理インターフェイスEthernet1/40はASIC番号0にマッピングされています。
- 物理インターフェイスEthernet1/40は、MACブロック10のMACブロックサブポート6にマッピングされています。
- N9K-1はトップオブラックのNexus 93180YC-EXモデルのスイッチであるため、使用可能なラインカードスロット番号は1だけです。
- ステップ1で収集したshow interfaceの出力から、物理インターフェイスEthernet1/40の速度が10Gであることがわかります。
この情報を使用すると、slot 1 show hardware internal tah counters asic 0コマンドを使用して、すべての物理インターフェイスのASICレジスタカウンタを表示できます。具体的には、M10、6-10Gに関連するASICレジスタカウンタを探します。
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
レジスタ2にゼロ以外の16進数値0x973eが表示される場合は、この物理インターフェイスで受信されたフレームに無効だがストンプされていないCRCがあることを示しています。
dec 0x973eコマンドを使用すると、これを38,718の10進数値に変換できます。この値は、物理インターフェイスEthernet1/40でのCRCエラーの数と一致する（または、CRCが絶えず増加するため、より小さい）ものです。
N9K-1# dec 0x973e
38718
結論
N9K-1が、物理インターフェイスEthernet1/40で、無効だがストンプされていないCRCを持つフレームを受信していることを確認しました。これは、Ethernet1/40（またはリンクのリモートエンドにあるデバイス）に直接接続されているリンクが、不正なフレームの原因である可能性が最も高いことを意味します。このリンクの物理層をさらにトラブルシューティングして、不正なフレームの根本原因を切り分けることができます（損傷したケーブル配線のチェック、現在のトランシーバを正常なことが分かっているトランシーバに交換するなど）。
シナリオ 3.Nexus 9500 iEth CRCエラーSyslog
この例では、内部インターフェイスのエラーを報告するsyslogがNexus 9500シリーズスイッチによって生成された場合に、iEth内部リンクのCRCエラーの原因を特定する方法を示します。このsyslogの例を次に示します。
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
このsyslogは、スイッチのスロット22に挿入されたファブリックモジュールのiEth56内部リンクでエラーが検出されたことを示しています。
ステップ 1：ファブリックモジュール上のiEthリンクを接続されたラインカードにマッピングする
show system internal fabric connectivity stats module {x}コマンドを使用して、影響を受けるiEth内部リンクがどのラインカードに接続されているかを識別します。この例では、スイッチのスロット22に挿入されたファブリックモジュールのiEth56でエラーが発生しています。この例を次に示します。ここでは、スロット22に挿入されたファブリックモジュールのiEth56が、スイッチのスロット7に挿入されたラインカードのiEth26に接続されています。
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
show system internal fabric link-state module {x}コマンドを使用して、ファブリックモジュールのiEth56内部リンクに関連付けられているASICインスタンスとMAC IDを探します。この例を次に示します。ASICインスタンスは1、MAC識別子は27です。
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
ステップ 2：iEthリンクで受信されたCRCが無効またはストンプされていないかどうかを確認する
前の手順では、スロット22に挿入されたファブリックモジュールに接続されたiEth56のASICインスタンスIDが1で、MAC IDが27であることが示されています。slot {x} show hardware internal tah counters asic {y}コマンドを使用して、syslogによって報告されたCRCが無効なCRCかストンプされたCRCかを特定します。この例をここに示します。M27,0-100Gx4列はMAC ID 27に関連付けられ、CRCがストンプされたことを示します。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
または、show hardware internal errors module {x} コマンドを使用してこの同じ情報を収集します。この例を次に示します。
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
この出力では、Interface Inbound Errors(CRC、len、Algn Err)カウンタが無効なCRCとストンプされたCRCの両方で増加し、Interface Inbound CRC Error StompedカウンタがストンプされたCRCのみの値で増加することを思い出してください。
ステップ 3：入力ラインカード上の無効なCRCを持つフレームの送信元の追跡
スイッチのスロット22に挿入されたファブリックモジュールに入るCRCが、スロット7に挿入されたラインカードからスイッチに入っていることがわかります。この情報を使用すると、show interface counters errors module {x} non-zeroコマンドを使用して、関連するラインカードに属するインターフェイス上でゼロ以外のCRCカウンタを識別できます。この例を次に示します。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
該当するラインカードでこのシナリオのステップ#2を繰り返して、ラインカードが無効なCRCまたはストンプされたCRCを受信しているかどうかを確認できます。
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
show interface hardware-mappingsコマンドを使用して、前の出力のMacId:MacSP値11:0がマッピングされている前面パネルポートを特定します。次に例を示します。11:0は前面パネルポートEth7/32にマッピングされています。
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
Nexus 9500が物理インターフェイスEthernet7/32でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet7/32リンクのリモート側のデバイスがこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet7/32に直接接続されているリンクではなく、さらにダウンストリームにあります。ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの発生源を特定できます。
シナリオ 4.出力インターフェイスを使用した無効なCRCフレームの送信元の追跡
この例では、アップストリームスイッチから、Nexus 9500がストンプされたCRCを持つフレームを生成していることが報告された場合に、Nexus 9500スイッチで無効なCRCを持つフレームの送信元を追跡する方法を示します。このシナリオでは、アップストリームスイッチは前面パネルポートのEthernet8/9経由で接続されています。
ステップ 1：出力ラインカードに無効なCRCフレームを送信しているファブリックモジュールの識別
ストンプされたCRCを含むフレームをアップストリームスイッチに送信する出力インターフェイスはEthernet8/9であることがわかります。まず、シャーシのスロット8に挿入されたラインカードに対して、ストンプCRCを含むフレームを送信しているファブリックモジュールを判別する必要があります。このプロセスは、show hardware internal errors module {x}コマンドで開始します。この例を次に示します。
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
上記の出力のMacID:MacSP 9:0は、show system internal fabric link-state module 8コマンドを使用してソースファブリックモジュールにマッピングできます。この例を次に示します。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
スロット8に挿入されたラインカードのMAC ID 9が、シャーシのスロット22に挿入されたファブリックモジュールにマッピングされていることがわかります。内部リンクiEth10でCRCエラーが発生すると予想されます。これを検証するには、show system internal fabric connectivity stats module 8コマンドを使用します。この例を次に示します。
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
ステップ 2：ファブリックモジュールのiEthリンクを接続ラインカードにマッピングし、ストンプしたCRCを確認する
次に、CRCを受信するiEth内部リンクをチェックし、これらのCRCがファブリックモジュールのASICに従ってストンプされているかどうか、およびファブリックモジュールのiEth内部リンクにどのラインカードが接続されているかをチェックすることで、シナリオ3と同じプロセスを使用します。この例を次に示します。それぞれ、show system internal fabric connectivity stats module {x}コマンド、show hardware internal errors module {x}コマンド、およびshow system internal fabric link-state module {x}コマンドを使用します。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
ステップ 3：入力モジュールで無効なCRCを持つフレームの送信元を追跡する
入力ラインカード（このシナリオでは、iEth26によってスロット22に挿入されたファブリックモジュールのiEth56に接続されたスロット7に挿入されたラインカード）を判別した後、破損したフレームがどの入力ポートにスイッチに入るのかを特定します。これは、show interface counters errors module {x} non-zeroコマンドで実行されます。show hardware internal errors module {x}コマンドおよびshow interface hardware-mappingsコマンドの出力では、受信したフレームが無効であるか、またはCRCでストンプされているかどうかを検証できます。
次に例を示します。破損したフレームが前面パネルインターフェイスEthernet7/32を通ってスイッチに入り込んでいます。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
Nexus 9500が物理インターフェイスEthernet7/32でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet7/32リンクのリモート側のデバイスがこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet7/32に直接接続されているリンクではなく、さらにダウンストリームにあります。
ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの発生源を特定できます。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
3.0 |
08-Nov-2023 |
タイトル、概要、テクニカルコンテンツの用語、SEO、スタイル要件、機械翻訳とフォーマットを更新。 |
2.0 |
03-Oct-2021 |
該当するハードウェアのセクションを更新して、新しいハードウェアを追加します。 |
1.0 |
13-Nov-2020 |
初版 |
フィードバック