Nexus 9000のTAHUSDバッファSyslog&の輻輳について
内容
はじめに
このドキュメントでは、NX-OSソフトウェアを実行するCisco Scale ASICを搭載したCisco Nexus 9000シリーズスイッチのキューイングとバッファリングについて説明します。
前提条件
要件
シスコでは、共有中規模ネットワークでのイーサネットスイッチングの基本と、これらのネットワークでのキューイング/バッファリングの必要性について理解しておくことを推奨しています。また、Cisco NexusスイッチのQuality of Service(QoS)とバッファリングの基本を理解しておくことも推奨されます。詳細については、次のドキュメントを参照してください。
- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース10.1(x)
- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース9.3(x)
- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース9.2(x)
- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース7.x
使用するコンポーネント
このドキュメントの情報は、NX-OSソフトウェアリリース9.3(8)を実行しているCloud Scale ASIC(CMS)を搭載したCisco Nexus 9000シリーズスイッチに基づくものです。
このドキュメントで説明する手順は、ここに示すハードウェアにのみ適用されます。
- Nexus 9200/9300固定構成スイッチ
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX（日本未発売）
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
- Nexus 9500モジュラスイッチラインカード
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX（日本未発売）
- N9K-X9732C-FX（日本未発売）
- N9K-X9788TC-FX
- N9K-X9716D-GX
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
背景説明
このドキュメントでは、NX-OSソフトウェアを実行するCisco Cloud Scale ASIC（特定用途向け集積回路）を搭載したCisco Nexus 9000シリーズスイッチのキューイングおよびバッファリングの背後にあるメカニズムについて説明します。このドキュメントでは、ゼロ以外の出力廃棄インターフェイスカウンタや、バッファしきい値を超えたことを示すsyslogなど、このプラットフォームでのポートのオーバーサブスクリプションの症状についても説明します。
Cisco Nexus 9000クラウドスケールのASICバッファリングアーキテクチャについて
Cisco Cloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチは、「共有メモリ」出力バッファアーキテクチャを実装します。ASICは1つ以上の「スライス」に分割されます。各スライスには独自のバッファがあり、そのスライス内のポートだけがそのバッファを使用できます。物理的には、各スライスはバッファの一部を表す「セル」に分割されます。スライスは「プールグループ」に分割されます。各プールグループには一定数のセルが割り当てられ、それらは個別のプールグループ間では共有されません。各プールグループには1つ以上の「プール」があり、ユニキャストまたはマルチキャストトラフィックのサービスクラス(CoS)を表します。これにより、各プールグループは、そのプールグループがサービスを提供するトラフィックタイプに対してバッファリソースを保証できます。
この図は、Cisco Cloud Scale ASICのさまざまなモデルがスライスに分割されていることを視覚的に示しています。また、この図は、各スライスがセルを介してどのように一定量のバッファを割り当てられるかを示しています。
Nexus 9000シリーズスイッチとNexus 9500ラインカードの各モデルには、それぞれ異なる数のCisco Cloud Scale ASICが内蔵されており、どの前面パネルポートをどのASICに接続するかを示すレイアウトも異なっています。N9K-X9736C-FXラインカードとN9K-C9336C-FX2スイッチを使用する2つの例を次の図に示します。
N9K-C9736C-FXラインカードには、4つのシスコクラウドスケールLS1800FX ASICと、ASICごとに1つのスライスが搭載されています。内部では、各ASICは「ユニット」と呼ばれます。各スライスは「インスタンス」と呼ばれ、シャーシ内でそのスライスを一意に識別するゼロから始まる整数が割り当てられます。その結果、次に示す置換が行われます。
- ユニット0、スライス0はインスタンス0と呼ばれます
- ユニット1、スライス0はインスタンス1と呼ばれます
- ユニット2、スライス0はインスタンス2と呼ばれます
- ユニット3、スライス0はインスタンス3と呼ばれます
N9K-C9336C-FX2スイッチには、ASICごとに2つのスライスを備えたCisco Cloud Scale LS3600FX2 ASICが1つあります。内部では、各ASICは「ユニット」と呼ばれます。各スライスは「インスタンス」と呼ばれ、シャーシ内でそのスライスを一意に識別するゼロから始まる整数が割り当てられます。その結果、次に示す置換が行われます。
- ユニット0、スライス0はインスタンス0と呼ばれます
- ユニット0、スライス1はインスタンス1と呼ばれます
ラインカードとスイッチごとにレイアウトが異なるため、インスタンス番号も異なります。帯域幅を大量に消費するトラフィックフローを中心にネットワークを設計するには、使用するスイッチまたはラインカードのレイアウトを理解する必要があります。show interface hardware-mappingsコマンドを使用すると、前面パネルの各ポートをユニット(ASIC)とスライス番号に関連付けることができます。この例を次に示します。ここでは、シャーシのスロット2にN9K-X9736C-FXラインカードが挿入されたNexus 9504スイッチのインターフェイスEthernet2/16が、ユニット1、スライス0にマッピングされています。
switch# show interface hardware-mappings
Legends:
SMod - Source Mod. 0 is N/A
Unit - Unit on which port resides. N/A for port channels
HPort - Hardware Port Number or Hardware Trunk Id:
HName - Hardware port name. None means N/A
FPort - Fabric facing port number. 255 means N/A
NPort - Front panel port number
VPort - Virtual Port Number. -1 means N/A
Slice - Slice Number. N/A for BCM systems
SPort - Port Number wrt Slice. N/A for BCM systems
SrcId - Source Id Number. N/A for BCM systems
MacIdx - Mac index. N/A for BCM systems
MacSubPort - Mac sub port. N/A for BCM systems
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth2/1 1a080000 5 0 16 255 0 -1 0 16 32 4 0 145 0 32
Eth2/2 1a080200 5 0 12 255 4 -1 0 12 24 3 0 149 0 24
Eth2/3 1a080400 5 0 8 255 8 -1 0 8 16 2 0 153 0 16
Eth2/4 1a080600 5 0 4 255 12 -1 0 4 8 1 0 157 0 8
Eth2/5 1a080800 5 0 0 255 16 -1 0 0 0 0 0 161 0 0
Eth2/6 1a080a00 5 0 56 255 20 -1 0 56 112 14 0 165 1 40
Eth2/7 1a080c00 5 0 52 255 24 -1 0 52 104 13 0 169 1 32
Eth2/8 1a080e00 6 1 16 255 28 -1 0 16 32 4 0 173 0 32
Eth2/9 1a081000 6 1 12 255 32 -1 0 12 24 3 0 177 0 24
Eth2/10 1a081200 6 1 8 255 36 -1 0 8 16 2 0 181 0 16
Eth2/11 1a081400 6 1 4 255 40 -1 0 4 8 1 0 185 0 8
Eth2/12 1a081600 6 1 0 255 44 -1 0 0 0 0 0 189 0 0
Eth2/13 1a081800 6 1 56 255 48 -1 0 56 112 14 0 193 1 40
Eth2/14 1a081a00 6 1 52 255 52 -1 0 52 104 13 0 197 1 32
Eth2/15 1a081c00 7 2 16 255 56 -1 0 16 32 4 0 201 0 32
Eth2/16 1a081e00 7 2 12 255 60 -1 0 12 24 3 0 205 0 24
Eth2/17 1a082000 7 2 8 255 64 -1 0 8 16 2 0 209 0 16
Eth2/18 1a082200 7 2 4 255 68 -1 0 4 8 1 0 213 0 8
Eth2/19 1a082400 7 2 0 255 72 -1 0 0 0 0 0 217 0 0
Eth2/20 1a082600 7 2 56 255 76 -1 0 56 112 14 0 221 1 40
Eth2/21 1a082800 7 2 52 255 80 -1 0 52 104 13 0 225 1 32
Eth2/22 1a082a00 8 3 16 255 84 -1 0 16 32 4 0 229 0 32
Eth2/23 1a082c00 8 3 12 255 88 -1 0 12 24 3 0 233 0 24
Eth2/24 1a082e00 8 3 8 255 92 -1 0 8 16 2 0 237 0 16
Eth2/25 1a083000 8 3 4 255 96 -1 0 4 8 1 0 241 0 8
Eth2/26 1a083200 8 3 0 255 100 -1 0 0 0 0 0 245 0 0
Eth2/27 1a083400 8 3 56 255 104 -1 0 56 112 14 0 249 1 40
Eth2/28 1a083600 8 3 52 255 108 -1 0 52 104 13 0 253 1 32
Eth2/29 1a083800 5 0 48 255 112 -1 0 48 96 12 0 257 1 24
Eth2/30 1a083a00 5 0 44 255 116 -1 0 44 88 11 0 261 1 16
Eth2/31 1a083c00 6 1 48 255 120 -1 0 48 96 12 0 265 1 24
Eth2/32 1a083e00 6 1 44 255 124 -1 0 44 88 11 0 269 1 16
Eth2/33 1a084000 7 2 48 255 128 -1 0 48 96 12 0 273 1 24
Eth2/34 1a084200 7 2 44 255 132 -1 0 44 88 11 0 277 1 16
Eth2/35 1a084400 8 3 48 255 136 -1 0 48 96 12 0 281 1 24
Eth2/36 1a084600 8 3 44 255 140 -1 0 44 88 11 0 285 1 16
複数のASICとスライスのインスタンスIDの計算
syslogを解釈する場合、インスタンスIDは連続するユニットとスライスの組み合わせ順序に基づいて計算されます。 たとえば、Nexus 9500モジュールまたはNexus 9300 TOR(Top-of-Rack)に2つのユニット(ASIC)とユニットごとの2つのスライスがある場合、インスタンスIDは次のようになります。
- ユニット0、スライス0はインスタンス0と呼ばれます
- ユニット0、スライス1はインスタンス1と呼ばれます
- ユニット1、スライス0はインスタンス2と呼ばれます
- ユニット1、スライス1はインスタンス3と呼ばれます
モジュールに1つのユニットと4つのスライスがある場合、インスタンスIDは次のようになります。
- ユニット0、スライス0はインスタンス0と呼ばれます
- ユニット0、スライス1はインスタンス1と呼ばれます
- ユニット0、スライス2はインスタンス2と呼ばれます
- ユニット0、スライス3はインスタンス3と呼ばれます
オーバーサブスクリプションと出力廃棄について
イーサネットネットワークに接続されたインターフェイスは、一度に1つのパケットしか送信できません。2つのパケットが同時にイーサネットインターフェイスから出力される必要がある場合、イーサネットインターフェイスは1つのパケットを送信すると同時に、もう1つのパケットをバッファリングします。最初のパケットが送信されると、イーサネットインターフェイスはバッファから2番目のパケットを送信します。出力する必要があるトラフィックの合計がインターフェイスの帯域幅を超えると、そのインターフェイスはオーバーサブスクライブされていると見なされます。たとえば、合計15 Gbpsのトラフィックがスイッチに瞬間的に入り、10 Gbpsインターフェイスから出力する必要がある場合、10 Gbpsインターフェイスは一度に15 Gbpsのトラフィックを送信できないため、オーバーサブスクライブされます。
Cloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチは、出力インターフェイスに関連付けられたASICスライスのバッファ内にトラフィックをバッファリングすることで、このリソース競合を処理します。インターフェイスから出力する必要のあるトラフィックの合計がインターフェイスの帯域幅を長期にわたって超過している場合、ASICスライスのバッファは、インターフェイスから出力する必要のあるパケットで満たされ始めます。
ASICスライスのバッファの使用率が90 %に達すると、スイッチでは次に示すようなsyslogが生成されます。
%TAHUSD-SLOT2-4-BUFFER_THRESHOLD_EXCEEDED: Module 2 Instance 0 Pool-group buffer 90 percent threshold is exceeded!
ASICスライスのバッファが完全にいっぱいになると、バッファ内のスペースが空くまで、インターフェイスから出力する必要のある追加のトラフィックはスイッチによって廃棄されます。スイッチがこのトラフィックをドロップすると、出力インターフェイスのOutput Discardsカウンタが増加します。
生成されたsyslogカウンタと0以外のOutput Discards（OCD；出力廃棄）カウンタは、どちらもインターフェイスの加入過多の症状です。各症状について、以下のサブセクションで詳しく説明します。
BUFFER_THRESHOLD_EXCEEDED syslogについて
BUFFER_THRESHOLD_EXCEEDED syslogの例を次に示します。
%TAHUSD-SLOTX-4-BUFFER_THRESHOLD_EXCEEDED: Module X Instance Y Pool-group buffer Z percent threshold is exceeded!
このsyslogには、次の3つの重要な情報が含まれています。
- モジュールX：オーバーサブスクライブされたインターフェイスを含むラインカードのスロット。
- インスタンスY：オーバーサブスクライブされたインターフェイスを含むASICとスライスのタプルに割り当てられたインスタンス番号。
- Pool-group buffer Z:syslogが生成される前の、影響を受けるプールグループバッファのしきい値。これは、モジュールXに接続されたときのshow hardware internal buffer info pkt-statsの出力に見られるように、使用済みセルを合計セルで割ったパーセンテージです。
Output Discardsインターフェイスカウンタについて
Output Discardsインターフェイスカウンタは、廃棄されたパケットのうち、インターフェイスから出力されたが、ASICスライスバッファがいっぱいのため新しいパケットを受け入れることができなかったという理由によるパケットの数を示します。次に示すように、show interfaceとshow interface counters errorsの出力にOutput Discardsカウンタが表示されます。
switch# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)
MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec
reliability 255/255, txload 232/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 40 Gb/s, media type is 40G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 03:16:50
Last clearing of "show interface" counters never
3 interface resets
Load-Interval #1: 30 seconds
30 seconds input rate 0 bits/sec, 0 packets/sec
30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec
input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps
Load-Interval #2: 5 minute (300 seconds)
300 seconds input rate 32 bits/sec, 0 packets/sec
300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec
input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps
RX
0 unicast packets 208 multicast packets 9 broadcast packets
217 input packets 50912 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
TX
38298127762 unicast packets 6118 multicast packets 0 broadcast packets
38298133880 output packets 57600384931480 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 57443534227 output discard <<< Output discards due to oversubcription
0 Tx pause
switch# show interface Ethernet1/1 counters errors
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 0 0 0 0 0 57443534227
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
Eth1/1 0 0 0 0 0 0
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
Eth1/1 0 -- 0 0 0 0
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
Eth1/1 0
オーバーサブスクリプションシナリオの例
2つのIXIAトラフィックジェネレータ間のトラフィックが、シャーシのスロット1および2に2枚のN9K-X9736C-FXラインカードを挿入したNexus 9504スイッチを通過するシナリオを考えます。100 Gbpsのトラフィックが100 GbpsインターフェイスEthernet1/1を通ってスイッチに入り、40 GbpsインターフェイスEthernet2/2から出る必要があります。そのため、Ethernet2/2はオーバーサブスクライブされています。このシナリオのトポロジを次に示します。
Nexus 9000クラウドスケールASICは共有メモリの出力バッファアーキテクチャを使用するため、出力インターフェイスEthernet2/2のバッファをチェックして輻輳を確認する必要があります。この例では、スロット2に挿入されたラインカードが出力ラインカードであるため、attach module 2コマンドを使用してからshow hardware internal tah buffer countersコマンドで内部ハードウェアバッファを表示する必要があります。Unit 0、Slice 0 pool-group、および関連するプールの0以外の「Occupancy drops」カウンタに注目してください。これは、プールグループバッファが完全に占有されたためにドロップされたパケットの数を示します。
switch# attach module 2
module-2# show hardware internal tah buffer counters Unit: 0 Slice: 0 ==================== |------------------------------------------------------------------------------------------------------------------| | Output Pool-Group drops | | Drop-PG No-drop CPU--PG LCPU-PG RCPU-PG SPAN-PG | |------------------------------------------------------------------------------------------------------------------| Occupancy drops 51152554987 0 0 0 0 0 | AQM drops 0 0 N/A N/A N/A N/A | |--------------------------------------------------------------------------------------------------------------------| | Output UC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Occupancy drops 51152555398 0 0 0 0 0 0 0 | AQM drops 0 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------------------------------------------------| | Output MC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (desc) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (inq thr) 64035 64035 64035 64035 64035 64035 64035 64035 | Occupancy drops 0 0 0 0 0 0 0 0 | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| | Additional counters | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| MEM cell drop reason : 0 MEM descriptor drop reason : 0 OPG cell drop reason : 0 OPG descriptor drop reason : 0 OPG CPU cell drop reason : 0 OPG CPU descriptor drop reason : 0 OPG SPAN cell drop reason : 0 OPG SPAN descriptor drop reason : 0 OPOOL cell drop reason : 0 OPOOL descriptor drop reason : 0 UC OQUEUE cell drop reason : 51152556479 MC OQUEUE cell drop reason : 27573307 OQUEUE descriptor drop reason : 0 MC OPOOL cell drop reason : 0 FWD DROP : 15 SOD : 0 BMM BP : 0 No Drop : 0 Packets received : 87480806439 TRUNC MTU : 0 TRUNK BMM BP : 0 VOQFC messages sent : 0 SOD messages sent : 0 SPAN desciptor drop : 0 Unit: 1 Slice: 0 ==================== |------------------------------------------------------------------------------------------------------------------| | Output Pool-Group drops | | Drop-PG No-drop CPU--PG LCPU-PG RCPU-PG SPAN-PG | |------------------------------------------------------------------------------------------------------------------| Occupancy drops 0 0 0 0 0 0 | AQM drops 0 0 N/A N/A N/A N/A | |--------------------------------------------------------------------------------------------------------------------| | Output UC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Occupancy drops 0 0 0 0 0 0 0 0 | AQM drops 0 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------------------------------------------------| | Output MC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (desc) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (inq thr) 64035 64035 64035 64035 64035 64035 64035 64035 | Occupancy drops 0 0 0 0 0 0 0 0 | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| | Additional counters | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| MEM cell drop reason : 0 MEM descriptor drop reason : 0 OPG cell drop reason : 0 OPG descriptor drop reason : 0 OPG CPU cell drop reason : 0 OPG CPU descriptor drop reason : 0 OPG SPAN cell drop reason : 0 OPG SPAN descriptor drop reason : 0 OPOOL cell drop reason : 0 OPOOL descriptor drop reason : 0 UC OQUEUE cell drop reason : 0 MC OQUEUE cell drop reason : 0 OQUEUE descriptor drop reason : 0 MC OPOOL cell drop reason : 0 FWD DROP : 8 SOD : 0 BMM BP : 0 No Drop : 0 Packets received : 45981341 TRUNC MTU : 0 TRUNK BMM BP : 0 VOQFC messages sent : 0 SOD messages sent : 0 SPAN desciptor drop : 0
各ASICユニット/スライスのタプルは、「インスタンス」と呼ばれる一意の識別子によって表されます。show hardware internal buffer info pkt-statsコマンドの出力には、各インスタンスの輻輳したプールグループ（「PG」と略記）に関する詳細情報が表示されます。このコマンドでは、バッファ内で使用されたセルの履歴のピーク数と最大数も表示されます。最後に、このコマンドは、バッファリングされたトラフィックを持つポートのCloud Scale ASICポートIDの瞬間的なスナップショットを表示します。このコマンドの例を次に示します。
switch# attach module 2
module-2# show hardware internal buffer info pkt-stats Instance 0 ============ |------------------------------------------------------------------------------------------------------------| | Output Pool-Group Buffer Utilization (cells/desc) | | Drop-PG No-drop CPU--PG LCPU-PG RCPU-PG SPAN-PG | |------------------------------------------------------------------------------------------------------------| Total Instant Usage (cells) 59992 0 0 0 0 0 | Remaining Instant Usage (cells) 33562 0 1500 250 1500 1500 | Peak/Max Cells Used 90415 0 N/A N/A N/A N/A | Switch Cells Count 93554 0 1500 250 1500 1500 | Total Instant Usage (desc) 0 0 0 0 0 0 | Remaining Instant Usage (desc) 93554 0 1500 250 1500 1500 | Switch Desc Count 93554 0 1500 250 1500 1500 | |--------------------------------------------------------------------------------------------------------------------| | Output UC Pool Buffer Utilization (cells/desc) | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Total Instant Usage (cells) 60027 0 0 0 0 0 0 0 | Total Instant Usage (desc) 0 0 0 0 0 0 0 0 | Peak/Max Cells Used 62047 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------------------------------------------------| | Output MC Pool Buffer Utilization (cells/desc) | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Total Instant Usage (cells) 0 0 0 0 0 0 0 0 | Total Instant Usage (desc) 0 0 0 0 0 0 0 0 | Total Instant Usage (inq cells) 0 0 0 0 0 0 0 0 | Total Instant Usage (packets) 0 0 0 0 0 0 0 0 | Peak/Max Cells Used 60399 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------| | Instant Buffer utilization per queue per port | | Each line displays the number of cells/desc utilized for a given | | port for each QoS queue | | One cell represents approximately 416 bytes | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| |ASIC Port Q7 Q6 Q5 Q4 Q3 Q2 Q1 Q0 | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| [12] <<< ASIC Port 12 in Unit 0 Instance 0 is likely the congested egress interface UC-> 0 0 0 0 0 0 0 59988 | MC cells-> 0 0 0 0 0 0 0 0 | MC desc-> 0 0 0 0 0 0 0 0 |
コマンドのピーク変動も参照してください。このコマンドを使用して、syslogを特定のプールグループ、プール、またはポートでのスパイクの可能性と関連付けます。
switch# show hardware internal buffer info pkt-stats peak
slot 1
=======
Instance 0
============
|--------------+---------+---------+---------+---------+---------+|
| Pool-Group Peak counters |
|--------------+---------+---------+---------+---------+---------+|
Drop PG : 0
No-drop PG : 0
|--------------+---------+---------+---------+---------+---------+|
| Pool Peak counters |
|--------------+---------+---------+---------+---------+---------+|
MC Pool 0 : 0
MC Pool 1 : 0
MC Pool 2 : 0
MC Pool 3 : 0
MC Pool 4 : 0
MC Pool 5 : 0
MC Pool 6 : 0
MC Pool 7 : 0
UC Pool 0 : 0
UC Pool 1 : 0
UC Pool 2 : 0
UC Pool 3 : 0
UC Pool 4 : 0
UC Pool 5 : 0
UC Pool 6 : 0
UC Pool 7 : 0
|--------------+---------+---------+---------+---------+---------+|
| Port Peak counters |
| classes mapped to count_0: 0 1 2 3 4 5 6 7
| classes mapped to count_1: None
|--------------+---------+---------+---------+---------+---------+|
[0] <<< ASIC Port. This can be checked via "show hardware interface-mappings"
count_0 : 0
count_1 : 0
[1]
count_0 : 0
count_1 : 0
show interface hardware-mappingsコマンドを使用すると、クラウドスケールASICポートIDを前面パネルポートに変換できます。前述の例では、スライス/インスタンス0上のASICユニット0に関連付けられたASICポート12（show interface hardware-mappingsの出力のSPortカラムに示される）には、それぞれ416バイトの59,988個のセルが占有されています。show interface hardware-mappingsコマンドの例を次に示します。このコマンドは、このインターフェイスを前面パネルポートEthernet2/2にマッピングします。
switch# show interface hardware-mappings
Legends:
SMod - Source Mod. 0 is N/A
Unit - Unit on which port resides. N/A for port channels
HPort - Hardware Port Number or Hardware Trunk Id:
HName - Hardware port name. None means N/A
FPort - Fabric facing port number. 255 means N/A
NPort - Front panel port number
VPort - Virtual Port Number. -1 means N/A
Slice - Slice Number. N/A for BCM systems
SPort - Port Number wrt Slice. N/A for BCM systems
SrcId - Source Id Number. N/A for BCM systems
MacIdx - Mac index. N/A for BCM systems
MacSubPort - Mac sub port. N/A for BCM systems
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPortFPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth2/2 1a080200 5 0 12 255 4 -1 0 12 24 3 0 149 0 24
さらに、show queuing interfaceコマンドを使用して、インターフェイスEthernet2/2のオーバーサブスクリプションをQoSキューイングドロップと関連付けることができます。この例を次に示します。
switch# show queuing interface Ethernet2/2
Egress Queuing for Ethernet2/2 [System]
------------------------------------------------------------------------------
QoS-Group# Bandwidth% PrioLevel Shape QLimit
Min Max Units
------------------------------------------------------------------------------
7 - 1 - - - 9(D)
6 0 - - - - 9(D)
5 0 - - - - 9(D)
4 0 - - - - 9(D)
3 0 - - - - 9(D)
2 0 - - - - 9(D)
1 0 - - - - 9(D)
0 100 - - - - 9(D)
+-------------------------------------------------------------+
| QOS GROUP 0 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 35593332351| 18407162|
| Tx Byts | 53532371857088| 27684371648|
| WRED/AFD & Tail Drop Pkts | 53390604466| 27573307|
| WRED/AFD & Tail Drop Byts | 80299469116864| 110293228|
| Q Depth Byts | 24961664| 0|
| WD & Tail Drop Pkts | 53390604466| 27573307|
+-------------------------------------------------------------+
| QOS GROUP 1 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 2 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 3 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 4 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 5 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 6 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 7 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| CONTROL QOS GROUP |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 5704| 0|
| Tx Byts | 725030| 0|
| Tail Drop Pkts | 0| 0|
| Tail Drop Byts | 0| 0|
+-------------------------------------------------------------+
| SPAN QOS GROUP |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
+-------------------------------------------------------------+
Per Slice Egress SPAN Statistics
---------------------------------------------------------------
SPAN Copies Tail Drop Pkts 0
SPAN Input Queue Drop Pkts 0
SPAN Copies/Transit Tail Drop Pkts 0
SPAN Input Desc Drop Pkts 0
最後に、show interfaceコマンドを使用して、出力インターフェイスEthernet2/2にゼロ以外の出力廃棄カウンタがあることを確認できます。この例を次に示します。
switch# show interface Ethernet2/2
Ethernet2/2 is up
admin state is up, Dedicated Interface
Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)
MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec
reliability 255/255, txload 232/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 40 Gb/s, media type is 40G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 03:16:50
Last clearing of "show interface" counters never
3 interface resets
Load-Interval #1: 30 seconds
30 seconds input rate 0 bits/sec, 0 packets/sec
30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec
input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps
Load-Interval #2: 5 minute (300 seconds)
300 seconds input rate 32 bits/sec, 0 packets/sec
300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec
input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps
RX
0 unicast packets 208 multicast packets 9 broadcast packets
217 input packets 50912 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
TX
38298127762 unicast packets 6118 multicast packets 0 broadcast packets
38298133880 output packets 57600384931480 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 57443534227 output discard <<< Output discards due to oversubcription
0 Tx pause
次の手順
Cloud Scale ASICを搭載したNexus 9000シリーズスイッチで出力廃棄が確認された場合は、次の1つ以上の方法で問題を解決できます。
- 出力廃棄が発生しているインターフェイスが単一のインターフェイスであり、ポートチャネルにバンドルされていない場合は、インターフェイスの帯域幅をアップグレードして輻輳を緩和できます。たとえば、輻輳している出力インターフェイスが10 Gbpsインターフェイスの場合、25 Gbps、40 Gbpsインターフェイス、または100 Gbpsインターフェイスにアップグレードすると、問題を解決するのに役立ちます。
- 出力インターフェイスのトランシーバフォームファクタに基づいて、トランシーバをアップグレードできます（QSFPポート内のCVR-QSFP-SFP10Gに挿入された10Gbps SFP+からネイティブの40Gbps QSFPトランシーバに移行できます）。
- これは、輻輳した出力インターフェイス設定を10 Gbpsポートから25 Gbps、40 Gbps、または100 Gbpsポートに移行する場合にも実行できます。
- 出力廃棄が発生したインターフェイスが単一のインターフェイスであり、ポートチャネルにバンドルされていない場合、その輻輳したインターフェイスを、同じ帯域幅を持つ別のインターフェイスとともにポートチャネルのメンバとして設定し、輻輳を緩和できます。
- 出力廃棄が発生しているインターフェイスがポートチャネルインターフェイスの場合、ポートチャネルにメンバを追加すると、ポートチャネル全体の帯域幅が増加し、複数の大きなトラフィックフローに対するロードバランシングのハッシングが改善される可能性があります。
- ネットワーク内のホスト間で輻輳したトラフィックフローに、速度を落とすインターフェイス（たとえば、40 Gbpsのインターフェイスからスイッチに入り、10 Gbpsのインターフェイスからスイッチを出るトラフィック）が含まれているかどうかを検証します。これは、ネットワークの輻輳を引き起こすボトルネックとなる可能性があります。このボトルネックを解消するには、低速のインターフェイス（10 Gbpsなど）を高速のインターフェイス（25 Gbps、40 Gbpsなど）にアップグレードします。これにより、ネットワークの輻輳が軽減されます。
- 輻輳した出力インターフェイスで使用可能な帯域幅を増やせない場合は、エンドツーエンドQoSを検証し、ネットワークに適したキューイングアクションを適用します。
- マイクロバーストが断続的な輻輳の潜在的な原因である場合、マイクロバーストモニタリングの設定方法に関する情報は、このドキュメントの「マイクロバーストのモニタリング」セクションを参照してください。
追加情報
このセクションでは、BUFFER_THRESHOLD_EXCEEDED syslog、ネットワークの輻輳/オーバーサブスクリプションのシナリオ、および増分出力廃棄インターフェイスカウンタが発生した場合に実行する次の手順に関する追加情報について説明します。
BUFFER_THRESHOLD_EXCEEDED syslog設定オプション
システムバッファのステータスのポーリング間隔を変更できます。この間隔は、システムがASICスライスバッファの現在の使用率をポーリングする頻度を制御します。これは、hardware profile buffer info poll-intervalグローバルコンフィギュレーションコマンドで実行されます。デフォルト設定値は5,000ミリ秒です。この設定は、グローバルに、またはモジュール単位で変更できます。この設定コマンドの例を次に示します。このコマンドは1,000ミリ秒の値に変更されています。
switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. switch(config)# hardware profile buffer info poll-interval timer 1000 switch(config)# end switch# show running-config | include hardware.profile.buffer hardware profile buffer info poll-interval timer 1000 switch#
ポートの出力バッファ使用率のしきい値を変更できます。この値は、システムでBUFFER_THRESHOLD_EXCEEDED syslogが生成されるタイミングを制御します。このメッセージは、ASICスライスのバッファ使用率が、設定されているしきい値を超えたことを示します。これは、hardware profile buffer info port-thresholdグローバル設定コマンドで実行されます。デフォルトの設定値は90 %です。この設定は、グローバルに、またはモジュール単位で変更できます。この設定コマンドの例を次に示します。このコマンドは80 %の値に変更されています。
switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. switch(config)# hardware profile buffer info port-threshold threshold 80 switch(config)# end switch# show running-config | include hardware.profile.buffer hardware profile buffer info port-threshold threshold 80 switch#
スイッチによって生成されるBUFFER_THRESHOLD_EXCEEDED syslogの間の最小間隔を変更できます。BUFFER_THRESHOLD_EXCEEDED syslogを完全に無効にすることもできます。これは、hardware profile buffer info syslog-interval timerグローバルコンフィギュレーションコマンドで実行されます。デフォルトの設定値は120秒です。この値を0秒に設定すると、syslogを完全に無効にできます。このコンフィギュレーションコマンドの例を次に示します。syslogは完全に無効になります。
switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. switch(config)# hardware profile buffer info syslog-interval timer 0 switch(config)# end switch# show running-config | include hardware.profile.buffer hardware profile buffer info syslog-interval timer 0 switch#
ネットワーク輻輳シナリオで収集するログ
ネットワーク輻輳のシナリオの影響を受けるスイッチから、このドキュメントで説明するコマンドに加えて、輻輳している出力インターフェイスを特定するために、次に示すログを収集できます。
- show tech-support detailsコマンドの出力。
- show tech-support usd-allコマンドの出力。
- show tech-support ipqos allコマンドの出力。
- Cisco Cloud Scaleラインカードが挿入されたNexus 9500シリーズスイッチを使用する場合、show system internal interface counters peak module {x}コマンドの出力は、次のようになります。ここで、{x}は輻輳した出力インターフェイスをホストしているモジュールのスロット番号です。
マイクロバーストのモニタリング
輻輳または加入過多が非常に短い間隔（マイクロバースト）で発生した場合、加入過多がスイッチにどのように影響するかを正確に記述するには、追加情報が必要です。
Cisco Cloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチは、環境内で一時的にネットワークの輻輳やトラフィック損失を引き起こす可能性があるマイクロバーストのトラフィックを監視できます。マイクロバーストの詳細およびこの機能の設定方法については、次のドキュメントを参照してください。
- 『Cisco Nexus 9000シリーズNX-OS Quality of Service設定ガイド、リリース10.1(x)』の「マイクロバーストモニタリング」の章
- 『Cisco Nexus 9000シリーズNX-OS Quality of Service設定ガイド、リリース9.3(x)』の「マイクロバーストモニタリング」の章
- 『Cisco Nexus 9000シリーズNX-OS Quality of Service設定ガイド、リリース9.2(x)』の「マイクロバーストモニタリング」の章
- 『Cisco Nexus 9000シリーズNX-OS Quality of Service設定ガイド、リリース7.x』の「マイクロバーストモニタリング」の章
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
6.0 |
09-Nov-2023 |
アップデート |
5.0 |
04-Oct-2023 |
再認定 |
3.0 |
21-Jan-2022 |
「次のステップ」セクションをドキュメントに追加します。 |
2.0 |
03-Oct-2021 |
該当するハードウェアのセクションを更新して、新しいハードウェアを追加します。 |
1.0 |
31-Aug-2021 |
初版 |
フィードバック