内容

概要

前提条件

要件

使用するコンポーネント

Cisco Nexus 9000クラウドスケールASICバッファリングアーキテクチャの理解

オーバーサブスクリプションと出力廃棄について

BUFFER_THRESHOLD_EXCEEDED syslogについて

出力廃棄インターフェイスカウンタについて

オーバーサブスクリプションシナリオの例

次のステップ

追加情報

BUFFER_THRESHOLD_EXCEEDED Syslog設定オプション

ネットワーク輻輳シナリオで収集するログ

マイクロバーストのモニタリング

概要

このドキュメントでは、NX-OSソフトウェアを実行するCisco Cloud Scale ASIC(Application-Specific Integrated Circuit)を搭載したCisco Nexus 9000シリーズスイッチのキューイングおよびバッファリングの仕組みについて説明します。このドキュメントでは、ゼロ以外の出力廃棄インターフェイスカウンタや、バッファしきい値を超過したことを示すsyslogなど、このプラットフォームでのポートのオーバーサブスクリプションの症状についても説明します。

前提条件

要件

シスコでは、共有媒体ネットワークでのイーサネットスイッチングの基本と、これらのネットワークでのキューイング/バッファリングの必要性を理解しておくことを推奨しています。また、Cisco NexusスイッチのQuality of Service(QoS)とバッファリングの基礎を理解しておくことも推奨されます。詳細については、次のドキュメントを参照してください。

- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース10.1(x)

- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース9.3(x)

- Cisco Nexus 9000シリーズNX-OS Quality of Serviceコンフィギュレーションガイド、リリース9.2(x)

- 『Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, Release 7.x』

使用するコンポーネント

このドキュメントの情報は、NX-OSソフトウェアリリース9.3(8)を実行しているCloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチに基づくものです。

このドキュメントで説明する手順は、ここに示すハードウェアにのみ適用されます。

- Nexus 9200/9300固定構成スイッチ

- N9K-C92160YC-X

- N9K-C92300YC

- N9K-C92304QC

- N9K-C92348GC-X

- N9K-C9236C

- N9K-C9272Q

- N9K-C9332C

- N9K-C9364C

- N9K-C93108TC-EX

- N9K-C93108TC-EX-24

- N9K-C93180LC-EX

- N9K-C93180YC-EX

- N9K-C93180YC-EX-24

- N9K-C93108TC-FX

- N9K-C93108TC-FX-24

- N9K-C93180YC-FX

- N9K-C93180YC-FX-24

- N9K-C9348GC-FXP

- N9K-C93240YC-FX2

- N9K-C93216TC-FX2

- N9K-C9336C-FX2

- N9K-C9336C-FX2-E

- N9K-C93360YC-FX2

- N9K-C93180YC-FX3

- N9K-C93108TC-FX3P

- N9K-C93180YC-FX3S

- N9K-C9316D-GX

- N9K-C93600CD-GX

- N9K-C9364C-GX

- N9K-C9364D-GX2A

- N9K-C9332D-GX2B

- Nexus 9500モジュラスイッチラインカード

- N9K-X97160YC-EX

- N9K-X9732C-EX

- N9K-X9736C-EX

- N9K-X97284YC-FX

- N9K-X9732C-FX

- N9K-X9788TC-FX

- N9K-X9716D-GX

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

Cisco Nexus 9000クラウドスケールASICバッファリングアーキテクチャの理解

Cisco Cloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチは、「共有メモリ」出力バッファアーキテクチャを実装します。ASICは1つ以上の「スライス」に分割されます。 各スライスには独自のバッファがあり、そのスライス内のポートのみがそのバッファを使用できます。物理的には、各スライスはバッファの一部を表す「セル」に分割されます。スライスは「プールグループ」に分割されます。特定の数のセルが各プールグループに割り当てられ、個別のプールグループ間では共有されません。各プールグループには、ユニキャストまたはマルチキャストトラフィックのサービスクラス(CoS)を表す1つ以上の「プール」があります。これにより、各プールグループは、そのプールグループが提供するトラフィックタイプのバッファリソースを保証できます。

この図は、Cisco Cloud Scale ASICのさまざまなモデルがスライスに分割されていることを視覚的に示しています。また、この図は、各スライスがセルを介してどのように一定量のバッファを割り当てられるかを示しています。

Nexus 9000シリーズスイッチとNexus 9500ラインカードの各モデルは、内部に異なる数のCisco Cloud Scale ASICを備え、どのフロントパネルポートがどのASICに接続するかを示すレイアウトも異なります。次の図に、N9K-X9736C-FXラインカードとN9K-C9336C-FX2スイッチを使用した2つの例を示します。

N9K-C9736C-FXラインカードには、4つのCisco Cloud Scale LS1800FX ASICがあり、ASICごとに1つのスライスがあります。内部的には、各ASICは「ユニット」と呼ばれます。 各スライスは「インスタンス」と呼ばれ、シャーシ内でそのスライスを一意に識別するゼロベースの整数が割り当てられます。その結果、次のような順列が作成されます。

- ユニット0、スライス0はインスタンス0と呼ばれます

- ユニット1、スライス0はインスタンス1と呼ばれます

- ユニット2、スライス0はインスタンス2と呼ばれます

- ユニット3、スライス0はインスタンス3と呼ばれます

N9K-C9336C-FX2スイッチには、Cisco Cloud Scale LS3600FX2 ASICが1つあり、ASICごとに2つのスライスがあります。内部的には、各ASICは「ユニット」と呼ばれます。 各スライスは「インスタンス」と呼ばれ、シャーシ内でそのスライスを一意に識別するゼロベースの整数が割り当てられます。その結果、次のような順列が作成されます。

- ユニット0、スライス0はインスタンス0と呼ばれます

- ユニット0、スライス1はインスタンス1と呼ばれます

ラインカードとスイッチごとにレイアウトが異なるため、インスタンス番号も異なります。使用しているラインカードまたはスイッチのレイアウトを理解することは、帯域幅を大量に消費するトラフィックフローを考慮してネットワークを設計するために重要です。show interface hardware-mappingsコマンドを使用すると、各フロントパネルポートをユニット(ASIC)およびスライス番号に関連付けることができます。この例を次に示します。ここでは、シャーシのスロット2に挿入されたN9K-X9736C-FXラインカードを備えたNexus 9504スイッチのインターフェイスEthernet2/16が、ユニット1のスライス0にマッピングされています。

switch# show interface hardware-mappings

Legends:

SMod  - Source Mod. 0 is N/A

Unit  - Unit on which port resides. N/A for port channels

HPort - Hardware Port Number or Hardware Trunk Id:

HName - Hardware port name. None means N/A

FPort - Fabric facing port number. 255 means N/A

NPort - Front panel port number

VPort - Virtual Port Number. -1 means N/A

Slice - Slice Number. N/A for BCM systems

SPort - Port Number wrt Slice. N/A for BCM systems

SrcId - Source Id Number. N/A for BCM systems

MacIdx - Mac index. N/A for BCM systems

MacSubPort - Mac sub port. N/A for BCM systems

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth2/1     1a080000 5    0    16    255   0     -1    0     16    32    4     0     145  0     32

Eth2/2     1a080200 5    0    12    255   4     -1    0     12    24    3     0     149  0     24

Eth2/3     1a080400 5    0    8     255   8     -1    0     8     16    2     0     153  0     16

Eth2/4     1a080600 5    0    4     255   12    -1    0     4     8     1     0     157  0     8

Eth2/5     1a080800 5    0    0     255   16    -1    0     0     0     0     0     161  0     0

Eth2/6     1a080a00 5    0    56    255   20    -1    0     56    112   14    0     165  1     40

Eth2/7     1a080c00 5    0    52    255   24    -1    0     52    104   13    0     169  1     32

Eth2/8     1a080e00 6    1    16    255   28    -1    0     16    32    4     0     173  0     32

Eth2/9     1a081000 6    1    12    255   32    -1    0     12    24    3     0     177  0     24

Eth2/10    1a081200 6    1    8     255   36    -1    0     8     16    2     0     181  0     16

Eth2/11    1a081400 6    1    4     255   40    -1    0     4     8     1     0     185  0     8

Eth2/12    1a081600 6    1    0     255   44    -1    0     0     0     0     0     189  0     0

Eth2/13    1a081800 6    1    56    255   48    -1    0     56    112   14    0     193  1     40

Eth2/14    1a081a00 6    1    52    255   52    -1    0     52    104   13    0     197  1     32

Eth2/15    1a081c00 7    2    16    255   56    -1    0     16    32    4     0     201  0     32

Eth2/16    1a081e00 7    2    12    255   60    -1    0     12    24    3     0     205  0     24

Eth2/17    1a082000 7    2    8     255   64    -1    0     8     16    2     0     209  0     16

Eth2/18    1a082200 7    2    4     255   68    -1    0     4     8     1     0     213  0     8

Eth2/19    1a082400 7    2    0     255   72    -1    0     0     0     0     0     217  0     0

Eth2/20    1a082600 7    2    56    255   76    -1    0     56    112   14    0     221  1     40

Eth2/21    1a082800 7    2    52    255   80    -1    0     52    104   13    0     225  1     32

Eth2/22    1a082a00 8    3    16    255   84    -1    0     16    32    4     0     229  0     32

Eth2/23    1a082c00 8    3    12    255   88    -1    0     12    24    3     0     233  0     24

Eth2/24    1a082e00 8    3    8     255   92    -1    0     8     16    2     0     237  0     16

Eth2/25    1a083000 8    3    4     255   96    -1    0     4     8     1     0     241  0     8

Eth2/26    1a083200 8    3    0     255   100   -1    0     0     0     0     0     245  0     0

Eth2/27    1a083400 8    3    56    255   104   -1    0     56    112   14    0     249  1     40

Eth2/28    1a083600 8    3    52    255   108   -1    0     52    104   13    0     253  1     32

Eth2/29    1a083800 5    0    48    255   112   -1    0     48    96    12    0     257  1     24

Eth2/30    1a083a00 5    0    44    255   116   -1    0     44    88    11    0     261  1     16

Eth2/31    1a083c00 6    1    48    255   120   -1    0     48    96    12    0     265  1     24

Eth2/32    1a083e00 6    1    44    255   124   -1    0     44    88    11    0     269  1     16

Eth2/33    1a084000 7    2    48    255   128   -1    0     48    96    12    0     273  1     24

Eth2/34    1a084200 7    2    44    255   132   -1    0     44    88    11    0     277  1     16

Eth2/35    1a084400 8    3    48    255   136   -1    0     48    96    12    0     281  1     24

Eth2/36    1a084600 8    3    44    255   140   -1    0     44    88    11    0     285  1     16

オーバーサブスクリプションと出力廃棄について

イーサネットネットワークに接続されたインターフェイスは、一度に1つのパケットしか送信できません。2つのパケットが同時にイーサネットインターフェイスから出力する必要がある場合、イーサネットインターフェイスは1つのパケットの送信を開始し、もう1つのパケットはバッファリングします。最初のパケットの送信が終了すると、イーサネットインターフェイスはバッファから2番目のパケットの送信を開始します。インターフェイスから出力する必要があるトラフィックの合計がインターフェイスの帯域幅を超えると、そのインターフェイスはオーバーサブスクライブと見なされます。たとえば、合計15 Gbpsのトラフィックがスイッチに瞬間的に入り、10 Gbpsインターフェイスから出力する必要がある場合、10 Gbpsインターフェイスは一度に15 Gbpsのトラフィックを送信できないため、オーバーサブスクリプションになります。

Cloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチは、出力インターフェイスに関連付けられたASICスライスのバッファ内でトラフィックをバッファリングすることによって、このリソース競合を処理します。インターフェイスから出力する必要のあるトラフィックの合計がインターフェイスの帯域幅を長時間超えた場合、ASICスライスのバッファは、インターフェイスから出力する必要のあるパケットでいっぱいになります。

ASICスライスのバッファの使用率が90 %に達すると、スイッチは次に示すようなsyslogを生成します。

%TAHUSD-SLOT2-4-BUFFER_THRESHOLD_EXCEEDED: Module 2 Instance 0 Pool-group buffer 90 percent threshold is exceeded!

ASICスライスのバッファが完全に満杯になると、スイッチはバッファ内のスペースが空くまで、インターフェイスからの発信に必要な追加トラフィックを廃棄します。スイッチがこのトラフィックをドロップすると、出力インターフェイスのOutput Discardsカウンタが増加します。

生成されたsyslogカウンタと0以外のOutput Discardsカウンタは、どちらも加入過多インターフェイスの症状です。各症状については、このサブセクションで詳しく説明します。

BUFFER_THRESHOLD_EXCEEDED syslogについて

BUFFER_THRESHOLD_EXCEEDED syslogの例を次に示します。

%TAHUSD-SLOTX-4-BUFFER_THRESHOLD_EXCEEDED: Module X Instance Y Pool-group buffer Z percent threshold is exceeded!

このsyslogには、次の3つの重要な情報があります。

1. モジュールX：オーバーサブスクライブされたインターフェイスを含むラインカードのスロット。

2. Instance Y：オーバーサブスクライブされたインターフェイスを含むASICおよびスライスのタプルに割り当てられたインスタンス番号。

3. Pool-group buffer Z:syslogが生成される前の、影響を受けるプールグループのバッファしきい値。これは、モジュールXに接続されたときのshow hardware internal buffer info pkt-statsの出力に見られるように、使用済みセルを合計セルで割ったパーセンテージです。

出力廃棄インターフェイスカウンタについて

Output Discardsインターフェイスカウンタは、廃棄されたが、ASICスライスのバッファがいっぱいになり、新しいパケットを受け入れることができなかったために、インターフェイスから出力されるはずだったパケットの数を示します。次に示すように、show interfaceとshow interface counters errorsの出力にOutput Discardsカウンタが表示されます。

switch# show interface Ethernet1/1

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)

MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec

reliability 255/255, txload 232/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 40 Gb/s, media type is 40G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 03:16:50

Last clearing of "show interface" counters never

3 interface resets

Load-Interval #1: 30 seconds

30 seconds input rate 0 bits/sec, 0 packets/sec

30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec

input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps

Load-Interval #2: 5 minute (300 seconds)

300 seconds input rate 32 bits/sec, 0 packets/sec

300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec

input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps

RX

0 unicast packets  208 multicast packets  9 broadcast packets

217 input packets  50912 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

TX

38298127762 unicast packets  6118 multicast packets  0 broadcast packets

38298133880 output packets  57600384931480 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  57443534227 output discard       <<< Output discards due to oversubcription

0 Tx pause

switch# show interface Ethernet1/1 counters errors

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth1/1                0          0          0          0          0 57443534227

--------------------------------------------------------------------------------

Port         Single-Col  Multi-Col   Late-Col  Exces-Col  Carri-Sen       Runts

--------------------------------------------------------------------------------

Eth1/1                0          0          0          0          0           0

--------------------------------------------------------------------------------

Port          Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err

--------------------------------------------------------------------------------

Eth1/1             0          --           0           0           0          0

--------------------------------------------------------------------------------

Port         InDiscards

--------------------------------------------------------------------------------

Eth1/1                0

オーバーサブスクリプションシナリオの例

2つのIXIAトラフィックジェネレータ間のトラフィックが、シャーシのスロット1および2に挿入された2つのN9K-X9736C-FXラインカードを搭載したNexus 9504スイッチを通過するシナリオを考えてみましょう。100 Gbpsのトラフィックが100 GbpsインターフェイスEthernet1/1を経由してスイッチに入り、40 GbpsインターフェイスEthernet2/2を出る必要があります。そのため、Ethernet2/2はオーバーサブスクライブされています。このシナリオのトポロジを次に示します。

Nexus 9000 Cloud Scale ASICは共有メモリの出力バッファアーキテクチャを使用するため、出力インターフェイスEthernet2/2のバッファをチェックして輻輳を確認する必要があります。この例では、スロット2に挿入されたラインカードが出力ラインカードであるため、attach module 2コマンドを使用してから、show hardware internal tah buffer countersコマンドで内部ハードウェアバッファを表示する必要があります。Unit 0、Slice 0 pool-group、および関連するプールの0以外の「Occupancy drops」カウンタに注目してください。このカウンタは、プールグループのバッファが完全に占有されたためにドロップされたパケットの数を示します。

switch# attach module 2

module-2# show hardware internal tah buffer counters

Unit: 0 Slice: 0

====================

|------------------------------------------------------------------------------------------------------------------|

|                                               Output Pool-Group drops                                            |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG          |

|------------------------------------------------------------------------------------------------------------------|

Occupancy drops                  51152554987        0            0            0            0            0       |

AQM drops                              0            0          N/A          N/A         N/A          N/A        |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output UC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Occupancy drops                 51152555398     0          0          0          0          0          0          0  |

AQM drops                            0          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output MC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (desc)         93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (inq thr)      64035      64035      64035      64035      64035      64035      64035      64035  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|                                     Additional counters                                      |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

MEM cell drop reason                  :      0

MEM descriptor drop reason            :      0

OPG cell drop reason                  :      0

OPG descriptor drop reason            :      0

OPG CPU cell drop reason              :      0

OPG CPU descriptor drop reason        :      0

OPG SPAN cell drop reason             :      0

OPG SPAN descriptor drop reason       :      0

OPOOL cell drop reason                :      0

OPOOL descriptor drop reason          :      0

UC OQUEUE cell drop reason            : 51152556479

MC OQUEUE cell drop reason            : 27573307

OQUEUE descriptor drop reason         :      0

MC OPOOL cell drop reason             :      0

FWD DROP                              :     15

SOD                                   :      0

BMM BP                                :      0

No Drop                               :      0

Packets received                      : 87480806439

TRUNC MTU                             :      0

TRUNK BMM BP                          :      0

VOQFC messages sent                   :      0

SOD messages sent                     :      0

SPAN desciptor drop                   :      0

Unit: 1 Slice: 0

====================

|------------------------------------------------------------------------------------------------------------------|

|                                               Output Pool-Group drops                                            |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG          |

|------------------------------------------------------------------------------------------------------------------|

Occupancy drops                        0            0            0            0            0            0       |

AQM drops                              0            0          N/A          N/A         N/A          N/A        |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output UC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

AQM drops                            0          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output MC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (desc)         93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (inq thr)      64035      64035      64035      64035      64035      64035      64035      64035  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|                                     Additional counters                                      |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

MEM cell drop reason                  :      0

MEM descriptor drop reason            :      0

OPG cell drop reason                  :      0

OPG descriptor drop reason            :      0

OPG CPU cell drop reason              :      0

OPG CPU descriptor drop reason        :      0

OPG SPAN cell drop reason             :      0

OPG SPAN descriptor drop reason       :      0

OPOOL cell drop reason                :      0

OPOOL descriptor drop reason          :      0

UC OQUEUE cell drop reason            :      0

MC OQUEUE cell drop reason            :      0

OQUEUE descriptor drop reason         :      0

MC OPOOL cell drop reason             :      0

FWD DROP                              :      8

SOD                                   :      0

BMM BP                                :      0

No Drop                               :      0

Packets received                      : 45981341

TRUNC MTU                             :      0

TRUNK BMM BP                          :      0

VOQFC messages sent                   :      0

SOD messages sent                     :      0

SPAN desciptor drop                   :      0

各ASICユニット/スライスのタプルは、「インスタンス」と呼ばれる一意の識別によって表されることに注意してください。 show hardware internal buffer info pkt-statsコマンドの出力には、各インスタンスの輻輳したプールグループ（「PG」と略記）に関する詳細情報が表示されます。このコマンドでは、バッファ内で使用された過去のピークまたは最大セル数も表示されます。最後に、このコマンドは、トラフィックがバッファされているポートのCloud Scale ASICポートIDの瞬時のスナップショットを表示します。このコマンドの例を次に示します。

switch# attach module 2

module-2# show hardware internal buffer info pkt-stats

Instance 0

============

|------------------------------------------------------------------------------------------------------------|

|                                   Output Pool-Group Buffer Utilization (cells/desc)                        |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG    |

|------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)        59992            0            0            0            0            0       |

Remaining Instant Usage (cells)    33562            0         1500          250         1500         1500       |

Peak/Max Cells Used                90415            0          N/A          N/A          N/A          N/A       |

Switch Cells Count                 93554            0         1500          250         1500         1500       |

Total Instant Usage (desc)             0            0            0            0            0            0       |

Remaining Instant Usage (desc)     93554            0         1500          250         1500         1500       |

Switch Desc Count                  93554            0         1500          250         1500         1500       |

|--------------------------------------------------------------------------------------------------------------------|

|                                    Output UC Pool Buffer Utilization (cells/desc)                                  |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)      60027          0          0          0          0          0          0          0  |

Total Instant Usage (desc)           0          0          0          0          0          0          0          0  |

Peak/Max Cells Used              62047          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                    Output MC Pool Buffer Utilization (cells/desc)                                  |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)          0          0          0          0          0          0          0          0  |

Total Instant Usage (desc)           0          0          0          0          0          0          0          0  |

Total Instant Usage (inq cells)      0          0          0          0          0          0          0          0  |

Total Instant Usage (packets)        0          0          0          0          0          0          0          0  |

Peak/Max Cells Used              60399          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------|

|              Instant Buffer utilization per queue per port               |

|      Each line displays the number of cells/desc utilized for a given    |

|                     port for each QoS queue                              |

|             One cell represents approximately 416 bytes                  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|ASIC Port         Q7        Q6        Q5        Q4        Q3        Q2        Q1        Q0    |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

[12]                                                                                               <<< ASIC Port 12 in Unit 0 Instance 0 is likely the congested egress interface

UC->       0         0         0         0         0         0         0     59988   |

MC cells->       0         0         0         0         0         0         0         0   |

MC desc->        0         0         0         0         0         0         0         0   |

コマンドのpeak変動も参照してください。このコマンドを使用して、syslogを特定のプールグループ、プール、またはポートの潜在的なスパイクに関連付けます

switch# show hardware internal buffer info pkt-stats peak

slot  1

=======

Instance 0

============

|--------------+---------+---------+---------+---------+---------+|

|                     Pool-Group Peak counters                    |

|--------------+---------+---------+---------+---------+---------+|

Drop PG       :           0

No-drop PG    :           0

|--------------+---------+---------+---------+---------+---------+|

|                           Pool Peak counters                    |

|--------------+---------+---------+---------+---------+---------+|

MC Pool 0     :           0

MC Pool 1     :           0

MC Pool 2     :           0

MC Pool 3     :           0

MC Pool 4     :           0

MC Pool 5     :           0

MC Pool 6     :           0

MC Pool 7     :           0

UC Pool 0     :           0

UC Pool 1     :           0

UC Pool 2     :           0

UC Pool 3     :           0

UC Pool 4     :           0

UC Pool 5     :           0

UC Pool 6     :           0

UC Pool 7     :           0

|--------------+---------+---------+---------+---------+---------+|

|                           Port Peak counters                    |

|             classes mapped to count_0: 0 1 2 3 4 5 6 7

|             classes mapped to count_1: None

|--------------+---------+---------+---------+---------+---------+|

[0]                                             <<< ASIC Port. This can be checked via "show hardware interface-mappings"

count_0       :           0

count_1       :           0

[1]

count_0       :           0

count_1       :           0

show interface hardware-mappingsコマンドを使用すると、Cloud Scale ASICポートIDをフロントパネルポートに変換できます。前述の例では、スライス/インスタンス0上のASICユニット0に関連付けられたASICポート12（show interface hardware-mappingsの出力のHPortカラムに示される）には、それぞれ416バイトの59,988個のセルが占有されています。show interface hardware-mappingsコマンドの例を次に示します。このコマンドは、このインターフェイスを前面パネルポートEthernet2/2にマッピングします。

switch# show interface hardware-mappings

Legends:

SMod  - Source Mod. 0 is N/A

Unit  - Unit on which port resides. N/A for port channels

HPort - Hardware Port Number or Hardware Trunk Id:

HName - Hardware port name. None means N/A

FPort - Fabric facing port number. 255 means N/A

NPort - Front panel port number

VPort - Virtual Port Number. -1 means N/A

Slice - Slice Number. N/A for BCM systems

SPort - Port Number wrt Slice. N/A for BCM systems

SrcId - Source Id Number. N/A for BCM systems

MacIdx - Mac index. N/A for BCM systems

MacSubPort - Mac sub port. N/A for BCM systems

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth2/2     1a080200 5    0    12    255   4     -1    0     12    24    3     0     149  0     24

show queuing interfaceコマンドを使用すると、インターフェイスEthernet2/2のオーバーサブスクリプションとQoSキューイングドロップをさらに関連付けることができます。この例を次に示します。

switch# show queuing interface Ethernet2/2

Egress Queuing for Ethernet2/2 [System]

------------------------------------------------------------------------------

QoS-Group# Bandwidth% PrioLevel                Shape                   QLimit

Min          Max        Units

------------------------------------------------------------------------------

7             -         1           -            -     -            9(D)

6             0         -           -            -     -            9(D)

5             0         -           -            -     -            9(D)

4             0         -           -            -     -            9(D)

3             0         -           -            -     -            9(D)

2             0         -           -            -     -            9(D)

1             0         -           -            -     -            9(D)

0           100         -           -            -     -            9(D)

+-------------------------------------------------------------+

|                              QOS GROUP 0                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |     35593332351|        18407162|

|                   Tx Byts |  53532371857088|     27684371648|

| WRED/AFD & Tail Drop Pkts |     53390604466|        27573307|

| WRED/AFD & Tail Drop Byts |  80299469116864|       110293228|

|              Q Depth Byts |        24961664|               0|

|       WD & Tail Drop Pkts |     53390604466|        27573307|

+-------------------------------------------------------------+

|                              QOS GROUP 1                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 2                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 3                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 4                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 5                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 6                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 7                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                      CONTROL QOS GROUP                      |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |            5704|               0|

|                   Tx Byts |          725030|               0|

|            Tail Drop Pkts |               0|               0|

|            Tail Drop Byts |               0|               0|

+-------------------------------------------------------------+

|                         SPAN QOS GROUP                      |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

+-------------------------------------------------------------+

Per Slice Egress SPAN Statistics

---------------------------------------------------------------

SPAN Copies Tail Drop Pkts                           0

SPAN Input Queue Drop Pkts                           0

SPAN Copies/Transit Tail Drop Pkts                           0

SPAN Input Desc Drop  Pkts                           0

最後に、show interfaceコマンドを使用して、出力インターフェイスEthernet2/2にゼロ以外の出力廃棄カウンタがあることを確認できます。この例を次に示します。

switch# show interface Ethernet2/2

Ethernet2/2 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)

MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec

reliability 255/255, txload 232/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 40 Gb/s, media type is 40G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 03:16:50

Last clearing of "show interface" counters never

3 interface resets

Load-Interval #1: 30 seconds

30 seconds input rate 0 bits/sec, 0 packets/sec

30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec

input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps

Load-Interval #2: 5 minute (300 seconds)

300 seconds input rate 32 bits/sec, 0 packets/sec

300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec

input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps

RX

0 unicast packets  208 multicast packets  9 broadcast packets

217 input packets  50912 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

TX

38298127762 unicast packets  6118 multicast packets  0 broadcast packets

38298133880 output packets  57600384931480 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  57443534227 output discard       <<< Output discards due to oversubcription

0 Tx pause

次のステップ

Cloud Scale ASICを搭載したNexus 9000シリーズスイッチで出力の廃棄が確認された場合は、次の1つ以上の方法で問題を解決できます。

- 出力廃棄が発生しているインターフェイスが単一のインターフェイスであり、ポートチャネルにバンドルされていない場合、そのインターフェイスの帯域幅をアップグレードすると、輻輳の緩和に役立ちます。たとえば、輻輳している出力インターフェイスが10 Gbpsインターフェイスの場合、25 Gbps、40 Gbpsインターフェイス、または100 Gbpsインターフェイスにアップグレードすると、この問題を解決できます。

- 出力インターフェイスのトランシーバのフォームファクタによっては、トランシーバをアップグレードすることでアップグレードできます（QSFPポート内のCVR-QSFP-SFP10Gに挿入された10Gbps SFP+からネイティブの40Gbps QSFPトランシーバへの移行など）。

- これは、輻輳している出力インターフェイスの設定を10 Gbpsポートから25 Gbps、40 Gbps、または100 Gbpsポートに移行することによっても可能です。

- 出力廃棄が発生しているインターフェイスが単一のインターフェイスであり、ポートチャネルにバンドルされていない場合、輻輳しているインターフェイスを、同じ帯域幅を持つ別のインターフェイスと一緒にポートチャネルのメンバになるように設定すると、輻輳を緩和できます。

- 出力廃棄が発生しているインターフェイスがポートチャネルインターフェイスである場合、ポートチャネルにメンバーを追加すると、ポートチャネル全体の帯域幅が増加し、複数の大きなトラフィックフローに対するロードバランシングされたハッシングが改善されます。

- ネットワーク内のホスト間で輻輳したトラフィックフローに、速度を低下させるインターフェイス（たとえば、40 Gbpsインターフェイスからスイッチに入るトラフィックと10 Gbpsインターフェイスからスイッチに出るトラフィック）が含まれているかどうかを検証します。 これは、ネットワークの輻輳を引き起こすボトルネックになる可能性があります。低速のインターフェイス（10 Gbpsなど）を高速のインターフェイス（25 Gbps、40 Gbpsなど）にアップグレードすることで、このボトルネックを解消すると、ネットワークの輻輳を緩和できます。

- 輻輳している出力インターフェイスで使用可能な帯域幅を増やすことがオプションではない場合は、エンドツーエンドQoSを検証し、ネットワークに適切なキューイングアクションを適用します。

- マイクロバーストが断続的な輻輳の潜在的な原因である場合は、このドキュメントの「マイクロバーストのモニタリング」セクションでマイクロバーストモニタリングの設定に関する情報を参照してください。

追加情報

このドキュメントのこのセクションでは、BUFFER_THRESHOLD_EXCEEDED syslog、ネットワーク輻輳/加入過多のシナリオ、および出力廃棄インターフェイスカウンタの増加が発生した場合に実行する次の手順に関する追加情報を示します。

BUFFER_THRESHOLD_EXCEEDED Syslog設定オプション

システムバッファステータスのポーリング間隔を変更できます。この間隔は、システムがASICスライスバッファの現在の使用率をポーリングする頻度を制御します。これは、hardware profile buffer info poll-intervalグローバルコンフィギュレーションコマンドで実行します。デフォルトの設定値は5,000ミリ秒です。この設定は、グローバルに、またはモジュール単位で変更できます。この設定コマンドの例を次に示します。このコマンドは1,000ミリ秒の値に変更されています。

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info poll-interval timer 1000

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info poll-interval timer 1000

switch#

ポートの出力バッファ使用率のしきい値を変更できます。この値は、ASICスライスバッファ使用率が設定されたしきい値を超えたことを示すBUFFER_THRESHOLD_EXCEEDED syslogをシステムが生成するタイミングを制御します。これは、hardware profile buffer info port-thresholdグローバルコンフィギュレーションコマンドで実行します。デフォルトの設定値は90 %です。この設定は、グローバルに、またはモジュール単位で変更できます。この設定コマンドの例を次に示します。このコマンドは値80 %に変更されます。

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info port-threshold threshold 80

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info port-threshold threshold 80

switch#

スイッチによって生成されるBUFFER_THRESHOLD_EXCEEDED syslogの最小間隔を変更できます。BUFFER_THRESHOLD_EXCEEDED syslogを完全に無効にすることもできます。これを行うには、hardware profile buffer info syslog-interval timerグローバルコンフィギュレーションコマンドを使用します。デフォルトの設定値は120秒です。syslogを完全に無効にするには、値を0秒に設定します。この設定コマンドの例を次に示します。ここでは、syslogが完全に無効になっています。

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info syslog-interval timer 0

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info syslog-interval timer 0

switch#

ネットワーク輻輳シナリオで収集するログ

ネットワーク輻輳シナリオの影響を受けるスイッチから、ここに示すログを収集して、このドキュメントで示すコマンドに加えて、輻輳している出力インターフェイスを特定できます。

1. show tech-support detailsコマンドの出力。

2. show tech-support usd-allコマンドの出力。

3. show tech-support ipqos allコマンドの出力。

4. Cisco Cloud Scaleラインカードが挿入されたNexus 9500シリーズスイッチを使用する場合、show system internal interface counters peak module {x}コマンドの出力は次のようになります。{x}は、輻輳している出力インターフェイスをホストしているモジュールのスロット番号です。

マイクロバーストのモニタリング

輻輳またはオーバーサブスクリプションが非常に短い間隔（マイクロバースト）で発生している場合は、オーバーサブスクリプションがスイッチに与える影響を正確に把握するために追加情報が必要です。

Cisco Cloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチは、環境内で一時的なネットワーク輻輳やトラフィック損失を引き起こす可能性があるマイクロバーストのトラフィックを監視できます。マイクロバーストの詳細およびこの機能の設定方法については、次のドキュメントを参照してください。

- 『Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, Release 10.1(x)』の「Micro-Burst Monitoring」の章

- 『Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, Release 9.3(x)』の「Micro-Burst Monitoring」の章

- 『Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, Release 9.2(x)』の「Micro-Burst Monitoring」の章

- 『Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, Release 7.x』の「Micro-Burst Monitoring」の章