目錄

簡介

必要條件

需求

採用元件

瞭解Cisco Nexus 9000雲規模ASIC緩衝架構

瞭解超訂用和輸出丟棄

瞭解BUFFER_THRESHOLD_EXCEEDED系統日誌

瞭解輸出丟棄介面計數器

超訂用方案示例

後續步驟

其他資訊

BUFFER_THRESHOLD_EXCEEDED系統日誌配置選項

針對網路擁塞情況收集的日誌

監控微突發

簡介

本文檔介紹在配備運行NX-OS軟體的Cisco Cloud Scale ASIC（應用專用積體電路）的Cisco Nexus 9000系列交換機上進行排隊和緩衝的機理。本檔案還說明此平台上連線埠超額訂閱的症狀，例如非零輸出捨棄介面計數器和表示已超出緩衝區臨界值的系統日誌。

必要條件

需求

思科建議您瞭解共用介質網路上乙太網交換的基本知識，以及這些網路中佇列/緩衝的必要性。思科還建議您瞭解Cisco Nexus交換機上的服務品質(QoS)和緩衝的基礎知識。有關詳細資訊，請參閱以下文檔：

- Cisco Nexus 9000系列NX-OS服務品質配置指南，版本10.1(x)

- Cisco Nexus 9000系列NX-OS服務品質配置指南9.3(x)版

- Cisco Nexus 9000系列NX-OS服務品質配置指南9.2(x)版

- Cisco Nexus 9000系列NX-OS服務品質配置指南7.x版

採用元件

本檔案中的資訊是根據執行NX-OS軟體版本9.3(8)的Cloud Scale ASIC的Cisco Nexus 9000系列交換器。

本文檔中介紹的過程僅適用於此處顯示的硬體。

- Nexus 9200/9300固定交換器

- N9K-C92160YC-X

- N9K-C92300YC

- N9K-C92304QC

- N9K-C92348GC-X

- N9K-C9236C

- N9K-C9272Q

- N9K-C9332C

- N9K-C9364C

- N9K-C93108TC-EX

- N9K-C93108TC-EX-24

- N9K-C93180LC-EX

- N9K-C93180YC-EX

- N9K-C93180YC-EX-24

- N9K-C93108TC-FX

- N9K-C93108TC-FX-24

- N9K-C93180YC-FX

- N9K-C93180YC-FX-24

- N9K-C9348GC-FXP

- N9K-C93240YC-FX2

- N9K-C93216TC-FX2

- N9K-C9336C-FX2

- N9K-C9336C-FX2-E

- N9K-C93360YC-FX2

- N9K-C93180YC-FX3

- N9K-C93108TC-FX3P

- N9K-C93180YC-FX3S

- N9K-C9316D-GX

- N9K-C93600CD-GX

- N9K-C9364C-GX

- N9K-C9364D-GX2A

- N9K-C9332D-GX2B

- Nexus 9500模組化交換線路卡

- N9K-X97160YC-EX

- N9K-X9732C-EX

- N9K-X9736C-EX

- N9K-X97284YC-FX

- N9K-X9732C-FX

- N9K-X9788TC-FX

- N9K-X9716D-GX

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

瞭解Cisco Nexus 9000雲規模ASIC緩衝架構

採用Cisco Cloud Scale ASIC的Cisco Nexus 9000系列交換機實施了「共用記憶體」出口緩衝區架構。ASIC分為一個或多個「片」。 每個片都有自己的緩衝區，並且只有該片中的埠可以使用該緩衝區。在物理上，每個片被劃分為「單元」，表示緩衝區的部分。切片被劃分為「池組」。為每個pool-group分配一定數量的單元格，並且這些單元格不會在單獨的pool-group之間共用。每個池組都有一個或多個「池」，這些池表示單播或組播流量的服務類別(CoS)。這有助於每個池組保證池組所服務的流量型別的緩衝區資源。

此處的影象直觀地演示了各種思科雲規模ASIC模型如何劃分為多個切片。該影象還演示了如何通過單元格分配一定量的緩衝區。

Nexus 9000系列交換機和Nexus 9500線卡的每個型號內部都有不同數量的Cisco Cloud Scale ASIC，並且有不同的佈局指示哪些前面板埠連線到哪個ASIC。以下影象顯示了使用N9K-X9736C-FX線卡和N9K-C9336C-FX2交換機的兩個示例。

N9K-C9736C-FX線卡具有4個思科雲擴展LS1800FX ASIC，每個ASIC具有一個片。在內部，每個ASIC稱為「單元」。 每個扇區稱為「例項」，分配一個從零開始的整數，用於唯一標識機箱內的該扇區。這將產生如下所示的置換：

- 單元0，片0稱為例項0

- 單元1，片0稱為例項1

- 單元2，片0稱為例項2

- 單元3，片0稱為例項3

N9K-C9336C-FX2交換機具有一個Cisco Cloud Scale LS3600FX2 ASIC，每個ASIC有兩個片。在內部，每個ASIC稱為「單元」。 每個扇區稱為「例項」，分配一個從零開始的整數，用於唯一標識機箱內的該扇區。這將產生如下所示的置換：

- 單元0，片0稱為例項0

- 單元0，片1稱為例項1

每個線卡和交換機都具有不同的佈局，從而產生了不同的例項編號。瞭解您使用的線卡或交換機的佈局對於圍繞頻寬密集型流量來設計網路非常重要。show interface hardware-mappings命令可用於將每個前面板埠關聯到裝置(ASIC)和扇區號。這裡顯示了一個示例，其中Nexus 9504交換機的介面Ethernet2/16與機箱插槽2中插入的N9K-X9736C-FX線卡對映到單元1，片0。

switch# show interface hardware-mappings

Legends:

SMod  - Source Mod. 0 is N/A

Unit  - Unit on which port resides. N/A for port channels

HPort - Hardware Port Number or Hardware Trunk Id:

HName - Hardware port name. None means N/A

FPort - Fabric facing port number. 255 means N/A

NPort - Front panel port number

VPort - Virtual Port Number. -1 means N/A

Slice - Slice Number. N/A for BCM systems

SPort - Port Number wrt Slice. N/A for BCM systems

SrcId - Source Id Number. N/A for BCM systems

MacIdx - Mac index. N/A for BCM systems

MacSubPort - Mac sub port. N/A for BCM systems

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth2/1     1a080000 5    0    16    255   0     -1    0     16    32    4     0     145  0     32

Eth2/2     1a080200 5    0    12    255   4     -1    0     12    24    3     0     149  0     24

Eth2/3     1a080400 5    0    8     255   8     -1    0     8     16    2     0     153  0     16

Eth2/4     1a080600 5    0    4     255   12    -1    0     4     8     1     0     157  0     8

Eth2/5     1a080800 5    0    0     255   16    -1    0     0     0     0     0     161  0     0

Eth2/6     1a080a00 5    0    56    255   20    -1    0     56    112   14    0     165  1     40

Eth2/7     1a080c00 5    0    52    255   24    -1    0     52    104   13    0     169  1     32

Eth2/8     1a080e00 6    1    16    255   28    -1    0     16    32    4     0     173  0     32

Eth2/9     1a081000 6    1    12    255   32    -1    0     12    24    3     0     177  0     24

Eth2/10    1a081200 6    1    8     255   36    -1    0     8     16    2     0     181  0     16

Eth2/11    1a081400 6    1    4     255   40    -1    0     4     8     1     0     185  0     8

Eth2/12    1a081600 6    1    0     255   44    -1    0     0     0     0     0     189  0     0

Eth2/13    1a081800 6    1    56    255   48    -1    0     56    112   14    0     193  1     40

Eth2/14    1a081a00 6    1    52    255   52    -1    0     52    104   13    0     197  1     32

Eth2/15    1a081c00 7    2    16    255   56    -1    0     16    32    4     0     201  0     32

Eth2/16    1a081e00 7    2    12    255   60    -1    0     12    24    3     0     205  0     24

Eth2/17    1a082000 7    2    8     255   64    -1    0     8     16    2     0     209  0     16

Eth2/18    1a082200 7    2    4     255   68    -1    0     4     8     1     0     213  0     8

Eth2/19    1a082400 7    2    0     255   72    -1    0     0     0     0     0     217  0     0

Eth2/20    1a082600 7    2    56    255   76    -1    0     56    112   14    0     221  1     40

Eth2/21    1a082800 7    2    52    255   80    -1    0     52    104   13    0     225  1     32

Eth2/22    1a082a00 8    3    16    255   84    -1    0     16    32    4     0     229  0     32

Eth2/23    1a082c00 8    3    12    255   88    -1    0     12    24    3     0     233  0     24

Eth2/24    1a082e00 8    3    8     255   92    -1    0     8     16    2     0     237  0     16

Eth2/25    1a083000 8    3    4     255   96    -1    0     4     8     1     0     241  0     8

Eth2/26    1a083200 8    3    0     255   100   -1    0     0     0     0     0     245  0     0

Eth2/27    1a083400 8    3    56    255   104   -1    0     56    112   14    0     249  1     40

Eth2/28    1a083600 8    3    52    255   108   -1    0     52    104   13    0     253  1     32

Eth2/29    1a083800 5    0    48    255   112   -1    0     48    96    12    0     257  1     24

Eth2/30    1a083a00 5    0    44    255   116   -1    0     44    88    11    0     261  1     16

Eth2/31    1a083c00 6    1    48    255   120   -1    0     48    96    12    0     265  1     24

Eth2/32    1a083e00 6    1    44    255   124   -1    0     44    88    11    0     269  1     16

Eth2/33    1a084000 7    2    48    255   128   -1    0     48    96    12    0     273  1     24

Eth2/34    1a084200 7    2    44    255   132   -1    0     44    88    11    0     277  1     16

Eth2/35    1a084400 8    3    48    255   136   -1    0     48    96    12    0     281  1     24

Eth2/36    1a084600 8    3    44    255   140   -1    0     44    88    11    0     285  1     16

瞭解超訂用和輸出丟棄

連線到乙太網絡的介面一次只能傳輸一個資料包。當兩個封包需要同時輸出一個乙太網路介面時，乙太網路介面會開始傳輸一個封包，同時緩衝另一個封包。一旦第一個封包完成傳輸，乙太網路介面就會開始從緩衝區傳輸第二個封包。當需要輸出介面的總流量超過介面的頻寬時，該介面被視為超額訂用。例如，如果總共有15Gbps的流量即時進入交換機並需要輸出10Gbps介面，則10Gbps介面由於無法一次傳輸15Gbps流量而超額使用。

具有雲規模ASIC的Cisco Nexus 9000系列交換機通過在與出口介面關聯的ASIC分割槽的緩衝區中緩沖流量來處理此資源爭用。如果需要輸出介面的總流量在一段延長的時間內超過介面的頻寬，則ASIC分片的緩衝區將開始填充需要輸出介面的資料包。

當ASIC分片的緩衝區達到90%的利用率時，交換機將生成類似於下面所示的系統日誌：

%TAHUSD-SLOT2-4-BUFFER_THRESHOLD_EXCEEDED: Module 2 Instance 0 Pool-group buffer 90 percent threshold is exceeded!

當ASIC分段的緩衝區完全滿時，交換器會捨棄需要輸出介面的所有額外流量，直到緩衝區中的空間變為空閒。交換器捨棄此流量時，會增加輸出介面上的Output Discards計數器。

生成的syslog和非零輸出丟棄計數器都是超訂用介面的症狀。每個症狀都將在本部分的各個小節中詳細探討。

瞭解BUFFER_THRESHOLD_EXCEEDED系統日誌

此處顯示了BUFFER_THRESHOLD_EXCEEDED系統日誌的示例。

%TAHUSD-SLOTX-4-BUFFER_THRESHOLD_EXCEEDED: Module X Instance Y Pool-group buffer Z percent threshold is exceeded!

此系統日誌包含三個關鍵資訊：

1. 模組X — 包含超額訂閱介面的線路卡插槽。

2. 例項Y — 分配給包含超訂用介面的ASIC和切片元組的例項編號。

3. Pool-group buffer Z — 生成系統日誌之前受影響的池組的緩衝區閾值。此百分比是由「已用單元格」除以「總單元格」得出的百分比，如連線到模組X時，在show hardware internal buffer info pkt-stats的輸出中觀察到的。

瞭解輸出丟棄介面計數器

Output Discards介面計數器指示本應離開介面但因ASIC片緩衝區已滿而無法接受新資料包而丟棄的資料包數量。Output Discards計數器在show interface和show interface counters errors的輸出中可見，如下所示。

switch# show interface Ethernet1/1

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)

MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec

reliability 255/255, txload 232/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 40 Gb/s, media type is 40G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 03:16:50

Last clearing of "show interface" counters never

3 interface resets

Load-Interval #1: 30 seconds

30 seconds input rate 0 bits/sec, 0 packets/sec

30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec

input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps

Load-Interval #2: 5 minute (300 seconds)

300 seconds input rate 32 bits/sec, 0 packets/sec

300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec

input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps

RX

0 unicast packets  208 multicast packets  9 broadcast packets

217 input packets  50912 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

TX

38298127762 unicast packets  6118 multicast packets  0 broadcast packets

38298133880 output packets  57600384931480 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  57443534227 output discard       <<< Output discards due to oversubcription

0 Tx pause

switch# show interface Ethernet1/1 counters errors

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth1/1                0          0          0          0          0 57443534227

--------------------------------------------------------------------------------

Port         Single-Col  Multi-Col   Late-Col  Exces-Col  Carri-Sen       Runts

--------------------------------------------------------------------------------

Eth1/1                0          0          0          0          0           0

--------------------------------------------------------------------------------

Port          Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err

--------------------------------------------------------------------------------

Eth1/1             0          --           0           0           0          0

--------------------------------------------------------------------------------

Port         InDiscards

--------------------------------------------------------------------------------

Eth1/1                0

超訂用方案示例

考慮以下場景：兩個IXIA流量生成器之間的流量經過在機箱插槽1和2中插入兩個N9K-X9736C-FX線卡的Nexus 9504交換機。100Gbps的流量通過100Gbps的介面Ethernet1/1進入交換機，需要輸出40Gbps的介面Ethernet2/2。因此，Ethernet2/2為超訂用。此方案的拓撲如下所示。

由於Nexus 9000雲規模ASIC使用共用記憶體出口緩衝區架構，您必須檢查出口介面Ethernet2/2的緩衝區以檢視擁塞。在本例中，插入插槽2中的線卡是輸出線卡，因此您必須先使用attach module 2命令，然後使用show hardware internal tah buffer counters命令檢視內部硬體緩衝區。請注意Unit 0、Slice 0 pool-group和相關池的非零「佔用丟棄」計數器，該計數器指示由於池組的緩衝區已完全佔用而丟棄的資料包數。

switch# attach module 2

module-2# show hardware internal tah buffer counters

Unit: 0 Slice: 0

====================

|------------------------------------------------------------------------------------------------------------------|

|                                               Output Pool-Group drops                                            |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG          |

|------------------------------------------------------------------------------------------------------------------|

Occupancy drops                  51152554987        0            0            0            0            0       |

AQM drops                              0            0          N/A          N/A         N/A          N/A        |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output UC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Occupancy drops                 51152555398     0          0          0          0          0          0          0  |

AQM drops                            0          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output MC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (desc)         93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (inq thr)      64035      64035      64035      64035      64035      64035      64035      64035  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|                                     Additional counters                                      |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

MEM cell drop reason                  :      0

MEM descriptor drop reason            :      0

OPG cell drop reason                  :      0

OPG descriptor drop reason            :      0

OPG CPU cell drop reason              :      0

OPG CPU descriptor drop reason        :      0

OPG SPAN cell drop reason             :      0

OPG SPAN descriptor drop reason       :      0

OPOOL cell drop reason                :      0

OPOOL descriptor drop reason          :      0

UC OQUEUE cell drop reason            : 51152556479

MC OQUEUE cell drop reason            : 27573307

OQUEUE descriptor drop reason         :      0

MC OPOOL cell drop reason             :      0

FWD DROP                              :     15

SOD                                   :      0

BMM BP                                :      0

No Drop                               :      0

Packets received                      : 87480806439

TRUNC MTU                             :      0

TRUNK BMM BP                          :      0

VOQFC messages sent                   :      0

SOD messages sent                     :      0

SPAN desciptor drop                   :      0

Unit: 1 Slice: 0

====================

|------------------------------------------------------------------------------------------------------------------|

|                                               Output Pool-Group drops                                            |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG          |

|------------------------------------------------------------------------------------------------------------------|

Occupancy drops                        0            0            0            0            0            0       |

AQM drops                              0            0          N/A          N/A         N/A          N/A        |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output UC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

AQM drops                            0          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output MC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (desc)         93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (inq thr)      64035      64035      64035      64035      64035      64035      64035      64035  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|                                     Additional counters                                      |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

MEM cell drop reason                  :      0

MEM descriptor drop reason            :      0

OPG cell drop reason                  :      0

OPG descriptor drop reason            :      0

OPG CPU cell drop reason              :      0

OPG CPU descriptor drop reason        :      0

OPG SPAN cell drop reason             :      0

OPG SPAN descriptor drop reason       :      0

OPOOL cell drop reason                :      0

OPOOL descriptor drop reason          :      0

UC OQUEUE cell drop reason            :      0

MC OQUEUE cell drop reason            :      0

OQUEUE descriptor drop reason         :      0

MC OPOOL cell drop reason             :      0

FWD DROP                              :      8

SOD                                   :      0

BMM BP                                :      0

No Drop                               :      0

Packets received                      : 45981341

TRUNC MTU                             :      0

TRUNK BMM BP                          :      0

VOQFC messages sent                   :      0

SOD messages sent                     :      0

SPAN desciptor drop                   :      0

回想一下，每個ASIC單元/切片元組都通過唯一標識的「例項」表示。 show hardware internal buffer info pkt-stats命令的輸出顯示每個例項的擁塞池組（縮寫為「PG」）的詳細資訊。此命令還顯示緩衝區中已使用的單元格的歷史峰值/最大數量。最後，該命令顯示具有緩沖流量的埠的雲規模ASIC埠識別符號的即時快照。此命令的示例如下所示。

switch# attach module 2

module-2# show hardware internal buffer info pkt-stats

Instance 0

============

|------------------------------------------------------------------------------------------------------------|

|                                   Output Pool-Group Buffer Utilization (cells/desc)                        |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG    |

|------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)        59992            0            0            0            0            0       |

Remaining Instant Usage (cells)    33562            0         1500          250         1500         1500       |

Peak/Max Cells Used                90415            0          N/A          N/A          N/A          N/A       |

Switch Cells Count                 93554            0         1500          250         1500         1500       |

Total Instant Usage (desc)             0            0            0            0            0            0       |

Remaining Instant Usage (desc)     93554            0         1500          250         1500         1500       |

Switch Desc Count                  93554            0         1500          250         1500         1500       |

|--------------------------------------------------------------------------------------------------------------------|

|                                    Output UC Pool Buffer Utilization (cells/desc)                                  |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)      60027          0          0          0          0          0          0          0  |

Total Instant Usage (desc)           0          0          0          0          0          0          0          0  |

Peak/Max Cells Used              62047          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                    Output MC Pool Buffer Utilization (cells/desc)                                  |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)          0          0          0          0          0          0          0          0  |

Total Instant Usage (desc)           0          0          0          0          0          0          0          0  |

Total Instant Usage (inq cells)      0          0          0          0          0          0          0          0  |

Total Instant Usage (packets)        0          0          0          0          0          0          0          0  |

Peak/Max Cells Used              60399          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------|

|              Instant Buffer utilization per queue per port               |

|      Each line displays the number of cells/desc utilized for a given    |

|                     port for each QoS queue                              |

|             One cell represents approximately 416 bytes                  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|ASIC Port         Q7        Q6        Q5        Q4        Q3        Q2        Q1        Q0    |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

[12]                                                                                               <<< ASIC Port 12 in Unit 0 Instance 0 is likely the congested egress interface

UC->       0         0         0         0         0         0         0     59988   |

MC cells->       0         0         0         0         0         0         0         0   |

MC desc->        0         0         0         0         0         0         0         0   |

另請參閱命令的峰值。使用此命令將系統日誌與特定池組、池或埠中的潛在峰值相關聯

switch# show hardware internal buffer info pkt-stats peak

slot  1

=======

Instance 0

============

|--------------+---------+---------+---------+---------+---------+|

|                     Pool-Group Peak counters                    |

|--------------+---------+---------+---------+---------+---------+|

Drop PG       :           0

No-drop PG    :           0

|--------------+---------+---------+---------+---------+---------+|

|                           Pool Peak counters                    |

|--------------+---------+---------+---------+---------+---------+|

MC Pool 0     :           0

MC Pool 1     :           0

MC Pool 2     :           0

MC Pool 3     :           0

MC Pool 4     :           0

MC Pool 5     :           0

MC Pool 6     :           0

MC Pool 7     :           0

UC Pool 0     :           0

UC Pool 1     :           0

UC Pool 2     :           0

UC Pool 3     :           0

UC Pool 4     :           0

UC Pool 5     :           0

UC Pool 6     :           0

UC Pool 7     :           0

|--------------+---------+---------+---------+---------+---------+|

|                           Port Peak counters                    |

|             classes mapped to count_0: 0 1 2 3 4 5 6 7

|             classes mapped to count_1: None

|--------------+---------+---------+---------+---------+---------+|

[0]                                             <<< ASIC Port. This can be checked via "show hardware interface-mappings"

count_0       :           0

count_1       :           0

[1]

count_0       :           0

count_1       :           0

show interface hardware-mappings命令可用於將Cloud Scale ASIC埠識別符號轉換為前面板埠。在前面的示例中，與Slice/Instance 0上的ASIC Unit 0關聯的ASIC埠12（由show interface hardware-mappings輸出中的HPort列表示）有59,988個佔用的信元，每個信元為416個位元組。此處顯示了show interface hardware-mappings命令的示例，該命令將該介面對映到前面板埠Ethernet2/2。

switch# show interface hardware-mappings

Legends:

SMod  - Source Mod. 0 is N/A

Unit  - Unit on which port resides. N/A for port channels

HPort - Hardware Port Number or Hardware Trunk Id:

HName - Hardware port name. None means N/A

FPort - Fabric facing port number. 255 means N/A

NPort - Front panel port number

VPort - Virtual Port Number. -1 means N/A

Slice - Slice Number. N/A for BCM systems

SPort - Port Number wrt Slice. N/A for BCM systems

SrcId - Source Id Number. N/A for BCM systems

MacIdx - Mac index. N/A for BCM systems

MacSubPort - Mac sub port. N/A for BCM systems

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth2/2     1a080200 5    0    12    255   4     -1    0     12    24    3     0     149  0     24

我們可以使用show queuing interface命令進一步將介面Ethernet2/2的超訂用與QoS隊列丟棄相關聯。此步驟的範例如下所示。

switch# show queuing interface Ethernet2/2

Egress Queuing for Ethernet2/2 [System]

------------------------------------------------------------------------------

QoS-Group# Bandwidth% PrioLevel                Shape                   QLimit

Min          Max        Units

------------------------------------------------------------------------------

7             -         1           -            -     -            9(D)

6             0         -           -            -     -            9(D)

5             0         -           -            -     -            9(D)

4             0         -           -            -     -            9(D)

3             0         -           -            -     -            9(D)

2             0         -           -            -     -            9(D)

1             0         -           -            -     -            9(D)

0           100         -           -            -     -            9(D)

+-------------------------------------------------------------+

|                              QOS GROUP 0                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |     35593332351|        18407162|

|                   Tx Byts |  53532371857088|     27684371648|

| WRED/AFD & Tail Drop Pkts |     53390604466|        27573307|

| WRED/AFD & Tail Drop Byts |  80299469116864|       110293228|

|              Q Depth Byts |        24961664|               0|

|       WD & Tail Drop Pkts |     53390604466|        27573307|

+-------------------------------------------------------------+

|                              QOS GROUP 1                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 2                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 3                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 4                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 5                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 6                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 7                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                      CONTROL QOS GROUP                      |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |            5704|               0|

|                   Tx Byts |          725030|               0|

|            Tail Drop Pkts |               0|               0|

|            Tail Drop Byts |               0|               0|

+-------------------------------------------------------------+

|                         SPAN QOS GROUP                      |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

+-------------------------------------------------------------+

Per Slice Egress SPAN Statistics

---------------------------------------------------------------

SPAN Copies Tail Drop Pkts                           0

SPAN Input Queue Drop Pkts                           0

SPAN Copies/Transit Tail Drop Pkts                           0

SPAN Input Desc Drop  Pkts                           0

最後，您可以使用show interface指令驗證輸出介面Ethernet2/2是否具有非零輸出捨棄計數器。此步驟的範例如下所示。

switch# show interface Ethernet2/2

Ethernet2/2 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)

MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec

reliability 255/255, txload 232/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 40 Gb/s, media type is 40G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 03:16:50

Last clearing of "show interface" counters never

3 interface resets

Load-Interval #1: 30 seconds

30 seconds input rate 0 bits/sec, 0 packets/sec

30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec

input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps

Load-Interval #2: 5 minute (300 seconds)

300 seconds input rate 32 bits/sec, 0 packets/sec

300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec

input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps

RX

0 unicast packets  208 multicast packets  9 broadcast packets

217 input packets  50912 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

TX

38298127762 unicast packets  6118 multicast packets  0 broadcast packets

38298133880 output packets  57600384931480 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  57443534227 output discard       <<< Output discards due to oversubcription

0 Tx pause

後續步驟

如果您觀察到具有雲規模ASIC的Nexus 9000系列交換機上的輸出丟棄，則可以使用以下一種或多種方法解決問題：

- 如果遇到輸出丟棄的介面是單個介面，並且未捆綁到埠通道中，則升級介面的頻寬有助於緩解擁塞。例如，如果擁塞的出口介面是10Gbps介面，那麼升級到25Gbps、40Gbps介面或100Gbps介面有助於解決此問題。

- 根據輸出介面的收發器外形規格，可以通過升級收發器（例如從插入CVR-QSFP-SFP10G QSFP埠中的10Gbps SFP+遷移至本機40Gbps QSFP收發器）來完成此操作。

- 這還可以通過將擁塞的出口介面配置從10 Gbps埠遷移到25 Gbps、40 Gbps或100 Gbps埠來實現。

- 如果遇到輸出丟棄的介面是單個介面，並且未捆綁到埠通道中，則配置擁塞的介面與具有相同頻寬的另一介面一起作為埠通道的成員，可緩解擁塞。

- 如果遇到輸出丟棄的介面是埠通道介面，則向埠通道新增更多成員可以提高整個埠通道的頻寬並改善多個大流量流的負載均衡雜湊。

- 驗證網路中主機之間的擁塞流量是否涉及速度降低的介面（例如，通過40Gbps介面進入交換機並通過10Gbps介面流出交換機的流量）。 這可能成為導致網路擁塞的瓶頸。通過將低速介面（例如10Gbps）升級到高速介面（例如25Gbps、40Gbps等）來消除此瓶頸可以緩解網路擁塞。

- 如果無法在擁塞的出口介面上增加可用頻寬，請驗證端到端QoS並為網路應用適當的隊列操作。

- 如果微突發是導致間歇性擁塞的潛在原因，請參閱本文檔的監控微突發部分，瞭解有關配置微突發監控的資訊。

其他資訊

本文此節包含有關遇到BUFFER_THRESHOLD_EXCEEDED系統日誌、網路擁塞/超訂用情形以及輸出丟棄介面計數器遞增時採取的後續步驟的其他資訊。

BUFFER_THRESHOLD_EXCEEDED系統日誌配置選項

您可以修改系統緩衝區狀態輪詢間隔，該間隔控制系統輪詢當前ASIC片緩衝區利用率的頻率。這通過hardware profile buffer info poll-interval global configuration命令來完成。預設配置值為5,000毫秒。此配置可以全域性修改或按模組修改。此處顯示此組態指令的範例，其中將其修改為值1,000毫秒。

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info poll-interval timer 1000

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info poll-interval timer 1000

switch#

您可以修改埠出口緩衝區使用閾值，該閾值控制系統何時生成BUFFER_THRESHOLD_EXCEEDED系統日誌，以指示ASIC片緩衝區利用率已超出配置的閾值。這是使用hardware profile buffer info port-threshold全域性配置命令完成的。預設配置值為90%。此配置可以全域性修改或按模組修改。此處範例顯示了此組態命令，其中將其修改為值80%。

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info port-threshold threshold 80

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info port-threshold threshold 80

switch#

可以修改交換機生成的BUFFER_THRESHOLD_EXCEEDED系統日誌之間的最小間隔。您也可以完全禁用BUFFER_THRESHOLD_EXCEEDED系統日誌。這是使用hardware profile buffer info syslog-interval timer全域性配置命令完成的。預設配置值為120秒。通過將值設定為0秒，可以完全禁用系統日誌。此處範例顯示此組態命令，其中系統日誌已完全停用。

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info syslog-interval timer 0

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info syslog-interval timer 0

switch#

針對網路擁塞情況收集的日誌

除了本文檔中列出的命令以外，您還可以收集此處顯示的受網路擁塞情況影響的交換機的日誌，以識別擁塞的出口介面。

1. show tech-support details命令的輸出。

2. show tech-support usd-all 命令的輸出。

3. show tech-support ipqos all命令的輸出。

4. 使用插入了Cisco Cloud Scale線卡的Nexus 9500系列交換機時，show system internal interface counters peak module {x}命令的輸出為，其中{x}是承載擁塞出口介面的模組的插槽編號。

監控微突發

如果在非常短的時間間隔（微突發）內發生擁塞或超額預訂，則需要其他資訊來準確描述超額預訂對交換機的影響。

配備Cisco Cloud Scale ASIC的Cisco Nexus 9000系列交換機可以監控微突發流量，這些微突發可導致您的環境中出現臨時網路擁塞和流量丟失。有關微爆發以及如何配置此功能的詳細資訊，請參閱此處顯示的文檔：

- Cisco Nexus 9000系列NX-OS服務品質配置指南10.1(x)版的「微突發監控」一章

- Cisco Nexus 9000系列NX-OS服務品質配置指南9.3(x)版的「微突發監控」一章

- Cisco Nexus 9000系列NX-OS服務品質配置指南9.2(x)版的「微突發監控」一章

- Cisco Nexus 9000系列NX-OS服務品質配置指南7.x版的「微突發監控」一章