Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Begrijp Cisco Nexus 9000 Cloud-ASIC-bufferarchitectuur

Inzicht in overabonnement en outputkortingen

De Buffer_Threshold_Exceded Syslog begrijpen

De uitvoer van de Discards-interfaceteller begrijpen

Voorbeeld van overtekening

Volgende stappen

Aanvullende informatie

Configuratie-opties voor BUFFER_THRESHOLD_OVERSCHRIJDING SYSLOG

Log in om te verzamelen voor netwerkcongestiescenario's

Micro-bursts controleren

Inleiding

Dit document beschrijft de mechanismen achter wachtrijen en buffering op Cisco Nexus 9000 Series switches die zijn uitgerust met een Cisco Cloud Scale ASIC (Application-Specific Integrated Circuit) waarop NX-OS-software wordt uitgevoerd. Dit document beschrijft ook symptomen van overtekening van poorten op dit platform, zoals niet-nul output verwerpingsinterfacetellers en syslogs die erop wijzen dat bufferdrempels zijn overschreden.

Voorwaarden

Vereisten

Cisco raadt u aan de basisbeginselen te begrijpen van Ethernet-switching op gedeelde netwerken en de noodzaak van wachtrijen/buffering in deze netwerken. Cisco raadt u ook aan de basis te begrijpen van Quality of Service (QoS) en buffering op Cisco Nexus-switches. Raadpleeg voor meer informatie de documentatie hier:

- Cisco Nexus 9000 Series configuratiehandleiding voor NX-OS Quality-of-Service, release 10.1(x)

- Cisco Nexus 9000 Series configuratiehandleiding voor NX-OS Quality-of-Service, release 9.3(x)

- Cisco Nexus 9000 Series configuratiehandleiding voor NX-OS Quality-of-Service, release 9.2(x)

- Cisco Nexus 9000 Series configuratiehandleiding voor NX-OS Quality-of-Service, release 7.x

Gebruikte componenten

De informatie in dit document is gebaseerd op Cisco Nexus 9000 Series switches met Cloud Scale ASIC waarop NX-OS softwarerelease 9.3(8) wordt uitgevoerd.

De procedure die in dit document wordt behandeld, is alleen van toepassing op de hier getoonde hardware.

- Nexus 9200/9300 vaste Switches

- N9K-C92160YC-X switch

- N9K-C92300YC N

- N9K-C92304QC

- N9K-C92348GC-X

- N9K-C9236C switch

- N9K-C927Q switch

- N9K-C932C switch

- N9K-C9364C switch

- N9K-C93108TC-EX

- N9K-C93108TC-EX-24 router

- N9K-C93180LC-EX

- N9K-C93180YC-EX

- N9K-C93180YC-EX-24 router

- N9K-C93108TC-FX

- N9K-C93108TC-FX-24 switch

- N9K-C93180YC-FX switch

- N9K-C93180YC-FX-24 switch

- N9K-C9348GC-FXP switch

- N9K-C93240YC-FX2

- N9K-C93216TC-FX2

- N9K-C936C-FX2 switch

- N9K-C936C-FX2-E switch

- N9K-C93360YC-FX2

- N9K-C93180YC-FX3

- N9K-C93108TC-FX3P

- N9K-C93180YC-FX3S

- N9K-C9316D-GX switch

- N9K-C93600CD-GX

- N9K-C9364C-GX switch

- N9K-C9364D-GX2A switch

- N9K-C932D-GX2B switch

- Nexus 9500 modulaire Switch-lijnkaarten

- N9K-X97160YC-EX

- N9K-X9732C-EX

- N9K-X9736C-EX

- N9K-X97284YC-FX switch

- N9K-X9732C-FX switch

- N9K-X978TC-FX switch

- N9K-X9716D-GX switch

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Begrijp Cisco Nexus 9000 Cloud-ASIC-bufferarchitectuur

Cisco Nexus 9000 Series-switches met Cisco Cloud Scale SIC implementeren een uitgangsbufferarchitectuur met gedeeld geheugen. Een ASIC is verdeeld in een of meer "plakken". Elke plak heeft zijn eigen buffer, en alleen poorten binnen die plak kunnen die buffer gebruiken. Fysiek wordt elk segment verdeeld in "cellen", die delen van de buffer vertegenwoordigen. De plakken worden verdeeld in "pool-groepen". Een bepaald aantal cellen wordt toegewezen aan elke pool-groep, en zij worden niet gedeeld onder afzonderlijke pool-groepen. Elke groep heeft een of meer "pools" die een serviceklasse (CoS) vertegenwoordigen voor unicast- of multicast-verkeer. Dit helpt elke pool-groep de buffermiddelen van de garantiebuffer voor de types van verkeer de pool-groep dient.

De afbeelding hier laat visueel zien hoe verschillende modellen van Cisco Cloud Scale ASIC in segmenten zijn verdeeld. Het beeld toont ook aan hoe elke plak een bepaalde hoeveelheid buffer door cellen wordt toegewezen.

Elk model van Nexus 9000 Series switch en Nexus 9500 lijnkaart heeft een ander aantal Cisco Cloud Scale ASIC’s binnen, evenals een andere lay-out die bepaalt welke poorten op het voorpaneel verbinden met welke ASIC. In de afbeeldingen hier worden twee voorbeelden getoond van het gebruik van de N9K-X9736C-FX lijnkaart en de N9K-C9336C-FX2 switch.

De N9K-C9736C-FX lijnkaart heeft 4 Cisco Cloud Scale LS1800FX ASIC's met één segment per ASIC. Intern wordt elke ASIC een "unit" genoemd. Elke plak wordt bedoeld als een "instantie" en wordt toegewezen een op nul gebaseerd geheel dat uniek die plak binnen het chassis identificeert. Dit resulteert in de hier getoonde permutaties:

- Eenheid 0, segment 0, wordt instantie 0 genoemd

- Eenheid 1, segment 0, wordt instantie 1 genoemd

- Eenheid 2, segment 0, wordt instantie 2 genoemd

- Eenheid 3, segment 0, wordt instantie 3 genoemd

De N9K-C933C-FX2 switch heeft één Cisco Cloud Scale LS3600FX2 ASIC met twee plakken per ASIC. Intern wordt elke ASIC een "unit" genoemd. Elke plak wordt bedoeld als een "instantie" en wordt toegewezen een op nul gebaseerd geheel dat uniek die plak binnen het chassis identificeert. Dit resulteert in de hier getoonde permutaties:

- Eenheid 0, segment 0, wordt instantie 0 genoemd

- Eenheid 0, segment 1, wordt instantie 1 genoemd

Elke lijnkaart en switch heeft een andere lay-out resulterend in verschillende instantienummers. Begrijpen van de lay-out van de lijnkaart of switch waarmee u werkt is belangrijk voor u om uw netwerk te ontwerpen rond bandbreedte-intensieve verkeersstromen. De opdracht hardware-mappings van de interface van de show kan worden gebruikt om elke poort op het voorpaneel te correleren aan een eenheid (ASIC) en een plaknummer. Een voorbeeld hiervan wordt hier getoond, waar de interface Ethernet2/16 van een Nexus 9504 switch met een N9K-X9736C-FX lijnkaart die in sleuf 2 van de chassiskaarten aan Eenheid 1, Slice 0 wordt opgenomen.

switch# show interface hardware-mappings

Legends:

SMod  - Source Mod. 0 is N/A

Unit  - Unit on which port resides. N/A for port channels

HPort - Hardware Port Number or Hardware Trunk Id:

HName - Hardware port name. None means N/A

FPort - Fabric facing port number. 255 means N/A

NPort - Front panel port number

VPort - Virtual Port Number. -1 means N/A

Slice - Slice Number. N/A for BCM systems

SPort - Port Number wrt Slice. N/A for BCM systems

SrcId - Source Id Number. N/A for BCM systems

MacIdx - Mac index. N/A for BCM systems

MacSubPort - Mac sub port. N/A for BCM systems

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth2/1     1a080000 5    0    16    255   0     -1    0     16    32    4     0     145  0     32

Eth2/2     1a080200 5    0    12    255   4     -1    0     12    24    3     0     149  0     24

Eth2/3     1a080400 5    0    8     255   8     -1    0     8     16    2     0     153  0     16

Eth2/4     1a080600 5    0    4     255   12    -1    0     4     8     1     0     157  0     8

Eth2/5     1a080800 5    0    0     255   16    -1    0     0     0     0     0     161  0     0

Eth2/6     1a080a00 5    0    56    255   20    -1    0     56    112   14    0     165  1     40

Eth2/7     1a080c00 5    0    52    255   24    -1    0     52    104   13    0     169  1     32

Eth2/8     1a080e00 6    1    16    255   28    -1    0     16    32    4     0     173  0     32

Eth2/9     1a081000 6    1    12    255   32    -1    0     12    24    3     0     177  0     24

Eth2/10    1a081200 6    1    8     255   36    -1    0     8     16    2     0     181  0     16

Eth2/11    1a081400 6    1    4     255   40    -1    0     4     8     1     0     185  0     8

Eth2/12    1a081600 6    1    0     255   44    -1    0     0     0     0     0     189  0     0

Eth2/13    1a081800 6    1    56    255   48    -1    0     56    112   14    0     193  1     40

Eth2/14    1a081a00 6    1    52    255   52    -1    0     52    104   13    0     197  1     32

Eth2/15    1a081c00 7    2    16    255   56    -1    0     16    32    4     0     201  0     32

Eth2/16    1a081e00 7    2    12    255   60    -1    0     12    24    3     0     205  0     24

Eth2/17    1a082000 7    2    8     255   64    -1    0     8     16    2     0     209  0     16

Eth2/18    1a082200 7    2    4     255   68    -1    0     4     8     1     0     213  0     8

Eth2/19    1a082400 7    2    0     255   72    -1    0     0     0     0     0     217  0     0

Eth2/20    1a082600 7    2    56    255   76    -1    0     56    112   14    0     221  1     40

Eth2/21    1a082800 7    2    52    255   80    -1    0     52    104   13    0     225  1     32

Eth2/22    1a082a00 8    3    16    255   84    -1    0     16    32    4     0     229  0     32

Eth2/23    1a082c00 8    3    12    255   88    -1    0     12    24    3     0     233  0     24

Eth2/24    1a082e00 8    3    8     255   92    -1    0     8     16    2     0     237  0     16

Eth2/25    1a083000 8    3    4     255   96    -1    0     4     8     1     0     241  0     8

Eth2/26    1a083200 8    3    0     255   100   -1    0     0     0     0     0     245  0     0

Eth2/27    1a083400 8    3    56    255   104   -1    0     56    112   14    0     249  1     40

Eth2/28    1a083600 8    3    52    255   108   -1    0     52    104   13    0     253  1     32

Eth2/29    1a083800 5    0    48    255   112   -1    0     48    96    12    0     257  1     24

Eth2/30    1a083a00 5    0    44    255   116   -1    0     44    88    11    0     261  1     16

Eth2/31    1a083c00 6    1    48    255   120   -1    0     48    96    12    0     265  1     24

Eth2/32    1a083e00 6    1    44    255   124   -1    0     44    88    11    0     269  1     16

Eth2/33    1a084000 7    2    48    255   128   -1    0     48    96    12    0     273  1     24

Eth2/34    1a084200 7    2    44    255   132   -1    0     44    88    11    0     277  1     16

Eth2/35    1a084400 8    3    48    255   136   -1    0     48    96    12    0     281  1     24

Eth2/36    1a084600 8    3    44    255   140   -1    0     44    88    11    0     285  1     16

Inzicht in overabonnement en outputkortingen

Interfaces die aan een Ethernet-netwerk zijn gekoppeld, kunnen slechts één pakket tegelijk verzenden. Wanneer twee pakketten tegelijkertijd een Ethernet-interface moeten verlaten, begint de Ethernet-interface één pakket te verzenden terwijl de andere pakketten als buffer worden gebruikt. Zodra het eerste pakket wordt gebeëindigd overbrengend, begint de interface Ethernet overbrengend het tweede pakket van de buffer. Wanneer de totale som van het verkeer dat een interface moet verlaten de bandbreedte van de interface overschrijdt, wordt de interface beschouwd als overgeabonneerd. Als bijvoorbeeld in totaal 15 Gbps verkeer direct in de switch wordt ingevoerd en een 10 Gbps interface moet verlaten, is de 10 Gbps interface overgeabonneerd omdat het niet in staat is 15 Gbps verkeer tegelijkertijd te verzenden.

Een Cisco Nexus 9000 Series switch met een Cloud Scale ASIC behandelt deze resourceconferentie door verkeer te bufferen binnen de buffers van het ASIC-segment dat aan de uitgangsinterface is gekoppeld. Als de totale som van het verkeer dat een interface moet verlaten de bandbreedte van de interface voor een langere periode overschrijdt, beginnen de buffers van de ASIC-plak te vullen met pakketten die de interface moeten verlaten.

Wanneer de buffers van de ASIC-plak 90% benutting bereiken, genereert de switch een syslog die vergelijkbaar is met de hier getoonde syslog:

%TAHUSD-SLOT2-4-BUFFER_THRESHOLD_EXCEEDED: Module 2 Instance 0 Pool-group buffer 90 percent threshold is exceeded!

Wanneer de buffers van de ASIC-plak volledig vol worden, laat de switch elk extra verkeer vallen dat de interface moet verlaten totdat ruimte in de buffers vrij wordt. Wanneer de switch dit verkeer laat vallen, verhoogt de switch de Output Discards teller op de uitgangsinterface.

De gegenereerde syslog en non-zero Output Discards teller zijn beide symptomen van een oversubscribed interface. Elk symptoom wordt hier in detail besproken.

De Buffer_Threshold_Exceded Syslog begrijpen

Hier wordt een voorbeeld van de BUFFER_THRESHOLD_OVERSCHREED syslog weergegeven.

%TAHUSD-SLOTX-4-BUFFER_THRESHOLD_EXCEEDED: Module X Instance Y Pool-group buffer Z percent threshold is exceeded!

Deze syslog bevat drie belangrijke informatie:

1. Module X - De sleuf van de lijnkaart die de oversubscribed interface bevat.

2. Instance Y - Het instantienummer dat is toegewezen aan de ASIC en de segmentstructuur die de oversubscribed interface bevatten.

3. Pool-groepsbuffer Z - de bufferdrempel van de getroffen pool-groep voordat de syslog wordt gegenereerd. Dit is een percentage dat wordt afgeleid door de gebruikte cellen gedeeld door de totale cellen zoals waargenomen in de output van show hardware interne buffer info pkt-stats wanneer gehecht aan module X.

De uitvoer van de Discards-interfaceteller begrijpen

De output verwerpt interfaceteller wijst op het aantal pakketten die werden gelaten vallen die de interface zouden moeten hebben verbroken, maar niet konden wegens de buffer van de plak van ASIC volledig zijn en niet in staat om nieuwe pakketten te accepteren. De output verwerpt teller is zichtbaar in de output van toont interface en toont interfacetellerfouten zoals hier getoond.

switch# show interface Ethernet1/1

Ethernet1/1 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)

MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec

reliability 255/255, txload 232/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 40 Gb/s, media type is 40G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 03:16:50

Last clearing of "show interface" counters never

3 interface resets

Load-Interval #1: 30 seconds

30 seconds input rate 0 bits/sec, 0 packets/sec

30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec

input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps

Load-Interval #2: 5 minute (300 seconds)

300 seconds input rate 32 bits/sec, 0 packets/sec

300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec

input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps

RX

0 unicast packets  208 multicast packets  9 broadcast packets

217 input packets  50912 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

TX

38298127762 unicast packets  6118 multicast packets  0 broadcast packets

38298133880 output packets  57600384931480 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  57443534227 output discard       <<< Output discards due to oversubcription

0 Tx pause

switch# show interface Ethernet1/1 counters errors

--------------------------------------------------------------------------------

Port          Align-Err    FCS-Err   Xmit-Err    Rcv-Err  UnderSize OutDiscards

--------------------------------------------------------------------------------

Eth1/1                0          0          0          0          0 57443534227

--------------------------------------------------------------------------------

Port         Single-Col  Multi-Col   Late-Col  Exces-Col  Carri-Sen       Runts

--------------------------------------------------------------------------------

Eth1/1                0          0          0          0          0           0

--------------------------------------------------------------------------------

Port          Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err

--------------------------------------------------------------------------------

Eth1/1             0          --           0           0           0          0

--------------------------------------------------------------------------------

Port         InDiscards

--------------------------------------------------------------------------------

Eth1/1                0

Voorbeeld van overtekening

Neem een scenario, waarbij verkeer tussen twee IXIA-verkeersgeneratoren een Nexus 9504 switch doorkruist met twee N9K-X9736C-FX lijnkaarten ingebracht in sleuven 1 en 2 van het chassis. 100 Gbps verkeer wordt via 100 Gbps interface Ethernet1/1 in de switch ingevoerd en moet 40 Gbps interface Ethernet2/2 verlaten. Daarom is Ethernet2/2 overgeabonneerd. Een topologie van dit scenario wordt hier getoond.

Aangezien de Nexus 9000 Cloud Scale ASIC gebruik maakt van een uitgaande bufferarchitectuur met gedeeld geheugen, moet u de buffer van de uitgaande interface Ethernet2/2 controleren om de stremming te zien. In dit voorbeeld, is de lijnkaart die in groef 2 wordt opgenomen de uitgangslijn kaart, zodat moet u module 2 gebruiken bevel alvorens de interne hardwarebuffer met de bevel van de showhardware interne tah buffertellers te bekijken. Let op de niet-nul "Bezettingsdruppels" teller voor de eenheid 0, segment 0 zwembadgroep en bijbehorende zwembaden, die het aantal gevallen van pakketten aangeven omdat de buffer van de pool volledig bezet is.

switch# attach module 2

module-2# show hardware internal tah buffer counters

Unit: 0 Slice: 0

====================

|------------------------------------------------------------------------------------------------------------------|

|                                               Output Pool-Group drops                                            |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG          |

|------------------------------------------------------------------------------------------------------------------|

Occupancy drops                  51152554987        0            0            0            0            0       |

AQM drops                              0            0          N/A          N/A         N/A          N/A        |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output UC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Occupancy drops                 51152555398     0          0          0          0          0          0          0  |

AQM drops                            0          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output MC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (desc)         93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (inq thr)      64035      64035      64035      64035      64035      64035      64035      64035  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|                                     Additional counters                                      |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

MEM cell drop reason                  :      0

MEM descriptor drop reason            :      0

OPG cell drop reason                  :      0

OPG descriptor drop reason            :      0

OPG CPU cell drop reason              :      0

OPG CPU descriptor drop reason        :      0

OPG SPAN cell drop reason             :      0

OPG SPAN descriptor drop reason       :      0

OPOOL cell drop reason                :      0

OPOOL descriptor drop reason          :      0

UC OQUEUE cell drop reason            : 51152556479

MC OQUEUE cell drop reason            : 27573307

OQUEUE descriptor drop reason         :      0

MC OPOOL cell drop reason             :      0

FWD DROP                              :     15

SOD                                   :      0

BMM BP                                :      0

No Drop                               :      0

Packets received                      : 87480806439

TRUNC MTU                             :      0

TRUNK BMM BP                          :      0

VOQFC messages sent                   :      0

SOD messages sent                     :      0

SPAN desciptor drop                   :      0

Unit: 1 Slice: 0

====================

|------------------------------------------------------------------------------------------------------------------|

|                                               Output Pool-Group drops                                            |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG          |

|------------------------------------------------------------------------------------------------------------------|

Occupancy drops                        0            0            0            0            0            0       |

AQM drops                              0            0          N/A          N/A         N/A          N/A        |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output UC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

AQM drops                            0          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                                        Output MC Pool counters                                     |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Dynamic Threshold (cells)        93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (desc)         93554      93554      93554      93554      93554      93554      93554      93554  |

Dynamic Threshold (inq thr)      64035      64035      64035      64035      64035      64035      64035      64035  |

Occupancy drops                      0          0          0          0          0          0          0          0  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|                                     Additional counters                                      |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

MEM cell drop reason                  :      0

MEM descriptor drop reason            :      0

OPG cell drop reason                  :      0

OPG descriptor drop reason            :      0

OPG CPU cell drop reason              :      0

OPG CPU descriptor drop reason        :      0

OPG SPAN cell drop reason             :      0

OPG SPAN descriptor drop reason       :      0

OPOOL cell drop reason                :      0

OPOOL descriptor drop reason          :      0

UC OQUEUE cell drop reason            :      0

MC OQUEUE cell drop reason            :      0

OQUEUE descriptor drop reason         :      0

MC OPOOL cell drop reason             :      0

FWD DROP                              :      8

SOD                                   :      0

BMM BP                                :      0

No Drop                               :      0

Packets received                      : 45981341

TRUNC MTU                             :      0

TRUNK BMM BP                          :      0

VOQFC messages sent                   :      0

SOD messages sent                     :      0

SPAN desciptor drop                   :      0

Vergeet niet dat elke ASIC-eenheid/plaktupel wordt weergegeven door een unieke geïdentificeerde naam die een "instantie" wordt genoemd. De output van de show hardware interne buffer info pkt-stats opdracht geeft gedetailleerde informatie weer over de verstopte pool-groep (afgekort als "PG") voor elke instantie. De opdracht toont ook het historische piek/maximum aantal cellen in de buffer die zijn gebruikt. Tot slot toont de opdracht een momentane momentopname van de Cloud Scale ASIC-poortidentificatoren van poorten waarbij verkeer wordt gebufferd. Een voorbeeld van deze opdracht wordt hier getoond.

switch# attach module 2

module-2# show hardware internal buffer info pkt-stats

Instance 0

============

|------------------------------------------------------------------------------------------------------------|

|                                   Output Pool-Group Buffer Utilization (cells/desc)                        |

|                                Drop-PG      No-drop      CPU--PG      LCPU-PG      RCPU-PG      SPAN-PG    |

|------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)        59992            0            0            0            0            0       |

Remaining Instant Usage (cells)    33562            0         1500          250         1500         1500       |

Peak/Max Cells Used                90415            0          N/A          N/A          N/A          N/A       |

Switch Cells Count                 93554            0         1500          250         1500         1500       |

Total Instant Usage (desc)             0            0            0            0            0            0       |

Remaining Instant Usage (desc)     93554            0         1500          250         1500         1500       |

Switch Desc Count                  93554            0         1500          250         1500         1500       |

|--------------------------------------------------------------------------------------------------------------------|

|                                    Output UC Pool Buffer Utilization (cells/desc)                                  |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)      60027          0          0          0          0          0          0          0  |

Total Instant Usage (desc)           0          0          0          0          0          0          0          0  |

Peak/Max Cells Used              62047          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------------------------------------------------|

|                                    Output MC Pool Buffer Utilization (cells/desc)                                  |

|                               Pool 0     Pool 1     Pool 2     Pool 3     Pool 4     Pool 5     Pool 6     Pool 7  |

|--------------------------------------------------------------------------------------------------------------------|

Total Instant Usage (cells)          0          0          0          0          0          0          0          0  |

Total Instant Usage (desc)           0          0          0          0          0          0          0          0  |

Total Instant Usage (inq cells)      0          0          0          0          0          0          0          0  |

Total Instant Usage (packets)        0          0          0          0          0          0          0          0  |

Peak/Max Cells Used              60399          0          0          0          0          0          0          0  |

|--------------------------------------------------------------------------|

|              Instant Buffer utilization per queue per port               |

|      Each line displays the number of cells/desc utilized for a given    |

|                     port for each QoS queue                              |

|             One cell represents approximately 416 bytes                  |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

|ASIC Port         Q7        Q6        Q5        Q4        Q3        Q2        Q1        Q0    |

|--------------+---------+---------+---------+---------+---------+--------+---------+---------+|

[12]                                                                                               <<< ASIC Port 12 in Unit 0 Instance 0 is likely the congested egress interface

UC->       0         0         0         0         0         0         0     59988   |

MC cells->       0         0         0         0         0         0         0         0   |

MC desc->        0         0         0         0         0         0         0         0   |

Zie ook de piekvariatie van de opdracht. Gebruik deze opdracht om de syslog te koppelen aan een potentiele piek in een bepaalde groep, pool of poort

switch# show hardware internal buffer info pkt-stats peak

slot  1

=======

Instance 0

============

|--------------+---------+---------+---------+---------+---------+|

|                     Pool-Group Peak counters                    |

|--------------+---------+---------+---------+---------+---------+|

Drop PG       :           0

No-drop PG    :           0

|--------------+---------+---------+---------+---------+---------+|

|                           Pool Peak counters                    |

|--------------+---------+---------+---------+---------+---------+|

MC Pool 0     :           0

MC Pool 1     :           0

MC Pool 2     :           0

MC Pool 3     :           0

MC Pool 4     :           0

MC Pool 5     :           0

MC Pool 6     :           0

MC Pool 7     :           0

UC Pool 0     :           0

UC Pool 1     :           0

UC Pool 2     :           0

UC Pool 3     :           0

UC Pool 4     :           0

UC Pool 5     :           0

UC Pool 6     :           0

UC Pool 7     :           0

|--------------+---------+---------+---------+---------+---------+|

|                           Port Peak counters                    |

|             classes mapped to count_0: 0 1 2 3 4 5 6 7

|             classes mapped to count_1: None

|--------------+---------+---------+---------+---------+---------+|

[0]                                             <<< ASIC Port. This can be checked via "show hardware interface-mappings"

count_0       :           0

count_1       :           0

[1]

count_0       :           0

count_1       :           0

De opdracht hardware-mappings van de interface van de show kan worden gebruikt om de Cloud Scale ASIC-poortidentificatie naar een poort op het voorpaneel te vertalen. In het eerder genoemde voorbeeld heeft ASIC-poort 12 (vertegenwoordigd door de HPort-kolom in de uitvoer van hardware-toewijzingen van de showinterface), gekoppeld aan ASIC-eenheid 0 op Slice/Instance 0, 59.988 bezette cellen van elk 416 bytes. Een voorbeeld van de opdracht hardware-mappings van de showinterface wordt hier getoond, die deze interface aan voorpaneelpoort Ethernet2/2 in kaart brengt.

switch# show interface hardware-mappings

Legends:

SMod  - Source Mod. 0 is N/A

Unit  - Unit on which port resides. N/A for port channels

HPort - Hardware Port Number or Hardware Trunk Id:

HName - Hardware port name. None means N/A

FPort - Fabric facing port number. 255 means N/A

NPort - Front panel port number

VPort - Virtual Port Number. -1 means N/A

Slice - Slice Number. N/A for BCM systems

SPort - Port Number wrt Slice. N/A for BCM systems

SrcId - Source Id Number. N/A for BCM systems

MacIdx - Mac index. N/A for BCM systems

MacSubPort - Mac sub port. N/A for BCM systems

-------------------------------------------------------------------------------------------------------

Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF  Block BlkSrcID

-------------------------------------------------------------------------------------------------------

Eth2/2     1a080200 5    0    12    255   4     -1    0     12    24    3     0     149  0     24

We kunnen het overabonnement van interface Ethernet2/2 verder correleren met QoS-wachtrijen met de opdracht van de showwachtrij. Een voorbeeld hiervan is hier te zien.

switch# show queuing interface Ethernet2/2

Egress Queuing for Ethernet2/2 [System]

------------------------------------------------------------------------------

QoS-Group# Bandwidth% PrioLevel                Shape                   QLimit

Min          Max        Units

------------------------------------------------------------------------------

7             -         1           -            -     -            9(D)

6             0         -           -            -     -            9(D)

5             0         -           -            -     -            9(D)

4             0         -           -            -     -            9(D)

3             0         -           -            -     -            9(D)

2             0         -           -            -     -            9(D)

1             0         -           -            -     -            9(D)

0           100         -           -            -     -            9(D)

+-------------------------------------------------------------+

|                              QOS GROUP 0                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |     35593332351|        18407162|

|                   Tx Byts |  53532371857088|     27684371648|

| WRED/AFD & Tail Drop Pkts |     53390604466|        27573307|

| WRED/AFD & Tail Drop Byts |  80299469116864|       110293228|

|              Q Depth Byts |        24961664|               0|

|       WD & Tail Drop Pkts |     53390604466|        27573307|

+-------------------------------------------------------------+

|                              QOS GROUP 1                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 2                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 3                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 4                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 5                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 6                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                              QOS GROUP 7                    |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

| WRED/AFD & Tail Drop Pkts |               0|               0|

| WRED/AFD & Tail Drop Byts |               0|               0|

|              Q Depth Byts |               0|               0|

|       WD & Tail Drop Pkts |               0|               0|

+-------------------------------------------------------------+

|                      CONTROL QOS GROUP                      |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |            5704|               0|

|                   Tx Byts |          725030|               0|

|            Tail Drop Pkts |               0|               0|

|            Tail Drop Byts |               0|               0|

+-------------------------------------------------------------+

|                         SPAN QOS GROUP                      |

+-------------------------------------------------------------+

|                           |  Unicast       |Multicast       |

+-------------------------------------------------------------+

|                   Tx Pkts |               0|               0|

|                   Tx Byts |               0|               0|

+-------------------------------------------------------------+

Per Slice Egress SPAN Statistics

---------------------------------------------------------------

SPAN Copies Tail Drop Pkts                           0

SPAN Input Queue Drop Pkts                           0

SPAN Copies/Transit Tail Drop Pkts                           0

SPAN Input Desc Drop  Pkts                           0

Tot slot kunt u verifiëren dat de uitgaande interface Ethernet2/2 een niet-nul output verwerpingsteller met het bevel van de showinterface heeft. Een voorbeeld hiervan is hier te zien.

switch# show interface Ethernet2/2

Ethernet2/2 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)

MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec

reliability 255/255, txload 232/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is trunk

full-duplex, 40 Gb/s, media type is 40G

Beacon is turned off

Auto-Negotiation is turned on  FEC mode is Auto

Input flow-control is off, output flow-control is off

Auto-mdix is turned off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

EEE (efficient-ethernet) : n/a

admin fec state is auto, oper fec state is off

Last link flapped 03:16:50

Last clearing of "show interface" counters never

3 interface resets

Load-Interval #1: 30 seconds

30 seconds input rate 0 bits/sec, 0 packets/sec

30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec

input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps

Load-Interval #2: 5 minute (300 seconds)

300 seconds input rate 32 bits/sec, 0 packets/sec

300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec

input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps

RX

0 unicast packets  208 multicast packets  9 broadcast packets

217 input packets  50912 bytes

0 jumbo packets  0 storm suppression bytes

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  0 input discard

0 Rx pause

TX

38298127762 unicast packets  6118 multicast packets  0 broadcast packets

38298133880 output packets  57600384931480 bytes

0 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  57443534227 output discard       <<< Output discards due to oversubcription

0 Tx pause

Volgende stappen

Als u output discards op een Nexus 9000 Series switch met een Cloud Scale ASIC waarneemt, kunt u het probleem oplossen met behulp van een of meer van de methoden hier:

- Als de interface die output ervaart verwerpt één enkele interface is en niet gebundeld in een haven-kanaal is, dan kan het bevorderen van de bandbreedte van de interface congestie helpen verlichten. Als een geconvergeerde uitgangsinterface bijvoorbeeld een 10 Gbps interface is, kan een upgrade naar een 25 Gbps, 40 Gbps interface of 100 Gbps interface helpen bij het oplossen van het probleem.

- Afhankelijk van de transceivervormfactor van de uitgangsinterface kan dit worden gedaan door de transceiver te upgraden (zoals het migreren van een 10 Gbps SFP+ ingebracht in een CVR-QSFP-SFP10G binnen een QSFP-poort naar een native 40 Gbps QSFP-transceiver).

- Dit kan ook worden gedaan door de configuratie van de geconvergeerde uitgangsinterface van een 10 Gbps poort te migreren naar een 25 Gbps-, 40 Gbps- of 100 Gbps-poort.

- Als de interface die output ervaart verwerpt één enkele interface is en niet gebundeld in een haven-kanaal is, dan kan het vormen van de verstopte interface om een lid van een haven-kanaal naast een andere interface van de zelfde bandbreedte te zijn congestie verlichten.

- Als de interface die output ervaart verwerpt een poort-kanaal interface is, dan kan het toevoegen van extra leden aan het poort-kanaal de bandbreedte van het algemene poort-kanaal verhogen en load-gebalanceerde hashing verbeteren voor meerdere grote verkeersstromen.

- Controleer of de verkeersstromen tussen hosts in uw netwerk betrekking hebben op interfaces die op snelheid aflopen (bijvoorbeeld verkeer dat een switch via een 40 Gbps interface binnendringt en een switch via een 10 Gbps interface naar binnen haalt). Dit kan een knelpunt zijn dat netwerkcongestie veroorzaakt. Het elimineren van deze bottleneck door de interface met lagere snelheden (bijvoorbeeld 10 Gbps) te upgraden naar een interface met hogere snelheden (bijvoorbeeld 25 Gbps, 40 Gbps, enzovoort) kan netwerkcongestie verminderen.

- Als het vergroten van de beschikbare bandbreedte op de overbelaste uitgangsinterface geen optie is, valideert u End-to-End QoS en past u de juiste wachtrijen toe voor uw netwerk.

- Als microbursts een potentiële oorzaak van intermitterende congestie zijn, raadpleegt u het gedeelte Monitoring Micro-Bursts van dit document voor informatie over het configureren van microburst-bewaking.

Aanvullende informatie

Deze sectie van het document bevat extra informatie over de volgende stappen die u moet nemen bij het tegenkomen van de BUFFER_THRESHOLD_EXCVED-syslog, netwerkcongestie/overabonnementsscenario's en het verhogen van de output-discard-interfacetellers.

Configuratie-opties voor BUFFER_THRESHOLD_OVERSCHRIJDING SYSLOG

U kunt de status van de systeembuffer wijzigen, die bepaalt hoe vaak het systeem het huidige gebruik van ASIC-plakbuffers opiniepeilt. Dit gebeurt met de opdracht voor de globale configuratie van de hardware-profielbuffer info poll-interval. De standaardconfiguratiewaarde is 5.000 milliseconden. Deze configuratie kan globaal of per module worden gewijzigd. Een voorbeeld van deze configuratieopdracht wordt hier getoond, waar deze wordt gewijzigd in een waarde van 1.000 milliseconden.

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info poll-interval timer 1000

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info poll-interval timer 1000

switch#

U kunt de drempelwaarde voor het gebruik van de poortuitgangsbuffer aanpassen, die bepaalt wanneer het systeem de buffer_THRESHOLD_OVERHEVELDE syslog genereert die aangeeft dat het gebruik van de ASIC-plakbuffer de ingestelde drempel heeft overschreden. Dit gebeurt met de opdracht voor de globale configuratie van de hardware-profielbuffer-info. De standaardconfiguratiewaarde is 90%. Deze configuratie kan globaal of per module worden gewijzigd. Een voorbeeld van dit configuratiebevel wordt hier getoond, waar het aan een waarde van 80% wordt gewijzigd.

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info port-threshold threshold 80

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info port-threshold threshold 80

switch#

U kunt het minimuminterval wijzigen tussen BUFFER_THRESHOLD_EXCeded-syslogs die door de switch worden gegenereerd. U kunt ook de BUFFER_THRESHOLD_EXCATED syslog uitschakelen. Dit gebeurt met de opdracht voor de globale configuratie van de hardwareprofielbuffer en syslog-interval timer. De standaardconfiguratiewaarde is 120 seconden. De syslog kan volledig worden uitgeschakeld door de waarde in te stellen op 0 seconden. Een voorbeeld van dit configuratiebevel wordt hier getoond, waar syslog volledig gehandicapt is.

switch# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

switch(config)# hardware profile buffer info syslog-interval timer 0

switch(config)# end

switch# show running-config | include hardware.profile.buffer

hardware profile buffer info syslog-interval timer 0

switch#

Log in om te verzamelen voor netwerkcongestiescenario's

U kunt de hier getoonde logboeken van een switch verzamelen die door een scenario van de netwerkcongestie wordt beïnvloed om een verstopte uitgangsinterface naast de bevelen te identificeren die in dit document worden vermeld.

1. De output van de opdracht show tech-support details.

2. De output van de show tech-support usd-all opdracht.

3. De output van de show technologie-ondersteuning ipqos alle opdracht.

4. Wanneer het werken met een Nexus 9500 Series switch met de lijnkaarten van Cisco Cloud Scale opgenomen, de output van de show systeem interne interfacetellers piekmodule {x} bevel, waar {x} het groefaantal van de module is die de verstopte uitgangsinterface ontvangt.

Micro-bursts controleren

Als er congestie of overtekening plaatsvindt met zeer korte tussenpozen (een microburst), is er extra informatie nodig om een accuraat beeld te krijgen van hoe overtekening de switch beïnvloedt.

Cisco Nexus 9000 Series-switches die met Cisco Cloud Scale SIC zijn uitgerust, kunnen verkeer controleren op microbursts die tijdelijke netwerkcongestie en verkeersverlies in uw omgeving kunnen veroorzaken. Voor meer informatie over micro-uitbarstingen en hoe u deze functie kunt configureren raadpleegt u de documenten die hier worden getoond:

- Hoofdstuk van "Micro-Burst Monitoring" van de Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, release 10.1(x)

- Hoofdstuk van "Micro-Burst Monitoring" van de Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, release 9.3(x)

- Hoofdstuk van "Micro-Burst Monitoring" van de Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, release 9.2(x)

- Hoofdstuk van "Micro-Burst Monitoring" van de Cisco Nexus 9000 Series NX-OS Quality of Service Configuration Guide, release 7.x