Nexus 9000 TAHUSD 버퍼 Syslog 및 혼잡 이해
목차
소개
이 문서에서는 NX-OS 소프트웨어를 실행하는 Cisco Cloud Scale ASIC(Application-Specific Integrated Circuit)가 장착된 Cisco Nexus 9000 Series 스위치에서 대기열 및 버퍼링을 수행하는 방법에 대해 설명합니다. 또한 이 문서에서는 버퍼 임계값이 초과되었음을 나타내는 0이 아닌 출력 폐기 인터페이스 카운터 및 syslog와 같은 이 플랫폼의 포트 초과 서브스크립션의 증상에 대해 설명합니다.
사전 요구 사항
요구 사항
Cisco에서는 공유 미디어 네트워크에서의 이더넷 스위칭의 기본과 이러한 네트워크에서 대기열 처리/버퍼링의 필요성을 이해하는 것이 좋습니다. 또한 Cisco는 Cisco Nexus 스위치에서 QoS(Quality of Service) 및 버퍼링의 기본 사항을 이해하는 것이 좋습니다. 자세한 내용은 다음 설명서를 참조하십시오.
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 10.1(x)
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 9.3(x)
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 9.2(x)
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 7.x
사용되는 구성 요소
이 문서의 정보는 Cloud Scale ASIC가 NX-OS 소프트웨어 릴리스 9.3(8)을 실행하는 Cisco Nexus 9000 Series 스위치를 기반으로 합니다.
이 문서에서 다루는 절차는 여기에 표시된 하드웨어에만 적용됩니다.
- Nexus 9200/9300 Fixed Switch
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
- Nexus 9500 모듈형 스위치 라인 카드
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.
Cisco Nexus 9000 Cloud Scale ASIC 버퍼링 아키텍처 이해
Cisco Cloud Scale ASIC가 포함된 Cisco Nexus 9000 Series 스위치는 "공유 메모리" 이그레스 버퍼 아키텍처를 구현합니다. ASIC는 하나 이상의 "슬라이스"로 나뉩니다. 각 슬라이스에는 자체 버퍼가 있으며 해당 슬라이스 내의 포트만 해당 버퍼를 사용할 수 있습니다. 물리적으로 각 슬라이스는 버퍼의 일부를 나타내는 "셀"로 나뉩니다. 슬라이스는 "풀 그룹"으로 분할됩니다. 특정 수의 셀이 각 풀 그룹에 할당되며 별도의 풀 그룹 간에 공유되지 않습니다. 각 풀 그룹에는 유니캐스트 또는 멀티캐스트 트래픽의 CoS(Class of Service)를 나타내는 "풀"이 하나 이상 있습니다. 이렇게 하면 각 풀 그룹이 풀 그룹이 제공하는 트래픽 유형에 대한 버퍼 리소스를 보장할 수 있습니다.
이 그림에서는 다양한 Cisco Cloud Scale ASIC 모델이 슬라이스로 분할되는 방식을 시각적으로 보여줍니다. 이 그림에서는 각 슬라이스가 셀을 통해 일정량의 버퍼를 할당받는 방법도 보여 줍니다.
Nexus 9000 Series 스위치 및 Nexus 9500 라인 카드의 각 모델은 내부에 서로 다른 수의 Cisco Cloud Scale ASIC를 포함할 뿐만 아니라, 어떤 전면 패널 포트를 어떤 ASIC에 연결할지 나타내는 레이아웃도 다릅니다. N9K-X9736C-FX 라인 카드 및 N9K-C9336C-FX2 스위치를 사용하는 두 가지 예가 여기 이미지에 나와 있습니다.
N9K-C9736C-FX 라인 카드에는 Cisco Cloud Scale LS1800FX ASIC 4개와 ASIC당 슬라이스 1개가 포함되어 있습니다. 내부적으로 각 ASIC를 "유닛"이라고 합니다. 각 슬라이스를 "인스턴스"라고 하며 섀시 내에서 해당 슬라이스를 고유하게 식별하는 0부터 시작하는 정수가 할당됩니다. 이렇게 하면 다음과 같은 순열이 나타납니다.
- 유닛 0, 슬라이스 0을 인스턴스 0이라고 합니다.
- 유닛 1, 슬라이스 0을 인스턴스 1이라고 합니다.
- 유닛 2, 슬라이스 0을 인스턴스 2라고 합니다.
- 유닛 3, 슬라이스 0을 인스턴스 3이라고 합니다.
N9K-C9336C-FX2 스위치에는 Cisco Cloud Scale LS3600FX2 ASIC 1개와 ASIC당 2개의 슬라이스가 있습니다. 내부적으로 각 ASIC를 "유닛"이라고 합니다. 각 슬라이스를 "인스턴스"라고 하며 섀시 내에서 해당 슬라이스를 고유하게 식별하는 0부터 시작하는 정수가 할당됩니다. 이렇게 하면 다음과 같은 순열이 나타납니다.
- 유닛 0, 슬라이스 0을 인스턴스 0이라고 합니다.
- 유닛 0, 슬라이스 1을 인스턴스 1이라고 합니다.
모든 라인 카드와 스위치의 레이아웃이 다르므로 인스턴스 번호가 달라집니다. 작업 중인 라인 카드 또는 스위치의 레이아웃을 이해하는 것은 대역폭 집약적인 트래픽 흐름을 중심으로 네트워크를 설계하는 데 중요합니다. show interface hardware-mappings 명령을 사용하여 각 전면 패널 포트를 유닛(ASIC) 및 슬라이스 번호에 연결할 수 있습니다. 이 예제의 예는 여기서 섀시의 슬롯 2에 삽입된 N9K-X9736C-FX 라인 카드가 있는 Nexus 9504 스위치의 인터페이스 Ethernet2/16이 유닛 1, 슬라이스 0에 매핑되는 경우입니다.
switch# show interface hardware-mappings
Legends:
SMod - Source Mod. 0 is N/A
Unit - Unit on which port resides. N/A for port channels
HPort - Hardware Port Number or Hardware Trunk Id:
HName - Hardware port name. None means N/A
FPort - Fabric facing port number. 255 means N/A
NPort - Front panel port number
VPort - Virtual Port Number. -1 means N/A
Slice - Slice Number. N/A for BCM systems
SPort - Port Number wrt Slice. N/A for BCM systems
SrcId - Source Id Number. N/A for BCM systems
MacIdx - Mac index. N/A for BCM systems
MacSubPort - Mac sub port. N/A for BCM systems
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth2/1 1a080000 5 0 16 255 0 -1 0 16 32 4 0 145 0 32
Eth2/2 1a080200 5 0 12 255 4 -1 0 12 24 3 0 149 0 24
Eth2/3 1a080400 5 0 8 255 8 -1 0 8 16 2 0 153 0 16
Eth2/4 1a080600 5 0 4 255 12 -1 0 4 8 1 0 157 0 8
Eth2/5 1a080800 5 0 0 255 16 -1 0 0 0 0 0 161 0 0
Eth2/6 1a080a00 5 0 56 255 20 -1 0 56 112 14 0 165 1 40
Eth2/7 1a080c00 5 0 52 255 24 -1 0 52 104 13 0 169 1 32
Eth2/8 1a080e00 6 1 16 255 28 -1 0 16 32 4 0 173 0 32
Eth2/9 1a081000 6 1 12 255 32 -1 0 12 24 3 0 177 0 24
Eth2/10 1a081200 6 1 8 255 36 -1 0 8 16 2 0 181 0 16
Eth2/11 1a081400 6 1 4 255 40 -1 0 4 8 1 0 185 0 8
Eth2/12 1a081600 6 1 0 255 44 -1 0 0 0 0 0 189 0 0
Eth2/13 1a081800 6 1 56 255 48 -1 0 56 112 14 0 193 1 40
Eth2/14 1a081a00 6 1 52 255 52 -1 0 52 104 13 0 197 1 32
Eth2/15 1a081c00 7 2 16 255 56 -1 0 16 32 4 0 201 0 32
Eth2/16 1a081e00 7 2 12 255 60 -1 0 12 24 3 0 205 0 24
Eth2/17 1a082000 7 2 8 255 64 -1 0 8 16 2 0 209 0 16
Eth2/18 1a082200 7 2 4 255 68 -1 0 4 8 1 0 213 0 8
Eth2/19 1a082400 7 2 0 255 72 -1 0 0 0 0 0 217 0 0
Eth2/20 1a082600 7 2 56 255 76 -1 0 56 112 14 0 221 1 40
Eth2/21 1a082800 7 2 52 255 80 -1 0 52 104 13 0 225 1 32
Eth2/22 1a082a00 8 3 16 255 84 -1 0 16 32 4 0 229 0 32
Eth2/23 1a082c00 8 3 12 255 88 -1 0 12 24 3 0 233 0 24
Eth2/24 1a082e00 8 3 8 255 92 -1 0 8 16 2 0 237 0 16
Eth2/25 1a083000 8 3 4 255 96 -1 0 4 8 1 0 241 0 8
Eth2/26 1a083200 8 3 0 255 100 -1 0 0 0 0 0 245 0 0
Eth2/27 1a083400 8 3 56 255 104 -1 0 56 112 14 0 249 1 40
Eth2/28 1a083600 8 3 52 255 108 -1 0 52 104 13 0 253 1 32
Eth2/29 1a083800 5 0 48 255 112 -1 0 48 96 12 0 257 1 24
Eth2/30 1a083a00 5 0 44 255 116 -1 0 44 88 11 0 261 1 16
Eth2/31 1a083c00 6 1 48 255 120 -1 0 48 96 12 0 265 1 24
Eth2/32 1a083e00 6 1 44 255 124 -1 0 44 88 11 0 269 1 16
Eth2/33 1a084000 7 2 48 255 128 -1 0 48 96 12 0 273 1 24
Eth2/34 1a084200 7 2 44 255 132 -1 0 44 88 11 0 277 1 16
Eth2/35 1a084400 8 3 48 255 136 -1 0 48 96 12 0 281 1 24
Eth2/36 1a084600 8 3 44 255 140 -1 0 44 88 11 0 285 1 16
초과 서브스크립션 및 출력 폐기 이해
이더넷 네트워크에 연결된 인터페이스는 한 번에 하나의 패킷만 전송할 수 있습니다. 두 패킷이 이더넷 인터페이스를 동시에 이그레스(egress)해야 할 경우 이더넷 인터페이스는 한 패킷을 전송하는 동시에 다른 패킷을 버퍼링합니다. 첫 번째 패킷의 전송이 끝나면 이더넷 인터페이스는 버퍼에서 두 번째 패킷의 전송을 시작합니다. 인터페이스를 이그레스(egress)해야 하는 트래픽의 총 합계가 인터페이스의 대역폭을 초과하면 인터페이스가 초과 서브스크립션된 것으로 간주됩니다. 예를 들어 총 15Gbps 트래픽이 순간적으로 스위치에 들어오고 10Gbps 인터페이스를 이그레스(egress)해야 하는 경우, 10Gbps 인터페이스는 한 번에 15Gbps 트래픽을 전송할 수 없으므로 초과 서브스크립션됩니다.
클라우드 확장 ASIC가 포함된 Cisco Nexus 9000 Series 스위치는 이그레스 인터페이스와 연결된 ASIC 슬라이스의 버퍼 내에서 트래픽을 버퍼링하여 이러한 리소스 경합을 처리합니다. 인터페이스를 이그레스(egress)해야 하는 트래픽의 총 합계가 연장된 기간 동안 인터페이스의 대역폭을 초과하면 ASIC 슬라이스의 버퍼는 인터페이스를 이그레스(egress)해야 하는 패킷으로 채워지기 시작합니다.
ASIC 슬라이스의 버퍼가 사용률이 90%에 도달하면 스위치는 다음과 유사한 syslog를 생성합니다.
%TAHUSD-SLOT2-4-BUFFER_THRESHOLD_EXCEEDED: Module 2 Instance 0 Pool-group buffer 90 percent threshold is exceeded!
ASIC 슬라이스의 버퍼가 완전히 가득 차면 버퍼에서 여유 공간이 생길 때까지 스위치에서 인터페이스를 이그레스(egress)해야 하는 추가 트래픽을 삭제합니다. 스위치에서 이 트래픽을 삭제할 경우, 스위치는 이그레스 인터페이스의 Output Discards 카운터를 늘립니다.
생성된 syslog 및 0이 아닌 Output Discards 카운터는 모두 오버서브스크립션 인터페이스의 증상입니다. 각 증상에 대한 자세한 내용은 여기 하위 섹션을 참조하십시오.
BUFFER_THRESHOLD_EXCEEDED Syslog 이해
다음은 BUFFER_THRESHOLD_EXCEEDED syslog의 예입니다.
%TAHUSD-SLOTX-4-BUFFER_THRESHOLD_EXCEEDED: Module X Instance Y Pool-group buffer Z percent threshold is exceeded!
이 syslog에는 세 가지 주요 정보가 있습니다.
- 모듈 X - 오버서브스크립션된 인터페이스를 포함하는 라인 카드의 슬롯.
- 인스턴스 Y - 초과 서브스크립션된 인터페이스를 포함하는 ASIC 및 슬라이스 튜플에 할당된 인스턴스 번호입니다.
- Pool-group buffer Z - syslog가 생성되기 전에 영향을 받은 풀 그룹의 버퍼 임계값입니다. 모듈 X에 연결할 때 show hardware internal buffer info pkt-stats 출력에서 관찰한 대로 사용된 셀을 총 셀로 나눈 백분율입니다.
Output Discards 인터페이스 카운터 이해
Output Discards 인터페이스 카운터는 인터페이스를 무시해야 하지만 ASIC 슬라이스의 버퍼가 꽉 차서 새 패킷을 수락할 수 없어 삭제된 패킷 수를 나타냅니다. Output Discards 카운터는 여기 표시된 대로 show interface 및 show interface counters 오류의 출력에 표시됩니다.
switch# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)
MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec
reliability 255/255, txload 232/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 40 Gb/s, media type is 40G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 03:16:50
Last clearing of "show interface" counters never
3 interface resets
Load-Interval #1: 30 seconds
30 seconds input rate 0 bits/sec, 0 packets/sec
30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec
input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps
Load-Interval #2: 5 minute (300 seconds)
300 seconds input rate 32 bits/sec, 0 packets/sec
300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec
input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps
RX
0 unicast packets 208 multicast packets 9 broadcast packets
217 input packets 50912 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
TX
38298127762 unicast packets 6118 multicast packets 0 broadcast packets
38298133880 output packets 57600384931480 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 57443534227 output discard <<< Output discards due to oversubcription
0 Tx pause
switch# show interface Ethernet1/1 counters errors
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 0 0 0 0 0 57443534227
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
Eth1/1 0 0 0 0 0 0
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
Eth1/1 0 -- 0 0 0 0
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
Eth1/1 0
초과 서브스크립션 시나리오 예
섀시의 슬롯 1과 2에 2개의 N9K-X9736C-FX 라인 카드가 삽입된 Nexus 9504 스위치를 2개의 IXIA 트래픽 생성기 간 트래픽이 통과하는 시나리오를 가정해보겠습니다. 100Gbps 트래픽의 경우 100Gbps 인터페이스 Ethernet1/1을 통해 스위치로 들어오고 40Gbps 인터페이스 Ethernet2/2를 이그레스(egress)해야 하므로 Ethernet2/2는 초과 가입됩니다. 이 시나리오의 토폴로지가 여기에 표시됩니다.
Nexus 9000 Cloud Scale ASIC는 공유 메모리 이그레스 버퍼 아키텍처를 사용하므로, 이그레스 인터페이스 Ethernet2/2의 버퍼를 검사하여 정체를 확인해야 합니다. 이 예에서는 슬롯 2에 삽입된 라인 카드가 이그레스 라인 카드이므로 show hardware internal tah buffer counters 명령으로 내부 하드웨어 버퍼를 보기 전에 attach module 2 명령을 사용해야 합니다. Unit 0, Slice 0 풀 그룹 및 관련 풀에 대해 0이 아닌 "Occupancy drops" 카운터를 확인합니다. 이는 풀 그룹의 버퍼가 완전히 점유되었기 때문에 삭제된 패킷 수를 나타냅니다.
switch# attach module 2
module-2# show hardware internal tah buffer counters Unit: 0 Slice: 0 ==================== |------------------------------------------------------------------------------------------------------------------| | Output Pool-Group drops | | Drop-PG No-drop CPU--PG LCPU-PG RCPU-PG SPAN-PG | |------------------------------------------------------------------------------------------------------------------| Occupancy drops 51152554987 0 0 0 0 0 | AQM drops 0 0 N/A N/A N/A N/A | |--------------------------------------------------------------------------------------------------------------------| | Output UC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Occupancy drops 51152555398 0 0 0 0 0 0 0 | AQM drops 0 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------------------------------------------------| | Output MC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (desc) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (inq thr) 64035 64035 64035 64035 64035 64035 64035 64035 | Occupancy drops 0 0 0 0 0 0 0 0 | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| | Additional counters | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| MEM cell drop reason : 0 MEM descriptor drop reason : 0 OPG cell drop reason : 0 OPG descriptor drop reason : 0 OPG CPU cell drop reason : 0 OPG CPU descriptor drop reason : 0 OPG SPAN cell drop reason : 0 OPG SPAN descriptor drop reason : 0 OPOOL cell drop reason : 0 OPOOL descriptor drop reason : 0 UC OQUEUE cell drop reason : 51152556479 MC OQUEUE cell drop reason : 27573307 OQUEUE descriptor drop reason : 0 MC OPOOL cell drop reason : 0 FWD DROP : 15 SOD : 0 BMM BP : 0 No Drop : 0 Packets received : 87480806439 TRUNC MTU : 0 TRUNK BMM BP : 0 VOQFC messages sent : 0 SOD messages sent : 0 SPAN desciptor drop : 0 Unit: 1 Slice: 0 ==================== |------------------------------------------------------------------------------------------------------------------| | Output Pool-Group drops | | Drop-PG No-drop CPU--PG LCPU-PG RCPU-PG SPAN-PG | |------------------------------------------------------------------------------------------------------------------| Occupancy drops 0 0 0 0 0 0 | AQM drops 0 0 N/A N/A N/A N/A | |--------------------------------------------------------------------------------------------------------------------| | Output UC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Occupancy drops 0 0 0 0 0 0 0 0 | AQM drops 0 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------------------------------------------------| | Output MC Pool counters | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Dynamic Threshold (cells) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (desc) 93554 93554 93554 93554 93554 93554 93554 93554 | Dynamic Threshold (inq thr) 64035 64035 64035 64035 64035 64035 64035 64035 | Occupancy drops 0 0 0 0 0 0 0 0 | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| | Additional counters | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| MEM cell drop reason : 0 MEM descriptor drop reason : 0 OPG cell drop reason : 0 OPG descriptor drop reason : 0 OPG CPU cell drop reason : 0 OPG CPU descriptor drop reason : 0 OPG SPAN cell drop reason : 0 OPG SPAN descriptor drop reason : 0 OPOOL cell drop reason : 0 OPOOL descriptor drop reason : 0 UC OQUEUE cell drop reason : 0 MC OQUEUE cell drop reason : 0 OQUEUE descriptor drop reason : 0 MC OPOOL cell drop reason : 0 FWD DROP : 8 SOD : 0 BMM BP : 0 No Drop : 0 Packets received : 45981341 TRUNC MTU : 0 TRUNK BMM BP : 0 VOQFC messages sent : 0 SOD messages sent : 0 SPAN desciptor drop : 0
각 ASIC 유닛/슬라이스 튜플은 "인스턴스"라는 고유한 식별 항목을 통해 표현됩니다. show hardware internal buffer info pkt-stats 명령의 출력에는 각 인스턴스의 혼잡한 풀 그룹("PG"로 약칭)에 대한 자세한 정보가 표시됩니다. 또한 이 명령은 버퍼에서 사용된 셀의 최대/최대 기록 피크도 표시합니다. 마지막으로 이 명령은 버퍼링 중인 트래픽과 함께 포트의 Cloud Scale ASIC 포트 식별자에 대한 즉각적인 스냅샷을 표시합니다. 이 명령의 예가 여기에 표시됩니다.
switch# attach module 2
module-2# show hardware internal buffer info pkt-stats Instance 0 ============ |------------------------------------------------------------------------------------------------------------| | Output Pool-Group Buffer Utilization (cells/desc) | | Drop-PG No-drop CPU--PG LCPU-PG RCPU-PG SPAN-PG | |------------------------------------------------------------------------------------------------------------| Total Instant Usage (cells) 59992 0 0 0 0 0 | Remaining Instant Usage (cells) 33562 0 1500 250 1500 1500 | Peak/Max Cells Used 90415 0 N/A N/A N/A N/A | Switch Cells Count 93554 0 1500 250 1500 1500 | Total Instant Usage (desc) 0 0 0 0 0 0 | Remaining Instant Usage (desc) 93554 0 1500 250 1500 1500 | Switch Desc Count 93554 0 1500 250 1500 1500 | |--------------------------------------------------------------------------------------------------------------------| | Output UC Pool Buffer Utilization (cells/desc) | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Total Instant Usage (cells) 60027 0 0 0 0 0 0 0 | Total Instant Usage (desc) 0 0 0 0 0 0 0 0 | Peak/Max Cells Used 62047 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------------------------------------------------| | Output MC Pool Buffer Utilization (cells/desc) | | Pool 0 Pool 1 Pool 2 Pool 3 Pool 4 Pool 5 Pool 6 Pool 7 | |--------------------------------------------------------------------------------------------------------------------| Total Instant Usage (cells) 0 0 0 0 0 0 0 0 | Total Instant Usage (desc) 0 0 0 0 0 0 0 0 | Total Instant Usage (inq cells) 0 0 0 0 0 0 0 0 | Total Instant Usage (packets) 0 0 0 0 0 0 0 0 | Peak/Max Cells Used 60399 0 0 0 0 0 0 0 | |--------------------------------------------------------------------------| | Instant Buffer utilization per queue per port | | Each line displays the number of cells/desc utilized for a given | | port for each QoS queue | | One cell represents approximately 416 bytes | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| |ASIC Port Q7 Q6 Q5 Q4 Q3 Q2 Q1 Q0 | |--------------+---------+---------+---------+---------+---------+--------+---------+---------+| [12] <<< ASIC Port 12 in Unit 0 Instance 0 is likely the congested egress interface UC-> 0 0 0 0 0 0 0 59988 | MC cells-> 0 0 0 0 0 0 0 0 | MC desc-> 0 0 0 0 0 0 0 0 |
또한 명령의 최대 변화도 확인합니다. 이 명령을 사용하여 특정 풀 그룹, 풀 또는 포트에서 잠재적인 스파이크와 syslog를 연결합니다
switch# show hardware internal buffer info pkt-stats peak
slot 1
=======
Instance 0
============
|--------------+---------+---------+---------+---------+---------+|
| Pool-Group Peak counters |
|--------------+---------+---------+---------+---------+---------+|
Drop PG : 0
No-drop PG : 0
|--------------+---------+---------+---------+---------+---------+|
| Pool Peak counters |
|--------------+---------+---------+---------+---------+---------+|
MC Pool 0 : 0
MC Pool 1 : 0
MC Pool 2 : 0
MC Pool 3 : 0
MC Pool 4 : 0
MC Pool 5 : 0
MC Pool 6 : 0
MC Pool 7 : 0
UC Pool 0 : 0
UC Pool 1 : 0
UC Pool 2 : 0
UC Pool 3 : 0
UC Pool 4 : 0
UC Pool 5 : 0
UC Pool 6 : 0
UC Pool 7 : 0
|--------------+---------+---------+---------+---------+---------+|
| Port Peak counters |
| classes mapped to count_0: 0 1 2 3 4 5 6 7
| classes mapped to count_1: None
|--------------+---------+---------+---------+---------+---------+|
[0] <<< ASIC Port. This can be checked via "show hardware interface-mappings"
count_0 : 0
count_1 : 0
[1]
count_0 : 0
count_1 : 0
show interface hardware-mappings 명령을 사용하여 Cloud Scale ASIC 포트 식별자를 전면 패널 포트로 변환할 수 있습니다. 전술한 예에서, 슬라이스/인스턴스 0의 ASIC 유닛 0과 연관된 ASIC 포트 12(show interface hardware-mappings 출력의 HPort 열로 나타남)는 각각 416바이트의 59,988개의 점유 셀을 가진다. 이 인터페이스를 전면 패널 포트 Ethernet2/2에 매핑하는 show interface hardware-mappings 명령의 예가 여기에 나와 있습니다.
switch# show interface hardware-mappings
Legends:
SMod - Source Mod. 0 is N/A
Unit - Unit on which port resides. N/A for port channels
HPort - Hardware Port Number or Hardware Trunk Id:
HName - Hardware port name. None means N/A
FPort - Fabric facing port number. 255 means N/A
NPort - Front panel port number
VPort - Virtual Port Number. -1 means N/A
Slice - Slice Number. N/A for BCM systems
SPort - Port Number wrt Slice. N/A for BCM systems
SrcId - Source Id Number. N/A for BCM systems
MacIdx - Mac index. N/A for BCM systems
MacSubPort - Mac sub port. N/A for BCM systems
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth2/2 1a080200 5 0 12 255 4 -1 0 12 24 3 0 149 0 24
show queuing interface 명령을 사용하여 인터페이스 Ethernet2/2의 오버서브스크립션을 QoS 대기열 삭제와 상호 연결할 수 있습니다. 이에 대한 예가 여기에 나와 있습니다.
switch# show queuing interface Ethernet2/2
Egress Queuing for Ethernet2/2 [System]
------------------------------------------------------------------------------
QoS-Group# Bandwidth% PrioLevel Shape QLimit
Min Max Units
------------------------------------------------------------------------------
7 - 1 - - - 9(D)
6 0 - - - - 9(D)
5 0 - - - - 9(D)
4 0 - - - - 9(D)
3 0 - - - - 9(D)
2 0 - - - - 9(D)
1 0 - - - - 9(D)
0 100 - - - - 9(D)
+-------------------------------------------------------------+
| QOS GROUP 0 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 35593332351| 18407162|
| Tx Byts | 53532371857088| 27684371648|
| WRED/AFD & Tail Drop Pkts | 53390604466| 27573307|
| WRED/AFD & Tail Drop Byts | 80299469116864| 110293228|
| Q Depth Byts | 24961664| 0|
| WD & Tail Drop Pkts | 53390604466| 27573307|
+-------------------------------------------------------------+
| QOS GROUP 1 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 2 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 3 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 4 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 5 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 6 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| QOS GROUP 7 |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
| WRED/AFD & Tail Drop Pkts | 0| 0|
| WRED/AFD & Tail Drop Byts | 0| 0|
| Q Depth Byts | 0| 0|
| WD & Tail Drop Pkts | 0| 0|
+-------------------------------------------------------------+
| CONTROL QOS GROUP |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 5704| 0|
| Tx Byts | 725030| 0|
| Tail Drop Pkts | 0| 0|
| Tail Drop Byts | 0| 0|
+-------------------------------------------------------------+
| SPAN QOS GROUP |
+-------------------------------------------------------------+
| | Unicast |Multicast |
+-------------------------------------------------------------+
| Tx Pkts | 0| 0|
| Tx Byts | 0| 0|
+-------------------------------------------------------------+
Per Slice Egress SPAN Statistics
---------------------------------------------------------------
SPAN Copies Tail Drop Pkts 0
SPAN Input Queue Drop Pkts 0
SPAN Copies/Transit Tail Drop Pkts 0
SPAN Input Desc Drop Pkts 0
마지막으로, 이그레스 인터페이스 Ethernet2/2에 show interface 명령을 사용하여 0이 아닌 출력 discard 카운터가 있는지 확인할 수 있습니다. 이에 대한 예가 여기에 나와 있습니다.
switch# show interface Ethernet2/2
Ethernet2/2 is up
admin state is up, Dedicated Interface
Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 7cad.4f6d.f6d8 (bia 7cad.4f6d.f6d8)
MTU 1500 bytes, BW 40000000 Kbit , DLY 10 usec
reliability 255/255, txload 232/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 40 Gb/s, media type is 40G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 03:16:50
Last clearing of "show interface" counters never
3 interface resets
Load-Interval #1: 30 seconds
30 seconds input rate 0 bits/sec, 0 packets/sec
30 seconds output rate 36503585488 bits/sec, 3033870 packets/sec
input rate 0 bps, 0 pps; output rate 36.50 Gbps, 3.03 Mpps
Load-Interval #2: 5 minute (300 seconds)
300 seconds input rate 32 bits/sec, 0 packets/sec
300 seconds output rate 39094683384 bits/sec, 3249159 packets/sec
input rate 32 bps, 0 pps; output rate 39.09 Gbps, 3.25 Mpps
RX
0 unicast packets 208 multicast packets 9 broadcast packets
217 input packets 50912 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
TX
38298127762 unicast packets 6118 multicast packets 0 broadcast packets
38298133880 output packets 57600384931480 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 57443534227 output discard <<< Output discards due to oversubcription
0 Tx pause
다음 단계
Cloud Scale ASIC가 포함된 Nexus 9000 Series 스위치에서 출력 폐기물이 관찰되는 경우 다음 방법 중 하나 이상을 사용하여 문제를 해결할 수 있습니다.
- 출력 폐기가 발생하는 인터페이스가 단일 인터페이스이고 포트 채널에 번들로 구성되지 않은 경우 인터페이스의 대역폭을 업그레이드하면 혼잡을 완화할 수 있습니다. 예를 들어 혼잡한 이그레스 인터페이스가 10Gbps 인터페이스인 경우 25Gbps, 40Gbps 인터페이스 또는 100Gbps 인터페이스로 업그레이드하면 문제를 해결하는 데 도움이 됩니다.
- 이그레스 인터페이스의 트랜시버 폼 팩터에 따라, 트렌시버를 업그레이드하여(예: QSFP 포트 내부의 CVR-QSFP-SFP10G에 삽입된 10Gbps SFP+에서 네이티브 40Gbps QSFP 트렌시버로 마이그레이션) 수행할 수 있습니다.
- 이는 혼잡한 이그레스 인터페이스의 컨피그레이션을 10Gbps 포트에서 25Gbps, 40Gbps 또는 100Gbps 포트로 마이그레이션하는 방법으로도 가능합니다.
- 출력 폐기가 발생하는 인터페이스가 단일 인터페이스이고 포트 채널에 번들로 구성되지 않은 경우, 혼잡한 인터페이스를 동일한 대역폭의 다른 인터페이스와 함께 포트 채널의 멤버가 되도록 구성하면 혼잡을 완화할 수 있습니다.
- 출력 폐기가 발생하는 인터페이스가 포트 채널 인터페이스인 경우, 포트 채널에 멤버를 추가하면 전체 포트 채널의 대역폭이 증가하고 여러 대규모 트래픽 플로우에 대한 로드 밸런싱 해싱이 개선될 수 있습니다.
- 네트워크의 호스트 간 혼잡한 트래픽 흐름에 속도가 감소하는 인터페이스가 포함되는지 확인합니다(예: 40Gbps 인터페이스를 통해 스위치를 수용하고 10Gbps 인터페이스를 통해 스위치를 이그레스(egress)하는 트래픽). 이는 네트워크 혼잡을 유발하는 병목 현상이 될 수 있습니다. 저속 인터페이스(예: 10Gbps)를 고속 인터페이스(예: 25Gbps, 40Gbps 등)로 업그레이드하여 이러한 병목 현상을 제거하면 네트워크 정체를 완화할 수 있습니다.
- 혼잡한 이그레스 인터페이스에서 사용 가능한 대역폭을 늘릴 수 없는 경우, 엔드 투 엔드 QoS를 검증하고 네트워크에 적절한 큐잉 작업을 적용합니다.
- 미세 버스트가 간헐적 혼잡의 잠재적 원인인 경우, 미세 버스트 모니터링 구성에 대한 자세한 내용은 이 문서의 Monitoring Micro-Bursts 섹션을 참조하십시오.
추가 정보
이 섹션에서는 BUFFER_THRESHOLD_EXCEEDED syslog, 네트워크 혼잡/오버서브스크립션 시나리오 및 출력 폐기 인터페이스 카운터 증가 시 수행할 다음 단계에 대한 추가 정보를 제공합니다.
BUFFER_THRESHOLD_EXCEEDED Syslog 구성 옵션
시스템이 ASIC 슬라이스 버퍼의 현재 활용률을 폴링하는 빈도를 제어하는 시스템 버퍼 상태 폴링 간격을 수정할 수 있습니다. 이 작업은 hardware profile buffer info poll-interval 전역 컨피그레이션 명령으로 수행합니다. 기본 컨피그레이션 값은 5,000밀리초입니다. 이 컨피그레이션은 전체적으로 또는 모듈별로 수정할 수 있습니다. 이 컨피그레이션 명령의 예가 여기에 나와 있으며, 여기서 1,000밀리초 값으로 수정됩니다.
switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. switch(config)# hardware profile buffer info poll-interval timer 1000 switch(config)# end switch# show running-config | include hardware.profile.buffer hardware profile buffer info poll-interval timer 1000 switch#
포트 이그레스 버퍼 사용량 임계값을 수정할 수 있습니다. 이는 시스템이 BUFFER_THRESHOLD_EXCEEDED syslog를 생성할 때 ASIC 슬라이스 버퍼 사용률이 구성된 임계값을 초과했음을 나타냅니다. 이 작업은 hardware profile buffer info port-threshold 전역 컨피그레이션 명령으로 수행합니다. 기본 컨피그레이션 값은 90%입니다. 이 컨피그레이션은 전체적으로 또는 모듈별로 수정할 수 있습니다. 이 컨피그레이션 명령의 예가 여기에 표시되어 80% 값으로 수정됩니다.
switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. switch(config)# hardware profile buffer info port-threshold threshold 80 switch(config)# end switch# show running-config | include hardware.profile.buffer hardware profile buffer info port-threshold threshold 80 switch#
스위치에서 생성된 BUFFER_THRESHOLD_EXCEEDED syslogs 사이의 최소 간격을 수정할 수 있습니다. BUFFER_THRESHOLD_EXCEEDED syslog를 완전히 비활성화할 수도 있습니다. 이 작업은 하드웨어 프로필 buffer info syslog-interval timer 글로벌 컨피그레이션 명령으로 수행됩니다. 기본 컨피그레이션 값은 120초입니다. syslog는 값을 0초로 설정하여 완전히 비활성화할 수 있습니다. 이 컨피그레이션 명령의 예가 여기에 나와 있으며, 여기서 syslog는 완전히 비활성화됩니다.
switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. switch(config)# hardware profile buffer info syslog-interval timer 0 switch(config)# end switch# show running-config | include hardware.profile.buffer hardware profile buffer info syslog-interval timer 0 switch#
네트워크 혼잡 시나리오를 위해 수집할 로그
네트워크 혼잡 시나리오의 영향을 받는 스위치에서 여기에 표시된 로그를 수집하여 이 문서에 나열된 명령 외에도 혼잡한 이그레스 인터페이스를 식별할 수 있습니다.
- show tech-support details 명령의 출력입니다.
- show tech-support usd-all 명령의 출력입니다.
- show tech-support ipqos all 명령의 출력입니다.
- Cisco Cloud Scale 라인 카드가 삽입된 Nexus 9500 Series 스위치에서 작업할 때 show system internal interface counters peak module {x} 명령의 출력은 혼잡한 이그레스 인터페이스를 호스팅하는 모듈의 슬롯 번호입니다. 여기서 {x}는
마이크로 버스트 모니터링
매우 짧은 간격(마이크로 버스트)으로 혼잡 또는 초과 서브스크립션이 발생하는 경우, 초과 서브스크립션이 스위치에 미치는 영향을 정확하게 설명하기 위해 추가 정보가 필요합니다.
Cisco Cloud Scale ASIC가 장착된 Cisco Nexus 9000 Series 스위치는 사용자 환경에서 일시적인 네트워크 혼잡 및 트래픽 손실을 유발할 수 있는 마이크로 버스트를 트래픽을 모니터링할 수 있습니다. 마이크로 버스트에 대한 자세한 내용 및 이 기능을 구성하는 방법은 다음 문서를 참조하십시오.
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 10.1(x)의 "Micro-Burst Monitoring" 장
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 9.3(x)의 "Micro-Burst Monitoring" 장
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 9.2(x)의 "Micro-Burst Monitoring" 장
- Cisco Nexus 9000 Series NX-OS Quality of Service 컨피그레이션 가이드, 릴리스 7.x의 "Micro-Burst Monitoring" 장
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
3.0 |
21-Jan-2022 |
문서에 "다음 단계" 섹션을 추가합니다. |
2.0 |
03-Oct-2021 |
새 하드웨어를 포함하도록 해당 하드웨어 섹션을 업데이트합니다. |
1.0 |
31-Aug-2021 |
최초 릴리스 |
피드백