본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
이 문서에서는 일련의 Cisco Nexus 9000 Cloud Scale ASIC 모듈에서 물리적 인터페이스에서 관찰된 CRC 오류의 소스를 추적하는 데 사용되는 단계에 대해 설명합니다. 이 문서에서는 모듈형 Nexus 스위치의 물리적 인터페이스 및 내부 패브릭 링크에서 관찰된 맞춤화된 CRC 오류와 맞춤화되지 않은 CRC 오류를 구별하는 데 사용되는 절차에 대해서도 설명합니다.
Cisco에서는 컷스루(cut-through) 및 스토어 및 포워드(store-and-forward) 스위칭의 기본 사항을 이해하는 것이 좋습니다. Cisco는 또한 FCS 필드에서 사용하는 이더넷 FCS(Frame Check Sequence) 필드 및 CRC(Cyclic Redundancy Check) 알고리즘의 기본 사항을 이해할 것을 권장합니다. 자세한 내용은 다음 문서를 참조하십시오.
이 문서의 정보는 NX-OS 소프트웨어 릴리스 7.0(3)I7(8)을 실행하는 Cloud Scale ASIC가 포함된 Cisco Nexus 9000 Series 스위치를 기반으로 합니다.
이 문서의 정보는 특정 랩 환경의 디바이스에서 생성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우, 모든 명령어의 잠재적인 영향을 미리 숙지하시기 바랍니다.
Cisco Nexus 9000 Series 스위치는 기본적으로 컷스루 스위칭을 사용합니다. 컷스루 스위칭은 스위치에서 프레임에 대해 포워딩 결정을 내리고 스위치의 헤더가 충분히 처리되어 올바른 포워딩 결정을 내리는 즉시 이그레스 인터페이스에서 프레임 포워딩을 시작합니다. 이는 이그레스 인터페이스에서 프레임을 전달하기 전에 스위치가 전체 프레임을 버퍼링하는 저장 및 전달 스위칭과는 다릅니다.
이더넷 프레임의 FCS 필드는 프레임의 무결성을 검증하고 전송 중에 프레임이 손상되지 않았는지 확인합니다. 이더넷 프레임의 FCS 필드는 프레임의 페이로드 뒤에 있는 이더넷 프레임 끝에 있습니다. Store-and-forward 스위칭 모드에서 작동하는 스위치는 이그레스 인터페이스에서 프레임을 전달하기 전에 FCS 필드를 사용하여 이더넷 프레임의 무결성을 확인할 수 있습니다. 또는 FCS 필드에 잘못된 내용이 있는 경우 프레임을 삭제합니다. 그러나 컷스루 스위칭 모드에서 작동하는 스위치는 이그레스 인터페이스에서 프레임을 전달하기 전에 FCS 필드를 사용하여 이더넷 프레임의 무결성을 확인할 수 없습니다. 즉, 컷스루 스위치가 이더넷 프레임의 무결성을 확인할 수 있을 때까지 대부분의 이더넷 프레임이 이그레스 인터페이스에서 이미 전달되었습니다.
컷스루 스위칭 모드에서 작동하는 스위치가 유효하지 않은 FCS 필드가 있는 이더넷 프레임을 수신하면 스위치는 다음 작업을 수행합니다.
이 문서에서는 인그레스 인터페이스와 연결된 CRC 카운터가 일반 CRC인지(일반적으로 인그레스 인터페이스에 연결된 링크의 물리적 레이어 문제를 나타내) 또는 사용자 정의된 CRC인지(인그레스 인터페이스에 연결된 디바이스가 컷스루 스위칭 모드에서도 작동하고 잘못된 형식의 이더넷 프레임을 수신했음을 나타냅니다) 확인하는 단계에 대해 설명합니다.
이 문서에서 다루는 절차는 이 하드웨어에만 적용됩니다.
이 섹션에서는 Cisco Nexus 9200 및 9300 시리즈 스위치의 특정 물리적 인터페이스 Ethernet1/1에서 관찰된 CRC 오류의 원인을 식별하는 단계별 지침을 설명합니다.
NX-OS 소프트웨어 릴리스 10.2(1)부터 Cloud Scale ASIC가 장착된 Nexus 스위치에는 스위치를 통과하는 이더넷 프레임의 FCS 필드에 맞춤형 CRC가 포함된 패킷에 대한 새로운 인터페이스 카운터가 있습니다. show interface 명령을 사용하여 0이 아닌 CRC를 증가시키고 사용자 지정된 CRC 카운터를 사용하여 물리적 인터페이스를 식별할 수 있습니다. 이 예제의 예는 물리적 인터페이스 Ethernet1/1에 0개의 CRC 카운터와 0이 아닌 사용자 맞춤화된 CRC 카운터가 있으며, 이는 유효하지 않은 CRC를 가진 프레임이 이 인터페이스에서 수신되었음을 나타냅니다.
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
"CRC" 카운터가 증가하면 프레임이 맞춤화된 CRC 또는 유효하지 않은 상태로 수신되었지만 맞춤화되지 않은 CRC를 나타냅니다. "맞춤화된 CRC" 카운터 증가는 사용자 맞춤된 CRC가 수신된 프레임을 나타냅니다.
또는 show interface counters errors non-zero 명령을 사용하여 인터페이스 오류 카운터를 확인할 수 있습니다. 여기에 이 예시가 나와 있습니다.
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
show interface 명령을 json 또는 json-pretty 명령에 파이프하여 CRC 및 사용자 맞춤화된 CRC 카운터 통계를 구조화된 형식으로 얻을 수 있습니다. 여기에 이 예시가 나와 있습니다.
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST API를 사용하여 sys/intf/phys-[intf-id]/dbgEtherStats.json 객체 모델을 사용하여 동일한 통계를 검색할 수 있습니다. 여기에 이 예시가 나와 있습니다.
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
10.2(1) 이전 NX-OS 소프트웨어 릴리스의 경우, 사용자 지정된 CRC 카운터는 인터페이스에서 사용할 수 없습니다. 잘못된 CRC가 관찰된 인그레스(ingress) 인터페이스를 확인하고 CRC가 유효하지 않은지 또는 맞춤화되었는지 검증하려면 몇 가지 단계가 필요합니다.
show interface 명령을 사용하여 0이 아닌 CRC 카운터를 증가시켜 물리적 인터페이스를 식별합니다. 여기에 나와 있는 예로는 물리적 인터페이스 Ethernet1/1에 0이 아닌 CRC 카운터가 있습니다.
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
또는 show interface counters errors non-zero 명령을 사용하여 0이 아닌 오류 카운터가 있는 모든 인터페이스를 표시할 수 있습니다(0이 아닌 CRC 카운터가 포함). 여기에 나와 있는 예시에서는 물리적 인터페이스 Ethernet1/1에 FCS-Err 열에 표시된 0이 아닌 CRC 카운터가 있습니다.
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
show interface hardware-mappings 명령을 사용하여 세 가지 주요 특성을 식별합니다.
여기서는 물리적 인터페이스 Ethernet1/1이 Cloud Scale ASIC 0, MAC 블록 4 및 MAC 블록 하위 포트 0과 연결된 예시에서 설명합니다.
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
Cloud Scale ASIC에 대한 레지스터 카운터를 보려면 슬롯 {x} show hardware internal tah counters asic {y} 명령을 사용합니다. 이 명령에는 두 가지 변수가 포함되어 있습니다.
이 출력에 테이블이 표시됩니다. 테이블의 각 행은 다른 ASIC 레지스터입니다. 테이블의 각 열은 스위치의 물리적 인터페이스에 해당합니다. 각 열에 사용되는 이름은 물리적 인터페이스의 이름이 아니라 MAC 블록과 MAC 블록 하위 포트의 조합입니다. 열 헤더에 사용되는 형식은 다음과 같습니다.
M{A},{B}-{InterfaceSpeed}
이 형식에는 다음과 같은 세 가지 변수가 있습니다.
이 예는 여기 예시에 나와 있습니다. 물리적 인터페이스 Ethernet1/1이 라인 카드 슬롯 번호 1과 Cloud Scale ASIC 0과 연결되어 있다는 것을 기억하십시오. 즉, 실행해야 하는 명령은 슬롯 1에 하드웨어 내부 카운터가 0인 것을 의미합니다. 물리적 인터페이스 Ethernet1/1과 연결된 MAC 블록은 4이고, 물리적 인터페이스 Ethernet1/1과 연결된 MAC 블록 하위 포트는 0이고, 물리적 인터페이스 Ethernet1/1은 10G 인터페이스입니다. 따라서 찾고 있는 열 헤더는 M4,0-10G입니다.
참고: 아래 명령의 출력은 매우 길고 넓습니다. 터미널 세션 내에서 이 출력을 읽는 것이 어려울 수 있습니다. terminal width 511 명령을 사용하여 터미널 너비를 최대화하고 이 출력을 외부 텍스트 판독기/편집기에 복사하여 검토할 것을 권장합니다.
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
이 명령의 출력에는 여러 개의 레지스터 카운터가 포함됩니다. 자연 CRC 오류와 사용자 지정 CRC의 차이와 관련된 두 가지 주요 레지스터 카운터가 있습니다.
이러한 카운터의 값은 16진수입니다. dec NX-OS 명령은 16진수 값을 10진수 값으로 변환할 수 있습니다.
N9K-C93180YC-EX-2# dec 0xc
12
두 레지스터 카운터의 결합된 값은 show interface의 출력을 통해 물리적 인터페이스에서 관찰된 CRC 또는 show interface counters errors non-zero와 같습니다.
이 섹션에서는 Cisco Nexus 9500 시리즈 스위치의 특정 물리적 인터페이스 Ethernet1/1에서 관찰된 CRC 오류의 원인을 식별하는 단계별 지침을 설명합니다.
Nexus 9500 시리즈 스위치의 각 라인 카드는 내부 링크(iEth)를 통해 패브릭 모듈에 연결됩니다. 각 라인 카드의 각 ASIC에는 모든 패브릭 모듈에 대한 풀 메시 연결이 있습니다. 이 예에서는 모듈형 Nexus 9500 스위치 내에서 4개의 패브릭 모듈에 연결하는 4개의 Schobring ASIC가 있는 라인 카드를 보여줍니다.
ASIC에서 수신한 트래픽이 다른 ASIC 또는 라인 카드를 이그레스(egress)해야 하는 경우 패브릭 모듈을 통해 해당 트래픽을 패브릭으로 전송해야 합니다. 인그레스 ASIC는 패킷의 헤더의 해시와 ASIC에 사용 가능한 iEth 링크 수를 기반으로 패브릭 모듈에 대한 iEth 링크 중 하나를 선택합니다.
show system internal fabric connectivity module {x} 명령(여기서 {x}은 라인 카드 또는 패브릭 모듈 슬롯 번호)을 사용하여 지정된 라인 카드와 모든 패브릭 모듈 간의 내부 링크를 표시합니다. 이 출력에는 각 행이 각 패브릭 모듈의 내부 링크("FM-iEthLink" 열 아래)에 대한 라인 카드 내부 링크(이하 "LC-EthLink" 열) 간의 일대일 매핑을 표시하는 테이블이 표시됩니다. 여기에 나와 있는 예는 라인 카드 8개와 패브릭 모듈 4개가 삽입된 Nexus 9508 스위치에서 가져온 것입니다. 이 출력은 스위치의 슬롯 8에 삽입된 라인 카드의 각 ASIC 인스턴스가 설치된 4개의 패브릭 모듈(슬롯 22, 23, 24 및 26에 삽입됨)에서 2개의 내부 링크에 각각 연결되어 있음을 보여줍니다.
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
마찬가지로 패브릭 모듈의 관점에서 iEth 링크 매핑을 확인할 수 있습니다. 여기에 나와 있는 예로는 슬롯 22에 삽입된 패브릭 모듈과 Nexus 9508 섀시에 설치된 8개의 라인 카드 간의 내부 링크가 있습니다.
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
show system internal fabric link-state module {x} 명령을 사용하여 내부 포트가 작동 중인지 여부("ST" 열 아래), 특정 내부 링크의 해당 ASIC 슬라이스 및 MAC 식별자가 무엇인지 확인합니다("MAC" 열 아래). 여기에 이 예시가 나와 있습니다.
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
모듈형 Nexus 9500 스위치에서는 다음 시나리오에서 하나 이상의 iEth 링크에 CRC 오류가 표시될 수 있습니다.
show system internal fabric connectivity stats module {x} 명령을 사용하여 해당 내부 링크의 CRC 카운터를 확인합니다. 이 예제는 슬롯 22에 삽입된 패브릭 모듈이 스위치의 슬롯 7에 삽입된 라인 카드의 iEth56에 연결된 잘못된 CRC가 있는 패킷을 수신하는 데 사용됩니다. 이는 스위치의 슬롯 7에 삽입된 라인 카드에서 패브릭 모듈에 의해 손상된 이더넷 프레임이 수신되고 있음을 나타냅니다.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
슬롯 {x} show hardware internal thah counters를 라인 카드 또는 패브릭 모듈에서 {y} 명령과 같이 사용하여 CRC 오류가 잘못되었거나 사용자 지정된 CRC인지 확인하십시오. 잘못된 CRC 오류와 사용자 지정 CRC 오류를 구별하는 두 개의 레지스터 카운터는 다음과 같습니다.
예를 들어, 내부 링크 iEth54를 통해 섀시의 슬롯 22에 삽입된 패브릭 모듈에서 수신된 손상된 프레임이 섀시의 슬롯 8에 삽입된 라인 카드에 연결되고 사용자 맞춤화된 CRC가 수신되는 예는 다음과 같습니다.
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
또는 특정 모듈에 대한 ASIC 오류 카운터를 보려면 show hardware internal errors module {x} 명령을 사용합니다. 여기에 이 예시가 나와 있습니다. 이 출력에서 "Interface Inbound Errors (CRC,len,Align Err)" 카운터는 잘못된 CRC와 사용자 지정된 CRC에 대해 모두 증가하며, "Interface Inbound CRC Error Customed" 카운터는 사용자 지정된 CRC에 대해서만 증가합니다.
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
손상된 프레임이 수신되는 인그레스 라인 카드를 식별한 후 슬롯 {x}에 하드웨어 내부 트랜잭션 카운터가 {y}와(과) 같이 표시되거나 오류가 수신되는 인그레스(ingress) 인터페이스를 식별하는 유사한 방법으로 하드웨어 내부 오류 모듈 {x} 명령을 사용하여 오류가 잘못된 CRC 또는 사용자 지정된 CRC로 수신되었는지 확인합니다.
패브릭 모듈 또는 이그레스 라인 카드가 iEth 링크의 CRC 오류를 표시하지만 연결된 라인 카드에 인그레스 CRC의 징후가 없는 경우 드문 시나리오가 발생할 수 있습니다. 이 문제의 근본 원인은 일반적으로 패브릭 모듈의 하드웨어 장애입니다. Cisco는 Cisco TAC에서 지원 사례를 열어 이 문제를 추가로 해결하고 필요한 경우 패브릭 모듈을 교체할 것을 권장합니다.
문서의 이 섹션에서는 위 절차를 몇 가지 예를 살펴봅니다.
이 예에서는 물리적 인터페이스의 CRC 오류가 사용자 정의된 CRC를 식별하는 방법을 보여 줍니다.
다음 토폴로지를 고려하십시오.
이 예에서는 의도적인 맞춤형 CRC 오류가 스위치 N9K-1에서 점보 크기의 8000바이트 ICMP 패킷(IP 주소 192.0.2.1을 소유하는 인터페이스 SVI 10에서 소스)으로 1500바이트의 MTU를 가진 N9K-3의 인터페이스 SVI 10으로 향하는 점보 크기 8000바이트 ICMP 패킷에 생성됩니다. N9K-1, N9K-2 및 N9K-3은 모두 Nexus 93180YC-EX 모델 스위치입니다.
N9K-3# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
이 예에서는 스위치 N9K-3의 물리적 인터페이스 Ethernet1/1에서 CRC 오류를 증가시키는 것이 관찰됩니다.
N9K-3# show interface Ethernet1/1 <snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 06:13:44 Last clearing of "show interface" counters 02:55:00 0 interface resets RX 9 unicast packets 10675 multicast packets 0 broadcast packets 10691 input packets 816924 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
CRC가 N9K-1의 인터페이스 SVI 10(IP 주소 192.0.2.1을 소유함)에서 제공된 점보 크기의 8000바이트 ICMP 패킷을 생성하여 물리적 인터페이스 Ethernet1/1에서 증가하는지 확인합니다(IP 주소 192.0.2.3을 소유한 인터페이스 SVI 10).
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss N9K-3# show interface Ethernet1/1 Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 06:52:57 Last clearing of "show interface" counters 03:34:13 0 interface resets RX 11 unicast packets 13066 multicast packets 0 broadcast packets 13089 input packets 1005576 bytes 12 jumbo packets 0 storm suppression bytes 0 runts 12 giants 12 CRC 0 no buffer 12 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
N9K-3에서 show interface hardware-mappings 명령을 사용하여 물리적 인터페이스 Ethernet1/1을 ASIC 번호 0, MAC 블록 4 및 MAC 블록 하위 포트 0에 매핑합니다.
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
2단계의 정보를 바탕으로 다음 사실을 알고 있습니다.
이 정보를 사용하여 slot 1 show hardware internal tah counters asic 0 명령을 사용하여 모든 물리적 인터페이스에 대한 ASIC 레지스터 카운터를 볼 수 있습니다. 특히 M4,0-10G와 관련된 ASIC 레지스터 카운터를 찾습니다.
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
레지스터 16에 대해 0이 아닌 16진수 값 0xc를 볼 수 있습니다. 이는 맞춤화된 CRC가 있는 프레임이 이 물리적 인터페이스에서 수신되었음을 나타냅니다. dec 0xc 명령을 사용하여 물리적 인터페이스 Ethernet1/1의 CRC 오류 수와 일치하는 12의 10진수 값으로 변환할 수 있습니다.
N9K-3# dec 0xc
12
N9K-3이 물리적 인터페이스 Ethernet1/1에서 맞춤화된 CRC를 사용하여 프레임을 수신하고 있음을 확인했습니다. 이는 Ethernet1/1 링크의 원격 측(이 경우 N9K-2)에 있는 디바이스가 이러한 프레임의 CRC를 사용자 지정한다는 것을 의미합니다. 형식이 잘못된 프레임의 근본 원인은 Ethernet1/1에 직접 연결된 링크가 아니라 다운스트림입니다. 다운스트림 네트워크 디바이스에서 추가적인 트러블슈팅을 수행하여 이러한 잘못된 형식의 프레임의 소스를 확인해야 합니다.
이 예에서는 직접 연결된 링크의 물리적 레이어 문제로 인한 프레임 형식이 잘못되어 물리적 인터페이스의 CRC 오류가 증가함을 식별하는 방법을 보여 줍니다.
다음 토폴로지를 고려하십시오.
이 예에서는 스위치 N9K-1의 물리적 인터페이스 Ethernet1/40에 연결된 트래픽 생성기가 잘못된 CRC로 프레임을 생성하려는 목적으로 사용됩니다. 이로 인해 Ethernet1/40에 연결된 링크에서 결함이 있는 송수신기 또는 손상된 케이블과 같은 물리적 레이어 문제가 시뮬레이션됩니다. N9K-1은 이러한 프레임을 수신하고, CRC가 잘못되었음을 인식하며, Ethernet1/40 물리적 인터페이스의 CRC 오류 카운터를 증가시킵니다. N9K-1은 Nexus 93180YC-EX 모델 스위치입니다.
N9K-1# show interface Ethernet1/40 Ethernet1/40 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 06:13:44 Last clearing of "show interface" counters 02:55:00 0 interface resets RX 1710 unicast packets 9873 multicast packets 0 broadcast packets 11583 input packets 886321 bytes 0 jumbo packets 0 storm suppression bytes 0 runts 0 giants 1683 CRC 0 no buffer 1683 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
CRC가 N9K-1의 물리적 인터페이스 Ethernet1/40에서 show interface 또는 show interface counters non-zero 명령을 통해 증가하는지 확인합니다.
N9K-1# show interface Ethernet1/40 <snip> Ethernet1/40 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 06:13:44 Last clearing of "show interface" counters 02:55:00 0 interface resets RX 14055 unicast packets 9873 multicast packets 0 broadcast packets 23928 input packets 1676401 bytes 0 jumbo packets 0 storm suppression bytes 0 runts 0 giants 14028 CRC 0 no buffer 14028 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause N9K-1# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/40 26373 26373 0 26373 0 0
N9K-1에서 show interface hardware-mappings 명령을 사용하여 물리적 인터페이스 Ethernet1/40을 ASIC number 0, MAC block 10, MAC block 하위 포트 6에 매핑합니다.
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
2단계의 정보를 바탕으로 다음 사실을 알고 있습니다.
이 정보를 사용하여 slot 1 show hardware internal tah counters asic 0 명령을 사용하여 모든 물리적 인터페이스에 대한 ASIC 레지스터 카운터를 볼 수 있습니다. 특히 M10,6-10G와 관련된 ASIC 레지스터 카운터를 찾습니다.
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
0이 아닌 16진수 값 0x973e(레지스터 2에 대해 0x973e를 볼 수 있습니다. 이는 유효하지 않은 프레임이지만, 맞춤화되지 않은 CRC가 이 물리적 인터페이스에서 수신되었음을 나타냅니다. 12월 0x973e 명령을 사용하여 이를 38,718의 10진수 값으로 변환할 수 있습니다. 이는 물리적 인터페이스 Ethernet1/40의 CRC 오류 수와 일치(또는 CRC가 지속적으로 증가하기 때문에 보다 작음)합니다.
N9K-1# dec 0x973e
38718
N9K-1이 물리적 인터페이스 Ethernet1/40에서 유효하지 않지만 맞춤화되지 않은 CRC가 있는 프레임을 수신하고 있음을 확인했습니다. 이는 Ethernet1/40에 직접 연결된 링크(또는 링크의 원격 끝에 있는 장치)가 가장 형식이 잘못된 프레임의 소스임을 의미합니다. 손상된 케이블 확인, 현재 트렌시버를 정상 작동이 확인된 트랜시버로 교체 등 잘못된 프레임의 근본 원인을 파악하기 위해 이 링크의 물리적 레이어에 대한 추가 트러블슈팅을 수행해야 합니다.
이 예에서는 내부 인터페이스에서 syslog 보고 오류가 Nexus 9500 시리즈 스위치에 의해 생성될 때 iEth 내부 링크에서 CRC 오류의 소스를 식별하는 방법을 보여 줍니다. 이 syslog의 예는 여기에 나와 있습니다.
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
이 syslog는 스위치의 슬롯 22에 삽입된 패브릭 모듈의 iEth56 내부 링크에서 오류가 감지되었음을 나타냅니다.
show system internal fabric connectivity stats module {x} 명령을 사용하여 영향을 받는 iEth 내부 링크가 연결되는 라인 카드를 식별합니다. 이 예에서는 스위치의 슬롯 22에 삽입된 패브릭 모듈의 iEth56에 오류가 있습니다. 여기에 나와 있는 예시에서는 슬롯 22에 삽입된 패브릭 모듈의 iEth56이 스위치의 슬롯 7에 삽입된 라인 카드의 iEth26에 연결되어 있습니다.
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
show system internal fabric link-state module {x} 명령을 사용하여 패브릭 모듈의 iEth56 내부 링크와 연결된 ASIC 인스턴스 및 MAC 식별자를 찾습니다. 이 예제는 ASIC 인스턴스가 1이고 MAC 식별자는 27입니다.
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
이전 단계에서는 ASIC 인스턴스 식별자가 1이고 MAC 식별자는 슬롯 22에 삽입된 패브릭 모듈에 연결된 iEth56에 대해 27임을 보여줍니다. 슬롯 {x}은(는) syslog에서 보고된 CRC가 잘못된 CRC인지 아니면 사용자 지정된 CRC인지 여부를 식별하기 위해 하드웨어 내부 작업 카운터 표시 {y} 명령을 사용합니다. 이 예제는 M27,0-100Gx4 열이 MAC 식별자 27과 연결되어 있으며 CRC가 사용자 지정되었음을 나타냅니다.
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
또는 show hardware internal errors module {x} 명령을 사용하여 동일한 정보를 얻습니다. 여기에 이 예시가 나와 있습니다.
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
이 출력에서 "Interface Inbound Errors (CRC,len,Align Err)" 카운터는 잘못된 CRC와 사용자 지정된 CRC에 대해 모두 증가하며, "Interface Inbound CRC Error Customed" 카운터는 사용자 지정된 CRC에 대해서만 증가합니다.
이제 스위치의 슬롯 22에 삽입된 패브릭 모듈에 들어가는 CRC가 슬롯 7에 삽입된 라인 카드에서 스위치에 들어가는 것을 알 수 있습니다. 이 정보를 사용하여 show interface counters errors module {x} non-zero 명령을 사용하여 관련 라인 카드에 속한 인터페이스의 0이 아닌 CRC 카운터를 식별할 수 있습니다. 여기에 이 예시가 나와 있습니다.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
라인 카드가 잘못된 CRC를 수신하는지 또는 사용자 지정된 CRC를 수신하는지 확인하기 위해 관련 라인 카드에서 이 시나리오의 #2단계를 반복할 수 있습니다.
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
위 출력에서 MacId:MacSP 값 11:0이 매핑된 전면 패널 포트를 식별하려면 show interface hardware-mappings 명령을 사용합니다. 이 예제의 예는 다음과 같습니다. 여기서 11:0은 전면 패널 포트 Eth7/32에 매핑됩니다.
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
Nexus 9500에서 물리적 인터페이스 Ethernet7/32에 맞춤형 CRC가 있는 프레임을 수신하고 있음을 확인했습니다. 즉, Ethernet7/32 링크의 원격 쪽에 있는 디바이스가 이러한 프레임의 CRC를 사용자 정의하고 있습니다. 형식이 잘못된 프레임의 근본 원인은 Ethernet7/32에 직접 연결된 링크가 아니라 다운스트림입니다. 다운스트림 네트워크 디바이스에서 추가적인 트러블슈팅을 수행하여 이러한 잘못된 형식의 프레임의 소스를 확인해야 합니다.
이 예에서는 업스트림 스위치가 Nexus 9500에서 사용자 지정 CRC가 있는 프레임을 생성하는 것으로 보고할 때 Nexus 9500 스위치에서 유효하지 않은 CRC가 포함된 프레임의 소스를 추적하는 방법을 보여 줍니다. 이 시나리오에서는 업스트림 스위치가 전면 패널 포트 Ethernet8/9를 통해 연결됩니다.
CRC가 사용자 지정된 프레임을 업스트림 스위치로 전송하는 이그레스 인터페이스는 Ethernet8/9라는 것을 알고 있습니다. 먼저, 맞춤화된 CRC가 포함된 프레임을 섀시의 슬롯 8에 삽입된 라인 카드로 전송하는 패브릭 모듈을 확인해야 합니다. show hardware internal errors module {x} 명령으로 이 프로세스를 시작합니다. 여기에 이 예시가 나와 있습니다.
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
위 출력의 MacID:MacSP 9:0은 show system internal fabric link-state module 8 명령을 사용하여 소스 패브릭 모듈에 매핑할 수 있습니다. 여기에 이 예시가 나와 있습니다.
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
슬롯 8에 삽입된 라인 카드의 MAC 식별자 9가 섀시의 슬롯 22에 삽입된 패브릭 모듈에 매핑되어 있습니다. 내부 링크 iEth10에서 CRC 오류가 표시될 것으로 예상됩니다. show system internal fabric connectivity stats module 8 명령을 사용하여 이를 검증할 수 있습니다. 여기에 이 예시가 나와 있습니다.
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
다음으로, CRC를 수신하는 iEth 내부 링크, 해당 CRC가 패브릭 모듈의 ASIC에 따라 맞춤화되었는지 여부, 패브릭 모듈의 iEth 내부 링크에 연결된 라인 카드를 확인하여 시나리오 3과 동일한 프로세스를 수행합니다. show system internal fabric connectivity stats module {x} 명령, show hardware internal errors module {x} 명령, show system internal fabric link-state module {x} 명령을 사용하여 이 예제를 여기에 보여 줍니다.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
인그레스 라인 카드를 확인한 후(이 시나리오에서는 슬롯 22에 삽입된 패브릭 모듈의 iEth26에 의해 iEth56에 연결된 슬롯 7에 삽입된 라인 카드) 손상된 프레임이 스위치에 들어오는 인그레스 포트를 확인합니다. 이는 show interface counters errors module {x} non-zero 명령을 사용하여 수행됩니다. show hardware internal errors module {x} 명령 및 show interface hardware-mappings 명령의 출력에서 수신된 프레임이 잘못되었는지 또는 사용자 지정된 CRC인지 확인할 수 있습니다. 이 예제는 손상된 프레임이 전면 패널 인터페이스 Ethernet7/32를 통해 스위치에 들어가는 것입니다.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
Nexus 9500에서 물리적 인터페이스 Ethernet7/32에 맞춤형 CRC가 있는 프레임을 수신하고 있음을 확인했습니다. 즉, Ethernet7/32 링크의 원격 쪽에 있는 디바이스가 이러한 프레임의 CRC를 사용자 정의하고 있습니다. 형식이 잘못된 프레임의 근본 원인은 Ethernet7/32에 직접 연결된 링크가 아니라 다운스트림입니다. 다운스트림 네트워크 디바이스에서 추가적인 트러블슈팅을 수행하여 이러한 잘못된 형식의 프레임의 소스를 확인해야 합니다.
개정 | 게시 날짜 | 의견 |
---|---|---|
2.0 |
03-Oct-2021 |
Update Applicable Hardware section to include new hardware. |
1.0 |
13-Nov-2020 |
최초 릴리스 |