본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
이 문서에서는 Nexus 9000 스위치에서 레이어 1 링크 플랩 문제를 해결하는 방법에 대해 설명합니다.
Cisco는 이 문서에 설명된 정보를 진행하기 전에 Cisco NX-OS(Nexus Operating System) 및 기본 Nexus 아키텍처에 대해 숙지할 것을 권장합니다.
이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.
링크 플랩은 Nexus 9000과 같은 스위치의 물리적 인터페이스가 작동 및 중단 상태를 지속적으로 번갈아 반복하며 발생하는 네트워킹 문제입니다. 이렇게 중단이 발생하는 동작은 네트워크 성능을 저하시키고 네트워크를 불안정하게 하며 통신을 중단시켜 심각한 불편을 초래할 수 있습니다. 링크 플랩은 일반적으로 결함이 있는 물리적 레이어나 프로토콜 동기화 문제에서 발생합니다.
프로토콜 트리거 링크 플랩은 프로토콜 동기화에 문제가 있을 때 발생합니다. 여기에는 LACP(Link Aggregation Control Protocol), 가상 포트 채널 등의 프로토콜이 관련될 수 있습니다. 문제는 잘못 구성된 프로토콜이나 패킷 손실로 인해 발생하여 링크 불안정성으로 이어질 수 있습니다. 정기적인 모니터링과 시기 적절한 소프트웨어 업데이트는 이러한 유형의 링크 플랩을 방지하는 데 도움이 됩니다.
링크 플랩은 네트워크의 물리적 레이어인 레이어 1에서도 발생할 수 있습니다. 여기에는 종종 케이블, 인터페이스와 같은 물리적 구성 요소가 관련됩니다. 손상되었거나 느슨하거나 오래된 케이블 및 오작동하는 인터페이스로 인해 링크 플랩이 발생할 수 있습니다. 케이블 점검, 인터페이스 테스트 등의 정기적인 물리적 검사와 유지 관리를 통해 링크 플랩으로 이어지기 전에 이러한 문제를 식별하고 수정할 수 있습니다.
이 문서에서는 레이어 1 물리적 문제의 해결을 중점적으로 다룹니다.
링크 플랩은 로그를 통해 쉽게 식별할 수 있습니다. 다음 예는 포트 E1/5에서 포트가 중단되었다가 나중에 다시 작동되는 링크 플랩 이벤트를 보여줍니다.
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/5, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/5, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/5, operational Transmit Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface port-channel100, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface port-channel100, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-channel100, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-channel100, operational Transmit Flow Control state changed to off
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from none to Ethernet1/5
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 10000000 Kbit
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface Ethernet1/5 is up in mode access
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel100 is up in mode access
이더넷 포트 관리자(Ethpm)는 이더넷 인터페이스를 관리하는 프로세스입니다. Ethpm 이벤트 기록은 링크 플랩의 원인을 식별하는 데 활용할 수 있습니다.
E1/5는 05:28:35에 링크 장애가 발생하고 ETH_PORT_FSM_EV_LINK_DOWN에 의해 ethpm 전환이 트리거됩니다. 이는 레이어 1 플랩을 나타냅니다.
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/5
[143] 2024-01-21T05:26:02.100255000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[144] 2024-01-21T05:27:35.783495000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_LINK_DOWN]
Next state: [FSM_ST_NO_CHANGE]
E1/8은 07:40:07에 초기화 중단 상태로 진입하고 ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ에 의해 ethpm 전환이 트리거됩니다. 이는 LACP(Link Aggregation Control Protocol)에 의해 트리거된 링크 플랩을 나타냅니다.
2024 Jan 21 07:37:20 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel200 is up in Layer3
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel200 is down (No operational members)
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel200: first operational port changed from Ethernet1/8 to none
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel200: Ethernet1/8 is down
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel200,bandwidth changed to 100000 Kbit
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/8 is down (Initializing)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/8
[218] 2024-01-21T07:37:20.551880000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[219] 2024-01-21T07:40:07.104339000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ]
Next state: [FSM_ST_NO_CHANGE]
Cisco는 다양한 속도, 미디어 및 거리를 수용할 수 있는 광범위한 광학 모듈을 제공합니다. Nexus 9000에 링크를 연결하기 전에 SFP 및 케이블이 현재 소프트웨어 및 하드웨어와 호환되는지 확인하십시오. 다음을 통해 확인할 수 있습니다.
NX-OS 10.2.1부터 PIE(Platform Insights Engine)가 모든 클라우드급 ToR 및 EoR 플랫폼에서 지원됩니다. PIE는 온스위치 실시간 침입 경로 분석 애플리케이션입니다.
세 가지 PIE가 레이어 1 링크 플랩 문제를 해결하는 데 도움이 될 수 있습니다.
링크 플랩 PIE는 사용자 공간 드라이버(USD)에서 게시하는 링크 플랩 이벤트를 분석하고 링크 플랩의 침입 경로를 확인합니다. PIE는 침입 경로 분석 인사이트를 브로커에 게시합니다. 링크 플랩 이벤트는 링크가 플랩될 때 USD(PIE 클라이언트)에서 게시합니다. USD는 침입 경로 분석에 필요한 모든 관련 데이터를 ASIC 및 USD에서 수집하고 브로커에 데이터를 게시합니다. 링크 플랩 PIE는 데이터를 분석하여 플랩의 가장 가능성 있는 침입 경로를 파악합니다.
링크 다운 PIE는 링크가 작동하지 않는 침입 경로를 찾습니다. USD는 인터페이스가 작동하도록 구성되어 있지만 인터페이스 작동 상태가 작동 중이 아닌 경우 인터페이스에 대한 데이터를 수집합니다. 이 데이터는 PIE 애플리케이션에 게시됩니다. 링크 다운 PIE는 이러한 이벤트를 구독하고 브로커에서 데이터를 수신한 후 해당 데이터를 분석하여 침입 경로를 찾습니다.
광학 PIE는 정기적으로 수집된 DOM 데이터의 시계열 분석을 수행하는 지속적인 모니터링 엔진입니다. 일정 기간 동안 DOM에서 다양한 매개변수를 추적하여 PIE는 각 광학 포트의 광학 상태를 설명하는 메트릭에 도달합니다. 이 메트릭은 광학 트렌시버의 추세 상태에 대한 인사이트입니다.
자세한 내용은 다음 PIE 문서를 참조하십시오.
Cisco Nexus 9000 시리즈 NX-OS 플랫폼 인사이트 엔진 가이드, 릴리스 10.2(x)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
<snip>
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-flap-rca
2024-01-21 05:27:35 Event Id: 00000068 Ethernet1/5 Source Id: 436209664 RCA Code: 41 >>>PIE event time
Reason: Link flapped/down due to Local Fault, check peer >>>PIE link flap reason
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:30:12 Event Id: 00000080 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
2024-01-21 05:28:12 Event Id: 00000072 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-down-rca
2024-01-21 05:48:48 Event Id: 00000197 Ethernet1/5 Source Id: 436209664 RCA Code: 16 >>>PIE event time
Reason: No PCS alignment detected. Please check Fec, speed, Autoneg configurations with peer >>>Physical layer failed
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:50:12 Event Id: 00000199 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: ********BAD******** Mod: 01
2024-01-21 05:48:12 Event Id: 00000187 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
PIE 출력에 따라 결함이 있을 수 있는 구성 요소를 교체하고 계속 모니터링하는 것이 좋습니다. 링크 플랩이 지속되는 경우 결함이 있는 부품의 범위를 좁히기 위해 스왑 테스트가 필요합니다. 스왑 테스트는 다른 모든 조건은 변경하지 않은 상태로 유지하고 구성 요소를 한 번에 하나씩 변경하면서 수행할 수 있습니다. 결국 링크는 결함이 있는 특정 구성 요소를 교체한 후에 안정화됩니다.
10.2(1) 이전 NX-OS 소프트웨어 릴리스에서는 PIE가 지원되지 않습니다. 레이어 1 링크 플랩을 확인하려면 몇 가지 수동 단계가 필요합니다.
연결된 모듈의 모든 링크 이벤트가 나열됩니다. 디바운스 시간은 링크 다운 상태를 관리자에게 알릴 때까지 인터페이스가 대기하는 기간을 의미합니다. 이 기간 동안 인터페이스는 대기하면서 링크가 다시 작동하는지 확인합니다. 이 기록은 링크가 다운되었는지, 경미한 플랩이 발생했는지 확인하는 데 사용됩니다.
N9K-C93180YC-FX# attach module 1
module-1# show system internal port-client link-event
*************** Port Client Link Events Log ***************
---- ------ ----- ----- ------
Time PortNo Speed Event Stsinfo
---- ------ ----- ----- ------
Jan 21 05:48:38 2024 00122142 Ethernet1/5 ---- DOWN Link down debounce timer stopped and link is down
Jan 21 05:48:37 2024 00993003 Ethernet1/5 ---- DOWN Link down debounce timer started(0x40e50006)
Jan 21 05:45:14 2024 00432606 Ethernet1/5 10G UP SUCCESS(0x0) 이러한 이벤트는 각 링크 이벤트에 대한 자세한 정보를 제공합니다.
N9K-C93180YC-FX# attach module 1
module-1# show hardware internal tah link-events fp-port 5
324) Jan 21 05:48:37 2024 uSec 992843: Fp 5 : tahusd_isr.c #8469
Port Down with an ASIC interrupt
------------- ASIC MAC/PCS/Serdes REGS (Mac Channel 0) -------------
Link flapped due to Local Fault, check peer >>>Local Fault means the local device detected the issue on the receive path.
>>>Remote Fault means a Local Fault is detected across the link.
Intr Regs 00:0x0000, 01:0x0000, 02:0x0000, 03:0x0010, 07:0x0000, 11:0x0000, 15:0x0000
sts2.bercount : 0x0f00 sts2.erroredblocks : 0x0000
bercounthi : 0x0000 erroredblockhi : 0x0000
counters0.syncloss : 0x0001 counters0.blocklockloss: 0x0001
counters1.highber : 0x0000 counters1.vlderr : 0x0000
counters2.unkerr : 0x0012 counters2.invlderr : 0x0000
|
오류 코드 |
설명 |
|
|
sts2.erroredblocks |
오류가 발생한 블록(상위 비트) 수를 계산합니다. |
|
|
sts2.bercount |
불량 동기화 헤더(하위 비트) 수를 계산합니다. |
|
|
bercounthi |
불량 동기화 헤더(상위 비트) 수를 계산합니다. |
|
|
erroredblockhi |
오류가 발생한 블록(상위 비트) 수를 계산합니다. |
|
|
counters0.syncloss |
동기화 손실 |
|
|
counters0.blocklockloss |
블록 잠금 손실 |
|
|
counters1.highber |
높은 BER |
|
|
counters1.vlderr |
유효한 오류 |
|
|
counters2.unkerr |
알 수 없는 오류 |
|
|
counters2.invlderr |
유효하지 않은 오류 |
|
이 출력에는 여러 가지 SFP(소형 폼팩터 플러그형) 정보가 있습니다. 특정 값이 SFP 진단에서 허용되는 범위를 벗어나면 해당 SFP는 잠재적으로 손상된 구성 요소로 간주되어 교체되어야 합니다. 이 예에서는 모든 구성 요소가 정상 상태입니다.
N9K-C93180YC-FX# show interface e1/5 transceiver details
Ethernet1/5
transceiver is present
type is 10Gbase-SR >>>SFP type
name is CISCO-OPLINK >>>SFP vendor
part number is TPP4XGDS0CCISE2G
revision is 02
serial number is OPMXXXXXXXX >>>SFP SN
nominal bitrate is 10300 MBit/sec >>>SFP bitrate
Link length supported for 50/125um OM2 fiber is 82 m
Link length supported for 62.5/125um fiber is 26 m
Link length supported for 50/125um OM3 fiber is 300 m
cisco id is 3
cisco extended id number is 4
cisco part number is 10-2415-03
cisco product id is SFP-10G-SR >>>SFP PID
cisco version id is V03
SFP Detail Diagnostics Information (internal calibration)
----------------------------------------------------------------------------
Current Alarms Warnings
Measurement High Low High Low
----------------------------------------------------------------------------
Temperature 36.52 C 75.00 C -5.00 C 70.00 C 0.00 C
Voltage 3.28 V 3.63 V 2.97 V 3.46 V 3.13 V
Current 6.61 mA 12.00 mA 0.50 mA 11.50 mA 1.00 mA
Tx Power -2.70 dBm 1.99 dBm -11.30 dBm -1.00 dBm -7.30 dBm
Rx Power -2.40 dBm 1.99 dBm -13.97 dBm -1.00 dBm -9.91 dBm
Transmit Fault Count = 0
----------------------------------------------------------------------------
Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning
peer side information is snipped.
이전 검사에서 모든 구성 요소가 정상으로 표시되는 경우 스왑 테스트를 통해 결함이 있는 부품의 범위를 좁혀야 합니다. 스왑 테스트는 다른 모든 조건은 변경하지 않은 상태로 유지하고 구성 요소를 한 번에 하나씩 변경하면서 수행할 수 있습니다. 결국 링크는 결함이 있는 특정 구성 요소를 교체한 후에 안정화됩니다.
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
1.0 |
31-Jan-2024
|
최초 릴리스 |
피드백