Nexus 9000 でのリンクフラップ問題のトラブルシューティング
ダウンロード オプション
偏向のない言語
この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。
翻訳について
シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版（リンクからアクセス可能）もあわせて参照することを推奨します。
内容
はじめに
このドキュメントでは、Nexus 9000スイッチのレイヤ1リンクフラップの問題をトラブルシューティングする方法について説明します。
前提条件
要 件
このドキュメントで説明されている情報に進む前に、Cisco Nexusオペレーティングシステム(NX-OS)と基本的なNexusアーキテクチャに精通しておくことをお勧めします。
使用するコンポーネント
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
- N9K-C93180YC-FX
- nxos64-cs.10.2.6.M
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されたものです。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
リンクフラップの原因の理解
リンクフラップは、Nexus 9000などのスイッチ上の物理インターフェイスがアップとダウンを繰り返し切り替えるネットワーキングの問題です。この破壊的な動作により、ネットワークのパフォーマンスが低下し、ネットワークが不安定になり、通信が中断して、著しい不便が生じる可能性があります。リンクのフラップは通常、物理層の障害やプロトコル同期の問題によって発生します。
- プロトコルによってトリガーされるリンクフラップ
プロトコルによってトリガされるリンクフラップは、プロトコル同期に問題がある場合に発生します。これには、Link Aggregation Control Protocol(LACP)、Virtual Port-Channel(VPC)などのプロトコルが含まれます。この問題は、プロトコルの設定ミスやパケット損失が原因でリンクが不安定になることによって発生する可能性があります。定期的なモニタリングとソフトウェアのタイムリーなアップデートにより、このタイプのリンクフラップを防止できます。
- レイヤ1の物理的な問題
リンクのフラップは、ネットワークの物理層であるレイヤ1からも発生します。多くの場合、これにはケーブルやインターフェイスなどの物理コンポーネントが含まれます。ケーブルの損傷、緩み、経年変化、およびインターフェイスの誤動作により、リンクがフラップすることがあります。ケーブルのチェックやインターフェイスのテストを含む定期的な物理的な検査とメンテナンスは、リンクのフラップが発生する前にこれらの問題を特定して修正するのに役立ちます。
この記事では、レイヤ1の物理的な問題のトラブルシューティングに重点を置いています。
リンクフラップの識別
リンクのフラップは、ログから簡単に特定できます。この例では、ポートE1/5でのリンクフラップイベントが表示されています。このイベントでは、ポートがダウンした後、アップに戻ります。
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/5, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/5, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/5, operational Transmit Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface port-channel100, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface port-channel100, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-channel100, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-channel100, operational Transmit Flow Control state changed to off
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from none to Ethernet1/5
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 10000000 Kbit
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface Ethernet1/5 is up in mode access
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel100 is up in mode access
レイヤ1リンクフラップまたはプロトコルによってトリガーされるリンクフラップを特定する
イーサネットポートマネージャ(Ethpm)は、イーサネットインターフェイスを管理するプロセスです。Ethpmイベント履歴は、リンクフラップの原因を特定するために使用できます。
レイヤ1フラップの例
E1/5では、ETH_PORT_FSM_EV_LINK_DOWNによってトリガーされるethpm遷移により、05:28:35でリンク障害が発生します。これは、レイヤ1フラップを示しています。
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/5
[143] 2024-01-21T05:26:02.100255000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[144] 2024-01-21T05:27:35.783495000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_LINK_DOWN]
Next state: [FSM_ST_NO_CHANGE]
LACP Triggered Flapの例
E1/8は07:40:07に初期化停止状態に移行します。ethpmの移行はETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQによってトリガーされます。これは、Link Aggregation Control Protocol(LACP)によってトリガーされるリンクフラップを示します。
2024 Jan 21 07:37:20 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel200 is up in Layer3
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel200 is down (No operational members)
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel200: first operational port changed from Ethernet1/8 to none
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel200: Ethernet1/8 is down
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel200,bandwidth changed to 100000 Kbit
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/8 is down (Initializing)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/8
[218] 2024-01-21T07:37:20.551880000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[219] 2024-01-21T07:40:07.104339000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ]
Next state: [FSM_ST_NO_CHANGE]
レイヤ1リンクフラップのトラブルシューティング
シスコは、幅広い速度、メディア、距離に対応する幅広いオプティカルモジュールを提供しています。リンクをNexus 9000に接続する前に、SFPとケーブルが現在のソフトウェアとハードウェアと互換性があることを確認します。これは、次の方法で確認できます。
Cisco Optics-to-Device互換性マトリクス
Cisco Optics-to-Optics相互運用性マトリクス
NX-OS 10.2.1以降のリリースでのレイヤ1の問題
NX-OS 10.2.1以降、Platform Insights Engine(PIE)はすべてのCloudscale ToRおよびEoRプラットフォームでサポートされています。PIEは、オンスイッチのリアルタイムの根本原因分析アプリケーションです。
3つのPIEは、レイヤ1のリンクフラップ問題の解決に役立ちます。
リンクフラップPIE
リンクフラップPIEは、ユーザ空間ドライバ(USD)によって発行されたリンクフラップイベントを分析し、リンクフラップの根本原因を特定します。PIEは、根本原因の分析に関する情報をブローカに発行します。リンクフラップイベントは、リンクがフラップしたときにUSD（PIEクライアント）によって発行されます。USDは、根本原因の分析に必要なASICとUSDから関連データをすべて収集し、そのデータをブローカに公開します。リンクフラップPIEはデータを分析し、最も可能性の高いフラップの根本原因に到達します。
リンクダウン円
リンクダウンPIEは、リンクがアップしない根本的な原因を見つけます。インターフェイスがアップに設定されていても、インターフェイスの動作状態がアップではない場合、USDはインターフェイスに関するデータを収集します。このデータはPIEアプリケーションに発行されます。リンクダウンPIEはこれらのイベントにサブスクライブし、ブローカからデータを受信し、根本原因を見つけるためにデータを分析します。
光ファイバPIE
光ファイバPIEは、定期的に収集されたDOMデータの時系列分析を実行する継続的なモニタリングエンジンです。DOMのさまざまなパラメータを一定期間にわたって追跡することにより、PIEは各光ポートの光の状態を記述するメトリックに到達します。このメトリックは、光トランシーバの健全性の傾向に関する情報です。
詳細については、次のPIEのドキュメントを参照してください。
Cisco Nexus 9000シリーズNX-OSプラットフォームInsights Engineガイド、リリース10.2(x)
PIEの例：ピア側のポートをシャットダウンしてから再度有効にすることによって発生するリンクフラップ
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
<snip>
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-flap-rca
2024-01-21 05:27:35 Event Id: 00000068 Ethernet1/5 Source Id: 436209664 RCA Code: 41 >>>PIE event time
Reason: Link flapped/down due to Local Fault, check peer >>>PIE link flap reason
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:30:12 Event Id: 00000080 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
2024-01-21 05:28:12 Event Id: 00000072 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
PIEの例：ピア側のポートのシャットダウンによるリンクダウン
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-down-rca
2024-01-21 05:48:48 Event Id: 00000197 Ethernet1/5 Source Id: 436209664 RCA Code: 16 >>>PIE event time
Reason: No PCS alignment detected. Please check Fec, speed, Autoneg configurations with peer >>>Physical layer failed
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:50:12 Event Id: 00000199 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: ********BAD******** Mod: 01
2024-01-21 05:48:12 Event Id: 00000187 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
故障部品の交換
PIEの出力に基づいて、障害が発生する可能性のあるコンポーネントを交換し、モニタリングを続行することを推奨します。リンクフラップが続く場合は、障害のある部分を絞り込むためのスワップテストが必要です。スワップテストは、他の要素は変更せずに、一度に1つの要素を変更することで実行できます。最終的には、障害のある特定のコンポーネントが交換された後、リンクは安定します。
NX-OS 10.1.2以前のリリースでのレイヤ1の問題
10.2(1)より前のNX-OSソフトウェアリリースでは、PIEはサポートされていません。レイヤ1リンクフラップのチェックには、手動の手順がいくつか必要です。
ポートクライアントイベント履歴の確認
これにより、接続されたモジュール上のすべてのリンクイベントがリストされます。デバウンス時間とは、インターフェイスがスーパーバイザにリンクのダウンを通知するまで待機する時間です。この間、インターフェイスはリンクがアップに戻るまで待機します。これは、リンクがダウンしているかどうか、または軽度のフラップが発生しただけかどうかを判断するために使用されます。
N9K-C93180YC-FX# attach module 1
module-1# show system internal port-client link-event
*************** Port Client Link Events Log ***************
---- ------ ----- ----- ------
Time PortNo Speed Event Stsinfo
---- ------ ----- ----- ------
Jan 21 05:48:38 2024 00122142 Ethernet1/5 ---- DOWN Link down debounce timer stopped and link is down
Jan 21 05:48:37 2024 00993003 Ethernet1/5 ---- DOWN Link down debounce timer started(0x40e50006)
Jan 21 05:45:14 2024 00432606 Ethernet1/5 10G UP SUCCESS(0x0)
ASICイベントの確認
これらのイベントは、各リンクイベントに関する詳細情報を提供します。
N9K-C93180YC-FX# attach module 1
module-1# show hardware internal tah link-events fp-port 5
324) Jan 21 05:48:37 2024 uSec 992843: Fp 5 : tahusd_isr.c #8469
Port Down with an ASIC interrupt
------------- ASIC MAC/PCS/Serdes REGS (Mac Channel 0) -------------
Link flapped due to Local Fault, check peer >>>Local Fault means the local device detected the issue on the receive path.
>>>Remote Fault means a Local Fault is detected across the link.
Intr Regs 00:0x0000, 01:0x0000, 02:0x0000, 03:0x0010, 07:0x0000, 11:0x0000, 15:0x0000
sts2.bercount : 0x0f00 sts2.erroredblocks : 0x0000
bercounthi : 0x0000 erroredblockhi : 0x0000
counters0.syncloss : 0x0001 counters0.blocklockloss: 0x0001
counters1.highber : 0x0000 counters1.vlderr : 0x0000
counters2.unkerr : 0x0012 counters2.invlderr : 0x0000
|
エラー コード |
説明 |
|
|
sts2.erroredblocks（ブロックのエラー） |
エラーのあるブロック（上位ビット）をカウントします。 |
|
|
sts2.bercount（カウント） |
不正な同期ヘッダー（下位ビット）をカウントします。 |
|
|
ベルカント |
不正な同期ヘッダー（上位ビット）をカウントします。 |
|
|
誤ったブロック |
エラーのあるブロック（上位ビット）をカウントします。 |
|
|
counters0.syncloss |
同期損失 |
|
|
counters0.blocklockloss |
ブロックのロック損失 |
|
|
カウンタ1.highber |
高いBER |
|
|
カウンタ1.vlderr |
有効なエラー |
|
|
カウンタ2.unkerr |
不明なエラー |
|
|
カウンタ2.invrderr |
無効なエラー |
|
両側でのDigital Optical Monitoring(DOM)情報の確認
この出力には、Small Form-factor Pluggable（SFP；着脱可能小型フォームファクタ）に関するいくつかの情報が含まれています。いずれかの値がSFP診断で許容可能な範囲を超えている場合は、SFPが損傷している可能性があるコンポーネントと見なされ、交換する必要があります。この例では、すべてが正常な状態です。
N9K-C93180YC-FX# show interface e1/5 transceiver details
Ethernet1/5
transceiver is present
type is 10Gbase-SR >>>SFP type
name is CISCO-OPLINK >>>SFP vendor
part number is TPP4XGDS0CCISE2G
revision is 02
serial number is OPMXXXXXXXX >>>SFP SN
nominal bitrate is 10300 MBit/sec >>>SFP bitrate
Link length supported for 50/125um OM2 fiber is 82 m
Link length supported for 62.5/125um fiber is 26 m
Link length supported for 50/125um OM3 fiber is 300 m
cisco id is 3
cisco extended id number is 4
cisco part number is 10-2415-03
cisco product id is SFP-10G-SR >>>SFP PID
cisco version id is V03
SFP Detail Diagnostics Information (internal calibration)
----------------------------------------------------------------------------
Current Alarms Warnings
Measurement High Low High Low
----------------------------------------------------------------------------
Temperature 36.52 C 75.00 C -5.00 C 70.00 C 0.00 C
Voltage 3.28 V 3.63 V 2.97 V 3.46 V 3.13 V
Current 6.61 mA 12.00 mA 0.50 mA 11.50 mA 1.00 mA
Tx Power -2.70 dBm 1.99 dBm -11.30 dBm -1.00 dBm -7.30 dBm
Rx Power -2.40 dBm 1.99 dBm -13.97 dBm -1.00 dBm -9.91 dBm
Transmit Fault Count = 0
----------------------------------------------------------------------------
Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning
peer side information is snipped.
スワップテストと障害部品の交換
上記のチェックですべて問題ないと思われる場合は、障害のある部分を絞り込むためにスワップテストが必要です。スワップテストは、他の要素は変更せずに、一度に1つの要素を変更することで実行できます。最終的には、障害のある特定のコンポーネントが交換された後、リンクは安定します。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
31-Jan-2024
|
初版 |
シスコ エンジニア提供
- ボーエン寺シスコテクニカルコンサルティングエンジニア
フィードバックシスコに問い合わせ
- サポート ケースをオープン
- (シスコ サービス契約が必要です。)