内容

はじめに

前提条件

要件

使用するコンポーネント

リンクフラップの原因の理解

リンクフラップの特定

レイヤ1リンクフラップまたはプロトコルトリガーリンクフラップを特定する

レイヤ1フラップの例

LACPでトリガーされるフラップの例

レイヤ1リンクフラップのトラブルシューティング

NX-OS 10.2.1以降のリリースでのレイヤ1の問題

リンクフラップPIE

リンクダウンPIE

光ファイバPIE

PIEの例：ピア側のポートをシャットダウンしてから再度有効にすることによって発生するリンクフラップ

PIEの例：ピア側のポートのシャットダウンによるリンクダウン

障害のある部品の交換

NX-OS 10.1.2以前のリリースでのレイヤ1の問題

ポートクライアントイベント履歴の確認

ASICイベントの確認

両側のデジタルオプティカルモニタリング(DOM)情報のチェック

テストと障害部品の交換の交換

関連情報

はじめに

本資料 d説明 nexus 9000スイッチでのレイヤ1リンクフラップ問題のトラブルシューティング方法

前提条件

要件

このドキュメントで説明する情報に進む前に、Cisco Nexusオペレーティングシステム(NX-OS)と基本的なNexusアーキテクチャに精通しておくことをお勧めします。

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

- N9K-C93180YC-FX

- nxos64-cs.10.2.6.M（入手可能）

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

リンクフラップの原因の理解

リンクフラップは、Nexus 9000などのスイッチ上の物理インターフェイスがアップ状態とダウン状態を交互に繰り返すネットワーキングの問題です。この破壊的な動作は、ネットワークパフォーマンスを低下させ、ネットワークを不安定にし、通信を中断させ、それによって大きな不都合を引き起こす可能性があります。リンクフラップは通常、物理層の障害やプロトコル同期の問題によって発生します。

- プロトコルトリガーリンクフラップ

プロトコルによってトリガーされるリンクフラップは、プロトコル同期に問題がある場合に発生します。これには、Link Aggregation Control Protocol(LACP)、Virtual Port-Channel(VPC)などのプロトコルが含まれます。この問題は、プロトコルの設定ミスやパケットの損失によってリンクが不安定になることによって発生する可能性があります。定期的なモニタリングとソフトウェアのタイムリーなアップデートにより、このタイプのリンクフラップを防止できます。

- レイヤ1の物理的な問題

リンクのフラップは、ネットワークの物理層であるレイヤ1からも発生する可能性があります。多くの場合、これにはケーブルやインターフェイスなどの物理コンポーネントが含まれます。ケーブルの損傷、緩み、または老朽化、およびインターフェイスの誤動作により、リンクがフラップする可能性があります。ケーブルのチェックやインターフェイスのテストなど、定期的な物理的な検査とメンテナンスは、リンクのフラップが発生する前にこれらの問題を特定して修正するのに役立ちます。

この記事では、レイヤ1の物理的な問題のトラブルシューティングに重点を置いています。

リンクフラップの特定

リンクのフラップは、ログから簡単に特定できます。この例では、ポートE1/5でのリンクフラップイベントを示しています。このイベントでは、ポートがダウンした後、アップに戻ります。

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/5, operational duplex mode changed to Full

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/5, operational Receive Flow Control state changed to off

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/5, operational Transmit Flow Control state changed to off

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface port-channel100, operational speed changed to 10 Gbps

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface port-channel100, operational duplex mode changed to Full

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-channel100, operational Receive Flow Control state changed to off

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-channel100, operational Transmit Flow Control state changed to off

2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up

2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from none to Ethernet1/5

2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 10000000 Kbit

2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface Ethernet1/5 is up in mode access

2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel100 is up in mode access

レイヤ1リンクフラップまたはプロトコルトリガーリンクフラップを特定する

イーサネットポートマネージャ(Ethpm)は、イーサネットインターフェイスを管理するプロセスです。Ethpmイベント履歴は、リンクフラップの原因を特定するために使用できます。

レイヤ1フラップの例

E1/5では、05:28:35にリンク障害が発生し、ethpm移行はETH_PORT_FSM_EV_LINK_DOWNによってトリガーされます。これは、レイヤ1フラップを示しています。

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

N9K-C93180YC-FX# show system internal ethpm event-history interface e1/5

[143] 2024-01-21T05:26:02.100255000+00:00 [-] FSM:<Ethernet1/5> Transition:

Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]

Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]

Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]

[144] 2024-01-21T05:27:35.783495000+00:00 [-] FSM:<Ethernet1/5> Transition:

Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]

Triggered event: [ETH_PORT_FSM_EV_LINK_DOWN]

Next state: [FSM_ST_NO_CHANGE]

LACPでトリガーされるフラップの例

E1/8は07:40:07に初期化停止状態に入り、ethpm移行はETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQによってトリガーされます。これは、Link Aggregation Control Protocol(LACP)によってトリガーされるリンクフラップを示します。

2024 Jan 21 07:37:20 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel200 is up in Layer3

2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel200 is down (No operational members)

2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel200: first operational port changed from Ethernet1/8 to none

2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel200: Ethernet1/8 is down

2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel200,bandwidth changed to 100000 Kbit

2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/8 is down (Initializing)

N9K-C93180YC-FX# show system internal ethpm event-history interface e1/8

[218] 2024-01-21T07:37:20.551880000+00:00 [-] FSM:<Ethernet1/8> Transition:

Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]

Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]

Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]

[219] 2024-01-21T07:40:07.104339000+00:00 [-] FSM:<Ethernet1/8> Transition:

Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]

Triggered event: [ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ]

Next state: [FSM_ST_NO_CHANGE]

レイヤ1リンクフラップのトラブルシューティング

シスコは、さまざまな速度、メディア、距離に対応する幅広いオプティカルモジュールを提供しています。リンクをNexus 9000に接続する前に、SFPとケーブルが現在お使いのソフトウェアとハードウェアと互換性があることを確認します。これを確認するには、次の手順を実行します。

Cisco Optics-to-Device互換性マトリクス

Cisco Optics-to-Opticsの相互運用性マトリクス

NX-OS 10.2.1以降のリリースでのレイヤ1の問題

NX-OS 10.2.1以降、Platform Insights Engine(PIE)はすべてのCloudscale ToRおよびEoRプラットフォームでサポートされています。PIEは、オンスイッチのリアルタイムの根本原因分析アプリケーションです。

3つのPIEは、レイヤ1リンクフラップの問題への対処に役立ちます。

リンクフラップPIE

リンクフラップPIEは、ユーザ空間ドライバ(USD)によって発行されたリンクフラップイベントを分析し、リンクフラップの根本原因を特定します。PIEは、根本原因の分析に関する情報をブローカに発行します。リンクフラップイベントは、リンクがフラップしたときにUSD（PIEクライアント）によって発行されます。USDは、根本原因の分析に必要なASICおよびUSDからすべての関連データを収集し、そのデータをブローカに公開します。リンクフラップPIEはデータを分析し、最も可能性の高いフラップの根本原因に到達します。

リンクダウンPIE

リンクダウンPIEは、リンクがアップしない根本的な原因を見つけます。インターフェイスがアップに設定されているが、インターフェイスの動作状態がアップではない場合、USDはインターフェイスに関するデータを収集します。このデータはPIEアプリケーションに発行されます。リンクダウンPIEはこれらのイベントにサブスクライブし、ブローカからデータを受信し、根本原因を見つけるためにデータを分析します。

光ファイバPIE

光ファイバPIEは、定期的に収集されたDOMデータの時系列分析を実行する継続的なモニタリングエンジンです。DOM内のさまざまなパラメータを一定期間にわたって追跡することで、PIEは各光ポートの光の状態を記述するメトリックに到達します。このメトリックは、光トランシーバの健全性の傾向に関する洞察です。

詳細については、次のPIEドキュメントを参照してください。

Cisco Nexus 9000シリーズNX-OSプラットフォームInsights Engineガイド、リリース10.2(x)

PIEの例：ピア側のポートをシャットダウンしてから再度有効にすることによって発生するリンクフラップ

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)

2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps

<snip>

2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up

N9K-C93180YC-FX# show pie interface ethernet 1/5 link-flap-rca

2024-01-21 05:27:35 Event Id: 00000068 Ethernet1/5 Source Id: 436209664 RCA Code: 41   >>>PIE event time

Reason: Link flapped/down due to Local Fault, check peer                               >>>PIE link flap reason

N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights

2024-01-21 05:30:12 Event Id: 00000080 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01

2024-01-21 05:28:12 Event Id: 00000072 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01

PIEの例：ピア側のポートのシャットダウンによるリンクダウン

2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none

2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down

2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit

2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)

2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)

N9K-C93180YC-FX# show pie interface ethernet 1/5 link-down-rca

2024-01-21 05:48:48 Event Id: 00000197 Ethernet1/5 Source Id: 436209664 RCA Code: 16           >>>PIE event time

Reason: No PCS alignment detected. Please check Fec, speed, Autoneg configurations with peer   >>>Physical layer failed

N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights

2024-01-21 05:50:12 Event Id: 00000199 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: ********BAD******** Mod: 01

2024-01-21 05:48:12 Event Id: 00000187 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01

障害のある部品の交換

PIEの出力に基づいて、障害が発生する可能性のあるコンポーネントを交換し、監視を続行することを推奨します。リンクフラップが続く場合は、障害のある部分を絞り込むためにスワップテストが必要です。スワップテストは、他のすべてを変更せずに、一度に1つのコンポーネントを変更することで実行できます。最終的には、障害のある特定のコンポーネントが交換された後に、リンクが安定します。

NX-OS 10.1.2以前のリリースでのレイヤ1の問題

10.2(1)より前のNX-OSソフトウェアリリースでは、PIEはサポートされていません。レイヤ1リンクフラップをチェックするには、手動で複数の手順を実行する必要があります。

ポートクライアントイベント履歴の確認

これにより、接続されたモジュール上のすべてのリンクイベントがリストされます。デバウンス時間とは、インターフェイスがスーパーバイザにリンクのダウンを通知するまで待機する時間です。この間、インターフェイスはリンクがアップに戻るかどうかを確認するために待機します。これは、リンクがダウンしているかどうか、または軽度のフラップが発生しただけかどうかを判断するために使用されます。

N9K-C93180YC-FX# attach module 1

module-1# show system internal port-client link-event

*************** Port Client Link Events Log ***************

---- ------ ----- ----- ------

Time PortNo Speed Event Stsinfo

---- ------ ----- ----- ------

Jan 21 05:48:38 2024 00122142 Ethernet1/5 ---- DOWN Link down debounce timer stopped and link is down

Jan 21 05:48:37 2024 00993003 Ethernet1/5 ---- DOWN Link down debounce timer started(0x40e50006)

Jan 21 05:45:14 2024 00432606 Ethernet1/5 10G UP SUCCESS(0x0)

ASICイベントの確認

これらのイベントは、各リンクイベントに関する詳細情報を提供します。

N9K-C93180YC-FX# attach module 1

module-1# show hardware internal tah link-events fp-port 5

324) Jan 21 05:48:37 2024 uSec 992843: Fp 5 : tahusd_isr.c #8469

Port Down with an ASIC interrupt

------------- ASIC MAC/PCS/Serdes REGS (Mac Channel 0) -------------

Link flapped due to Local Fault, check peer          >>>Local Fault means the local device detected the issue on the receive path.

>>>Remote Fault means a Local Fault is detected across the link.

Intr Regs 00:0x0000, 01:0x0000, 02:0x0000, 03:0x0010, 07:0x0000, 11:0x0000, 15:0x0000

sts2.bercount : 0x0f00 sts2.erroredblocks : 0x0000

bercounthi : 0x0000 erroredblockhi : 0x0000

counters0.syncloss : 0x0001 counters0.blocklockloss: 0x0001

counters1.highber : 0x0000 counters1.vlderr : 0x0000

counters2.unkerr : 0x0012 counters2.invlderr : 0x0000

エラー コード

説明

sts2.erroredブロック

エラーのあるブロック（上位ビット）をカウントします。

sts2.bercountを使用します。

不正な同期ヘッダー（下位ビット）をカウントします。

ベルカント

不正な同期ヘッダー（上位ビット）のカウント。

エラーBLOCKHI

エラーのあるブロック（上位ビット）をカウントします。

カウンタ0.syncloss

同期損失

counters0.blocklockloss

ブロックのロック損失

カウンタ1.highber

高いBER

カウンタ1.vlderr

有効なエラー

カウンタ2.unkerr

不明なエラー

カウンタ2.invlderr

無効なエラー

両側のデジタルオプティカルモニタリング(DOM)情報のチェック

この出力には、Small Form-factor Pluggable（SFP；着脱可能小型フォームファクタ）に関するいくつかの情報が含まれています。いずれかの値がSFP診断で許容される範囲を超えている場合は、SFPが損傷している可能性のあるコンポーネントと見なされ、交換する必要があります。この例では、すべてが正常に動作しています。

N9K-C93180YC-FX# show interface e1/5 transceiver details

Ethernet1/5

transceiver is present

type is 10Gbase-SR                      >>>SFP type

name is CISCO-OPLINK                    >>>SFP vendor

part number is TPP4XGDS0CCISE2G

revision is 02

serial number is OPMXXXXXXXX            >>>SFP SN

nominal bitrate is 10300 MBit/sec       >>>SFP bitrate

Link length supported for 50/125um OM2 fiber is 82 m

Link length supported for 62.5/125um fiber is 26 m

Link length supported for 50/125um OM3 fiber is 300 m

cisco id is 3

cisco extended id number is 4

cisco part number is 10-2415-03

cisco product id is SFP-10G-SR          >>>SFP PID

cisco version id is V03

SFP Detail Diagnostics Information (internal calibration)

----------------------------------------------------------------------------

Current                Alarms       Warnings

Measurement           High    Low    High    Low

----------------------------------------------------------------------------

Temperature 36.52 C           75.00 C -5.00 C 70.00 C 0.00 C

Voltage     3.28 V             3.63 V  2.97 V  3.46 V 3.13 V

Current     6.61 mA         12.00 mA 0.50 mA 11.50 mA 1.00 mA

Tx Power   -2.70 dBm        1.99 dBm -11.30 dBm -1.00 dBm -7.30 dBm

Rx Power   -2.40 dBm        1.99 dBm -13.97 dBm -1.00 dBm -9.91 dBm

Transmit Fault Count = 0

----------------------------------------------------------------------------

Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning

peer side information is snipped.

テストと障害部品の交換の交換

上記のチェックですべて問題なく見える場合は、障害のある部分を絞り込むためにスワップテストが必要です。スワップテストは、他のすべてを変更せずに、一度に1つのコンポーネントを変更することで実行できます。最終的には、障害のある特定のコンポーネントが交換された後、リンクが安定します。

関連情報

Nexus 9000データシート

Nexus 9000インターフェイス設定ガイド

『Nexus 9000 Series NX-OS Platform Insights Engine Guide』