起動に失敗したMDS 9000トランキング/ポートチャネルリンクのトラブルシューティング
内容
概要
このドキュメントでは、Cisco Multilayer Director Switch(MDS)と別のCiscoスイッチの間のファイバチャネル(FC)リンクがトランキングまたはポートチャネルでアップにならない理由を説明します。ただし、同じリンクがポートチャネルにない場合はアップになる可能性があります。
背景説明
これには、MDSスイッチと他のMDSスイッチ間のFCリンク、Nexusスイッチ、およびUnified Computing System(UCS)ファブリックインターコネクト(FI)が含まれます。
すべてのMDSスイッチは、ポートチャネルを介して複数の物理リンクを1つの仮想リンクに集約できるほか、別のシスコデバイスに接続すると、トランキング機能を使用したリンク経由で複数の仮想ストレージエリアネットワーク(VSAN)を転送できます。
ポートチャネルとトランキングリンクをネゴシエートするために、MDSスイッチはExchange Peer Parameters(EPP)サービスを使用して、Inter-Switch Link(ISL)のピアポート間で通信します。 ISLネゴシエーションプロセスの一部は、ピアがピアのOrganizational Unique Identifier(OUI)を持つシスコデバイスであることを確認します。
CiscoスイッチのOUIがピアのOUIデータベースにCisco OUIとしてリストされていない場合、ポートチャネルに追加されたり、インターフェイスでトランキングが有効にされたりすると、リンクがアップになりません。
起動に失敗したMDSトランキング/ポートチャネルリンクのトラブルシューティング
リンクがポートチャネルにある場合は、ポートチャネルインターフェイスのhaschannel mode activeが設定されていることを確認します。
MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active <<<<
リンクがFIなどのN_Port Virtualization(NPV)スイッチに接続されている場合は、NPIVおよびfport-channel-trunk機能が有効になっていることを確認します。
MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled
リンクがトランキングされている場合は、トランキングプロトコルがグローバルに有効になっていることを確認します。
MDSswitch# show trunk protocol
Trunk Protocol is enabled
インターフェイスでトランキングが有効になっていることを確認します。
MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<
リンクが8 Gbpsで接続されている場合は、塗り潰しパターンまたは塗り潰し語がリンクの両側で同じ設定になっていることを確認してください。デフォルトでは、MDS、N5K/N6K、およびUCS FI 6300シリーズデバイスはARBFFを使用します。N9KおよびUCS FI 6400シリーズは、8G塗り潰しパターンとしてIDLEのみをサポートします。
次のコマンドを使用して、MDS/N5K/N6Kインターフェイスfc x/yの現在の塗り潰しパターンを確認します。
slot x show hardware internal fcmac port y port-info | i FILL
MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)
N9KまたはUCS FI 6400がデフォルトでARBFFを使用するデバイスに接続されている場合、接続されたデバイスのインターフェイスをIDLEを使用するように設定する必要があります。
MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000
UCS FI 6300シリーズでは、FCアップリンクの塗り潰しパターンがUCS Manager(UCSM)で表示され、[General]タブの[SAN] > [SAN Cloud] > [Fabric] > [Uplink FC Interfaces] > [FC Interface x/Interface x/in
確認
症状
- インターフェイスは、トランキングが無効な単一ポートとして起動しますが、ポートチャネルでは起動しません。
- 単一のインターフェイスでトランキングが有効になっていると起動できない。
- ポートチャネル内またはポートチャネルに追加されると、インターフェイスは即座にエラーディセーブルになります。
ログ メッセージ
MDSおよびNexusスイッチの場合：
ピアのOUIがOUIデータベースにないスイッチでは、「physical flogi rejected, waiting for the port mode」および「EPP_SYNC」エラーが記録されます。
MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0
MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
...
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
エラーのインターフェイスを確認するには、show interface snmp-ifindex、エラーメッセージのifindexでインデックスを変換します。この例では、show flogi internal event-history errorsに含まれるifindex 12ae000を使用しています。
MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)
UCS FIの場合：ピアのOUIがOUIデータベースにないFIでは、「PI_FSM_EV_PORT_CONFIG_FAILURE」および「port fcx/y attempting vf tagging on non-cisco switch」エラーが記録されます。
UCS(nxos)# show port internal event-history errors
1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7
2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch
OUIデータベース
各スイッチからOUIを抽出します。OUIは、ワールドワイドネーム(WWN)の3番目、4番目、および5番目のオクテットです。
peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx
この例では、スイッチOUIは0x002A6Aです。
スイッチのOUIデータベースで、ピアスイッチのOUIを確認します。コマンドに出力がない場合、OUIはデータベースに存在しません。
MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#
取り組む
スイッチOUIデータベースは、スイッチソフトウェアのアップグレードによって更新されます。ピアスイッチのOUIを含むOUIデータベースを使用してスイッチをソフトウェアバージョンにアップグレードできるまで、トランキングを無効にしたポートチャネルの外部に設定された単一のリンクを使用します。
MDSおよびNexusスイッチ上のwwn oui <hex oui>コマンドは、スイッチのOUIデータベースにCisco OUIを手動で追加できます。
MDSスイッチでは、この機能はNX-OSバージョン7.3(0)D1(1)以降で使用できます。
Nexus 5K/6Kスイッチでは、この機能はNX-OSバージョン7.3(3)N1(1)以降で追加されました。
NX-OS 7.xのNexus 9000スイッチでは、この機能はNX-ISバージョン7.3(1)N1(1)以降で使用できます。
NX-OSの他のバージョンのNexus 9000スイッチでは、この機能はNX-OSバージョン9.3(3)以降で使用できます。
Example: MDSswitch# configure terminal
MDSswitch(config)# wwn oui 0x0000fc
MDSswitch# show wwn oui
OUI Vendor Default/Static
----------------------------------------------------
0x0000fc Cisco Static
ACIイメージ上のNexus 9000スイッチは、APIC in15.0(1k)以降からランタイムでライブラリにOUIを追加できます。
OUIデータベースの追加
表1.1. MDS OUIデータベースの追加
| OUI |
OUIを含むソフトウェア |
| 0x547手数料 |
NX-OS 5.0(1)以降のすべてのバージョン。 |
| 0x00351A 0x003A7D |
NX-OS 5.x(5.2(8h)以降) NX-OS 6.x(6.2(17)以降) NX-OS 7.x(7.3(1)D1(1)以降) NX-OS 8.3(1)以降のすべてのバージョン。 |
| 0x0018BA 0x001B54 |
NX-OS 5.2(6)以降のすべてのバージョン。 |
| 0x508789 0xFC5B39 |
NX-OS 6.2(11)以降のすべてのバージョン。 |
| 0x000831 0x74A02F |
NX-OS 5.x(5.2(8g)以降) 6.2(11c)以降のNX-OS 6.x NX-OS 7.3(1)D1(1)以降のすべてのバージョン。 |
| 0x70EA1A 0xC4F7D5 |
NX-OS 8.4(2)以降のすべてのバージョン。 |
| 0x00FD22 0x10B3D5 |
NX-OS 6.x(6.2(33)以降) NX-OS 8.4(2)以降のすべてのバージョン。 |
| 0xDC774C |
8.4(2c)以降のNX-OS 8.4(x) NX-OS 9.x(9.2(1)以降) |
| 0x3C13CC 0x4CE176 |
決定 |
表1.2. Nexus 5000/5500/5600/6000 OUIデータベースの追加
| OUI |
OUIを含むソフトウェア |
| 0x002A6A 0x00DEFB 0x8C604F |
NX-OS 5.1(3)N2(1)以降 NX-OS 5.2(1)N1(4)以降 NX-OS 6.0(2)N1(2)以降のすべてのバージョン。 |
| 0x50EB1A 0x9371D5 |
NX-OS 7.3(7)N1(1)以降のすべてのバージョン。 |
| 0x3C13CC 0x4CE176 0xDC774C |
NX-OS 7.3(10)N1(1)以降のすべてのバージョン。 |
表1.3. Nexus 9000 OUIデータベースの追加
| OUI |
OUIを含むソフトウェア |
||||
| 0x000831 0x001086 |
0x18E728 0x1C6A7A |
0x70DB98 0x70DF2F |
0xBADBAD 0xBC26C7 |
NX-OS9.2(4)以降のすべてのバージョン。 |
|
| 0x3C13CC 0x4CE176 0xDC774C |
NX-OS10.1(2)以降のすべてのバージョン。 |
||||
表1.4 UCS FI OUIデータベースの追加
| OUI |
OUIを含むソフトウェア |
| 0x0018BA 0x001B54 |
2.2(8j)以降のバンドルソフトウェア2.x。 3.1(3b)および3.1(3h)以降のバンドルソフトウェア3.x。 バンドルソフトウェア3.2(3d)以降 |
| 0x002651 |
2.2(8j)以降のバンドルソフトウェア2.x。 3.1(3h)以降のバンドルソフトウェア3.x。 バンドルソフトウェア3.2(3d)以降 |
| 0x0025B5 0xA44C11 |
3.1(3h)以降のバンドルソフトウェア3.x。 バンドルソフトウェア3.2(3d)以降 |
| 0x000831 0x003A9C 0xD0A5A6 |
3.2.(3h)以降のバンドルソフトウェア3.x。 4.0(1x)のすべてのバージョンのバンドルソフトウェア。 4.0(2b)以降のバンドルソフトウェア。 |
| 0x6400F1 |
バンドルソフトウェア3.3(5b)以降 |
| 0x00EEAB 0x0476B0 |
バンドルソフトウェア4.1(3a)以降 |
| 0xAC7A56 |
バンドルソフトウェア4.1(2a)以降 |
| 0x3C13CC 0x4CE176 0xDC774C |
バンドルソフトウェア4.2(1d)以降 |
警告
Cisco Bug ID CSCut41864 - Port process crashes when interface > 64 used for NPV-NPIV connections
Cisco Bug ID CSCuz52695 - UCS FI FC Uplinks Error Disable Immediately Connected NPV to MDS9396S
Cisco Bug ID CSCvp95480 - 6454 FI - UCSMの設定中に許可されるWWxNアドレスを制限する（マルチキャストアドレスを避ける）
スイッチのOUIライブラリにないOUIを文書化するために、複数のバグが報告されています。これには、次のようなルーティング プロトコルが含まれます。
MDS/UCSの不具合
Cisco Bug ID CSCtr01652:N7K OUIをCisco OUIのリストに追加します。MDS.
MDS/N5K/N6Kのバグ
Cisco Bug ID CSCty04686:MAC OUI「002a6a」、「8c604f」、「00defb」を5k/UCS-FIに追加
MDSのバグ
Cisco Bug ID CSCta97375 - GLDN:SABER:Saber ouiはcisco oui 547FEEとして認識されません。
Cisco Bug ID CSCur44218 - MiniUCS FI OUIをCisco OUIのリストに追加
Cisco Bug ID CSCuz11494 - FCポートチャネルがピアUCS OUI 00:c8:8bで起動しない
Cisco Bug ID CSCuu03717 - OUI 00:3a:9c, 00:08:31, d0:a5:a6をデフォルトのOUIリストに追加します
Cisco Bug ID CSCuu26045 - MiniUCS FI OUI 0x74a02fを認識されたCisco OUIのMDSリストに追加
Cisco Bug ID CSCvx67383：スイッチOUI 0x3C13CC(3C:13:CC)がアップまたはトランクにならないACIリーフN9KへのMDSポートチャネル
Cisco Bug ID CSCvx49403 - CiscoスイッチOUI 0xDC774Cのポートチャネルが起動またはトランクしない。
Cisco Bug ID CSCvr60193 - OUI C4:F7:D5をデフォルトのOUIリストに追加します
Cisco Bug ID CSCvp19788
- MDS 9000OUI 70:EA:1AをOUIライブラリに追加
Cisco Bug ID CSCvt28351：デフォルトのOUIリストに6つのOUIを追加します
Cisco Bug ID CSCvw14504 - OUI 0x4CE176をOUIデータベースに追加する – Port-channels and trunking not working with OUI 0x4CE176
Cisco Bug ID CSCvx67383：スイッチOUI 0x3C13CC(3C:13:CC)がアップまたはトランクにならないACIリーフN9KへのMDSポートチャネル
N5K/N6Kのバグ
Cisco Bug ID CSCvx72821 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.
Cisco Bug ID CSCvp54881 - UCSとNexus 56128pの間にSANポートチャネルを作成できない
N9Kのバグ
Cisco Bug ID CSCvp21786 - Nexus 9000:::Unable to bring F mode san-port-channel or trunking between MDS and N9K
Cisco Bug ID CSCvx68507 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.
UCSのバグ
Cisco Bug ID CSCvk63036 - UCSでOUI 003a9c、000831、d0a5a6が欠落している – FC/FCoEポートチャネルが形成されない
Cisco Bug ID CSCvv70634 - UCS FIでN9K OUIを追加する必要がある
Cisco Bug ID CSCvx68517 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.Cisco Bug ID
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
23-Feb-2022 |
初版 |
フィードバック