内容

概要

背景説明

起動に失敗したMDSトランキング/ポートチャネルリンクのトラブルシューティング

確認

症状

ログ メッセージ

OUIデータベース

取り組む

OUIデータベースの追加

表1.1. MDS OUIデータベースの追加

表1.2. Nexus 5000/5500/5600/6000 OUIデータベースの追加

表1.3. Nexus 9000 OUIデータベースの追加

表1.4 UCS FI OUIデータベースの追加

警告

概要

このドキュメントでは、Cisco Multilayer Director Switch(MDS)と別のCiscoスイッチの間のファイバチャネル(FC)リンクがトランキングまたはポートチャネルでアップにならない理由を説明します。ただし、同じリンクがポートチャネルにない場合はアップになる可能性があります。

背景説明

これには、MDSスイッチと他のMDSスイッチ間のFCリンク、Nexusスイッチ、およびUnified Computing System(UCS)ファブリックインターコネクト(FI)が含まれます。

ヒント：ポートチャネルとトランキングの詳細については、適切なポートチャネルおよびトランキング設定ガイドを参照してください。

ポートチャネルガイド：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_portchannels.html

トランキングガイド：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_trunking.html

すべてのMDSスイッチは、ポートチャネルを介して複数の物理リンクを1つの仮想リンクに集約できるほか、別のシスコデバイスに接続すると、トランキング機能を使用したリンク経由で複数の仮想ストレージエリアネットワーク(VSAN)を転送できます。

ポートチャネルとトランキングリンクをネゴシエートするために、MDSスイッチはExchange Peer Parameters(EPP)サービスを使用して、Inter-Switch Link(ISL)のピアポート間で通信します。 ISLネゴシエーションプロセスの一部は、ピアがピアのOrganizational Unique Identifier(OUI)を持つシスコデバイスであることを確認します。

CiscoスイッチのOUIがピアのOUIデータベースにCisco OUIとしてリストされていない場合、ポートチャネルに追加されたり、インターフェイスでトランキングが有効にされたりすると、リンクがアップになりません。

起動に失敗したMDSトランキング/ポートチャネルリンクのトラブルシューティング

リンクがポートチャネルにある場合は、ポートチャネルインターフェイスのhaschannel mode activeが設定されていることを確認します。

MDSswitch# show run interface port-channel 1

...

interface port-channel1

channel mode active      <<<<

リンクがFIなどのN_Port Virtualization(NPV)スイッチに接続されている場合は、NPIVおよびfport-channel-trunk機能が有効になっていることを確認します。

MDSswitch# show feature | include npiv

npiv 1 enabled

MDSswitch# show feature | include fport

fport-channel-trunk 1 enabled

リンクがトランキングされている場合は、トランキングプロトコルがグローバルに有効になっていることを確認します。

MDSswitch# show trunk protocol

Trunk Protocol is enabled

インターフェイスでトランキングが有効になっていることを確認します。

MDSswitch# show interface port-channel 1

port-channel1 is down (No operational members)

Hardware is Fibre Channel

Port WWN is xx:xx:00:2a:6a:xx:xx:xx

Admin port mode is auto, trunk mode is on <<<<

リンクが8 Gbpsで接続されている場合は、塗り潰しパターンまたは塗り潰し語がリンクの両側で同じ設定になっていることを確認してください。デフォルトでは、MDS、N5K/N6K、およびUCS FI 6300シリーズデバイスはARBFFを使用します。N9KおよびUCS FI 6400シリーズは、8G塗り潰しパターンとしてIDLEのみをサポートします。

次のコマンドを使用して、MDS/N5K/N6Kインターフェイスfc x/yの現在の塗り潰しパターンを確認します。

slot x show hardware internal fcmac port y port-info | i FILL

MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL

FILL_WORD(raw) : ARBFF (0xbc94ffff)

注：Nexusスイッチの出力は、0x0（8 Gbpsでアップしていないインターフェイス）、0xBC94FFFF(ARBFF)、または0xBC95B5B5(IDLE)です。

N9KまたはUCS FI 6400がデフォルトでARBFFを使用するデバイスに接続されている場合、接続されたデバイスのインターフェイスをIDLEを使用するように設定する必要があります。

MDSswitch# conf t

Enter configuration commands, one per line. End with CNTL/Z.

MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000

UCS FI 6300シリーズでは、FCアップリンクの塗り潰しパターンがUCS Manager(UCSM)で表示され、[General]タブの[SAN] > [SAN Cloud] > [Fabric] > [Uplink FC Interfaces] > [FC Interface x/Interface x/in

確認

症状

- インターフェイスは、トランキングが無効な単一ポートとして起動しますが、ポートチャネルでは起動しません。

- 単一のインターフェイスでトランキングが有効になっていると起動できない。

- ポートチャネル内またはポートチャネルに追加されると、インターフェイスは即座にエラーディセーブルになります。

ログ メッセージ

注：スイッチのOUIが、リンクの片側または両側のピアのOUIデータベースに存在しない可能性があります。双方の調査が必要です。

MDSおよびNexusスイッチの場合：

ピアのOUIがOUIデータベースにないスイッチでは、「physical flogi rejected, waiting for the port mode」および「EPP_SYNC」エラーが記録されます。

MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1

...

10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013

[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode

11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013

[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode

12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013

[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0

MDSswitch# show port internal event-history errors | include EPP previous 1 next 1

...

19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013

[102] epp_ac_accept_sync: Error sending EPP_SYNC

...

27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013

[102] epp_ac_accept_sync: Error sending EPP_SYNC

エラーのインターフェイスを確認するには、show interface snmp-ifindex、エラーメッセージのifindexでインデックスを変換します。この例では、show flogi internal event-history errorsに含まれるifindex 12ae000を使用しています。

MDSswitch# show interface snmp-ifindex | include 12ae000

fc6/47 0019587072 (00012ae000)

UCS FIの場合：ピアのOUIがOUIデータベースにないFIでは、「PI_FSM_EV_PORT_CONFIG_FAILURE」および「port fcx/y attempting vf tagging on non-cisco switch」エラーが記録されます。

UCS(nxos)# show port internal event-history errors

1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018

[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7

2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018

[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch

OUIデータベース

各スイッチからOUIを抽出します。OUIは、ワールドワイドネーム(WWN)の3番目、4番目、および5番目のオクテットです。

peer-switch# show wwn switch

Switch WWN is xx:xx:00:2a:6a:xx:xx:xx

この例では、スイッチOUIは0x002A6Aです。

スイッチのOUIデータベースで、ピアスイッチのOUIを確認します。コマンドに出力がない場合、OUIはデータベースに存在しません。

MDSswitch# show wwn oui | include 0x002a6a

MDSswitch#

注：UCS FIでは、show wwnコマンドはサポートされません。FI OUIデータベースにOUIがいつ追加されたかを確認するには、表1.および表2.を参照してください。

取り組む

スイッチOUIデータベースは、スイッチソフトウェアのアップグレードによって更新されます。ピアスイッチのOUIを含むOUIデータベースを使用してスイッチをソフトウェアバージョンにアップグレードできるまで、トランキングを無効にしたポートチャネルの外部に設定された単一のリンクを使用します。

MDSおよびNexusスイッチ上のwwn oui <hex oui>コマンドは、スイッチのOUIデータベースにCisco OUIを手動で追加できます。

MDSスイッチでは、この機能はNX-OSバージョン7.3(0)D1(1)以降で使用できます。

Nexus 5K/6Kスイッチでは、この機能はNX-OSバージョン7.3(3)N1(1)以降で追加されました。

NX-OS 7.xのNexus 9000スイッチでは、この機能はNX-ISバージョン7.3(1)N1(1)以降で使用できます。

NX-OSの他のバージョンのNexus 9000スイッチでは、この機能はNX-OSバージョン9.3(3)以降で使用できます。

Example: MDSswitch# configure terminal

MDSswitch(config)# wwn oui 0x0000fc

MDSswitch# show wwn oui

OUI Vendor Default/Static

----------------------------------------------------

0x0000fc Cisco Static

ACIイメージ上のNexus 9000スイッチは、APIC in15.0(1k)以降からランタイムでライブラリにOUIを追加できます。

OUIデータベースの追加

表1.1. MDS OUIデータベースの追加

OUI

OUIを含むソフトウェア

0x547手数料

NX-OS 5.0(1)以降のすべてのバージョン。

0x00351A

0x003A7D

0x004268

0x0062EC

0x007888

0x00C164

0x00C88B

0x00F28B

0x00FEC8

0x046273

0x188B9D

0x5897BD

0x58AC78

0x5C838F

0x64F69D

0x70E422

0x80E01D

0x84B261

0x84B802

0xA46C2A

0xCC167E

0xCC46D6

0xD8B190

0xE00EDA

0xE4AA5D

NX-OS 5.x(5.2(8h)以降)

NX-OS 6.x(6.2(17)以降)

NX-OS 7.x(7.3(1)D1(1)以降)

NX-OS 8.3(1)以降のすべてのバージョン。

0x0018BA

0x001B54

0x002255

0x0023AC

0x002498

0x0024F7

0x002651

0x002698

0x002A6A

0x00DEFB

0x04C5A4

0x108CCF

0x18EF63

0x1CDF0F

0x405539

0x68BDAB

0x8C604F

0x8CB64F

0xA8B1D4

0xB41489

0xC0626B

0xF02572

0xF866F2

NX-OS 5.2(6)以降のすべてのバージョン。

0x508789

0x58F39C

0x7426AC

0x7C0ECE

0x881DFC

0x88F031

0x8C604F

0xA0ECF9

0xF07F06

0xF40F1B

0xF44E05

0xF8C288

0xFC5B39

NX-OS 6.2(11)以降のすべてのバージョン。

0x000831

0x003A9C

0x74A02F

0xD0A5A6

NX-OS 5.x(5.2(8g)以降)

6.2(11c)以降のNX-OS 6.x

NX-OS 7.3(1)D1(1)以降のすべてのバージョン。

0x70EA1A

0xC4F7D5

NX-OS 8.4(2)以降のすべてのバージョン。

0x00FD22

0x10B3D5

0x10B3D6

0x4C710D

0xC4B239

0xD4E880

NX-OS 6.x(6.2(33)以降)

NX-OS 8.4(2)以降のすべてのバージョン。

0xDC774C

8.4(2c)以降のNX-OS 8.4(x)

NX-OS 9.x(9.2(1)以降)

0x3C13CC

0x4CE176

決定

表1.2. Nexus 5000/5500/5600/6000 OUIデータベースの追加

OUI

OUIを含むソフトウェア

0x002A6A

0x00DEFB

0x8C604F

NX-OS 5.1(3)N2(1)以降

NX-OS 5.2(1)N1(4)以降

NX-OS 6.0(2)N1(2)以降のすべてのバージョン。

0x50EB1A

0x9371D5

NX-OS 7.3(7)N1(1)以降のすべてのバージョン。

0x3C13CC

0x4CE176

0xDC774C

NX-OS 7.3(10)N1(1)以降のすべてのバージョン。

表1.3. Nexus 9000 OUIデータベースの追加

OUI

OUIを含むソフトウェア

0x000831

0x001086

0x0024FF

0x0027E3

0x002A10

0x002CC8

0x00351A

0x003A7D

0x003A99

0x003A9C

0x004268

0x005D73

0x0062EC

0x006BF1

0x007888

0x0081C4

0x0090FA

0x00A2EE

0x00A38E

0x00A6CA

0x00A742

0x00B771

0x00BE75

0x00C164

0x00C88B

0x00D78F

0x00EABD

0x00F28B

0x00F663

0x00FCBA

0x00FEC8

0x043110

0x046273

0x0896AD

0x1005CA

0x14F0C5

0x188090

0x188B9D

0x18E728

0x1C6A7A

0x286F7F

0x28AC9E

0x2C27D7

0x2C3311

0x2C44FD

0x2C5A0F

0x2CD02D

0x380E4D

0x3890A5

0x3C08F6

0x3C4A92

0x40017A

0x40CE24

0x4403A7

0x4C776D

0x500F80

0x502FA8

0x5061BF

0x508789

0x54A274

0x58971E

0x5897BD

0x58AC78

0x58F39C

0x5C838F

0x641225

0x64A0E7

0x64F69D

0x68BDAB

0x6C9CED

0x6CB2AE

0x700F6A

0x70695A

0x70708B

0x7079B3

0x707DB9

0x70DB98

0x70DF2F

0x70E422

0x7426AC

0x74A02F

0x74A2E6

0x780CF0

0x78725D

0x78BAF9

0x78DA6E

0x78E3B5

0x7C0ECE

0x7C69F6

0x80E01D

0x843DC6

0x8478AC

0x84B261

0x84B802

0x881DFC

0x885A92

0x88F031

0x8CB64F

0xA0239F

0xA03D6F

0xA09351

0xA0E0AF

0xA0ECF9

0xA44C11

0xA46C2A

0xA80C0D

0xA89D21

0xA8B1D4

0xB02680

0xB08BCF

0xB0AA77

0xB41489

0xB4DE31

0xB83861

0xBADBAD

0xBC26C7

0xC0626B

0xC067AF

0xC08C60

0xCC167E

0xCC46D6

0xCE90D1

0xD072DC

0xD0A5A6

0xD46D50

0xD867D9

0xD8B190

0xE00EDA

0xE4AA5D

0xE4C722

0xE86549

0xE8B748

0xE8BA70

0xEC3091

0xEC4476

0xECBD1D

0xECC882

0xF02572

0xF07F06

0xF40F1B

0xF44E05

0xF45FD4

0xF4ACC1

0xF4CFE2

0xF4DBE6

0xF80BCB

0xF866F2

0xF8C288

0xFC5B39

0xFCFBFB

NX-OS9.2(4)以降のすべてのバージョン。

0x3C13CC

0x4CE176

0xDC774C

NX-OS10.1(2)以降のすべてのバージョン。

表1.4 UCS FI OUIデータベースの追加

OUI

OUIを含むソフトウェア

0x0018BA

0x001B54

0x002255

0x0023AC

0x002498

0x0024F7

0x002651

0x002698

0x002A6A

0x00DEFB

0x04C5A4

0x108CCF

0x18EF63

0x1CDF0F

0x405539

0x68BDAB

0x8C604F

0x8CB64F

0xA8B1D4

0xB41489

0xC0626B

0xF02572

0xF866F2

2.2(8j)以降のバンドルソフトウェア2.x。

3.1(3b)および3.1(3h)以降のバンドルソフトウェア3.x。

バンドルソフトウェア3.2(3d)以降

0x002651

2.2(8j)以降のバンドルソフトウェア2.x。

3.1(3h)以降のバンドルソフトウェア3.x。

バンドルソフトウェア3.2(3d)以降

0x0025B5

0xA44C11

3.1(3h)以降のバンドルソフトウェア3.x。

バンドルソフトウェア3.2(3d)以降

0x000831

0x003A9C

0xD0A5A6

3.2.(3h)以降のバンドルソフトウェア3.x。

4.0(1x)のすべてのバージョンのバンドルソフトウェア。

4.0(2b)以降のバンドルソフトウェア。

0x6400F1

バンドルソフトウェア3.3(5b)以降

0x00EEAB

0x0476B0

0x24169D

0x34ED1B

0x3C510E

0x4CE175

0x4CE176

0x5CA62D

0x6C310E

0x70EA1A

0x7C210E

0x7CAD4F

0x9077EE

0xA0B439

0xA4530E

0xAC3A67

0xAC4A67

0xBC5A56

0xC014FE

0xC4F7D5

0xCC7F76

0xE41F7B

バンドルソフトウェア4.1(3a)以降

0xAC7A56

バンドルソフトウェア4.1(2a)以降

0x3C13CC

0x4CE176

0xDC774C

バンドルソフトウェア4.2(1d)以降

警告

Cisco Bug ID CSCut41864 - Port process crashes when interface > 64 used for NPV-NPIV connections

Cisco Bug ID CSCuz52695 - UCS FI FC Uplinks Error Disable Immediately Connected NPV to MDS9396S

Cisco Bug ID CSCvp95480 - 6454 FI - UCSMの設定中に許可されるWWxNアドレスを制限する（マルチキャストアドレスを避ける）

スイッチのOUIライブラリにないOUIを文書化するために、複数のバグが報告されています。これには、次のようなルーティング プロトコルが含まれます。

MDS/UCSの不具合

Cisco Bug ID CSCtr01652:N7K OUIをCisco OUIのリストに追加します。MDS.

MDS/N5K/N6Kのバグ

Cisco Bug ID CSCty04686:MAC OUI「002a6a」、「8c604f」、「00defb」を5k/UCS-FIに追加

MDSのバグ

Cisco Bug ID CSCta97375 - GLDN:SABER:Saber ouiはcisco oui 547FEEとして認識されません。

Cisco Bug ID CSCur44218 - MiniUCS FI OUIをCisco OUIのリストに追加

Cisco Bug ID CSCuz11494 - FCポートチャネルがピアUCS OUI 00:c8:8bで起動しない

Cisco Bug ID CSCuu03717 - OUI 00:3a:9c, 00:08:31, d0:a5:a6をデフォルトのOUIリストに追加します

Cisco Bug ID CSCuu26045 - MiniUCS FI OUI 0x74a02fを認識されたCisco OUIのMDSリストに追加

Cisco Bug ID CSCvx67383：スイッチOUI 0x3C13CC(3C:13:CC)がアップまたはトランクにならないACIリーフN9KへのMDSポートチャネル

Cisco Bug ID CSCvx49403 - CiscoスイッチOUI 0xDC774Cのポートチャネルが起動またはトランクしない。

Cisco Bug ID CSCvr60193 - OUI C4:F7:D5をデフォルトのOUIリストに追加します

Cisco Bug ID CSCvp19788- MDS 9000OUI 70:EA:1AをOUIライブラリに追加

Cisco Bug ID CSCvt28351：デフォルトのOUIリストに6つのOUIを追加します

Cisco Bug ID CSCvw14504 - OUI 0x4CE176をOUIデータベースに追加する – Port-channels and trunking not working with OUI 0x4CE176

Cisco Bug ID CSCvx67383：スイッチOUI 0x3C13CC(3C:13:CC)がアップまたはトランクにならないACIリーフN9KへのMDSポートチャネル

N5K/N6Kのバグ

Cisco Bug ID CSCvx72821 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.

Cisco Bug ID CSCvp54881 - UCSとNexus 56128pの間にSANポートチャネルを作成できない

N9Kのバグ

Cisco Bug ID CSCvp21786 - Nexus 9000:::Unable to bring F mode san-port-channel or trunking between MDS and N9K

Cisco Bug ID CSCvx68507 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.

UCSのバグ

Cisco Bug ID CSCvk63036 - UCSでOUI 003a9c、000831、d0a5a6が欠落している – FC/FCoEポートチャネルが形成されない

Cisco Bug ID CSCvv70634 - UCS FIでN9K OUIを追加する必要がある

Cisco Bug ID CSCvx68517 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.Cisco Bug ID