Fehlerbehebung bei MDS 9000-Trunking-/Port-Channel-Verbindungen, die nicht verfügbar sind

Einleitung

In diesem Dokument wird erläutert, warum eine Fibre Channel (FC)-Verbindung zwischen einem Cisco Multilayer Director Switch (MDS) und einem anderen Cisco Switch nicht verfügbar ist, wenn Trunking oder ein Port-Channel verwendet wird. Es kann jedoch vorkommen, dass derselbe Link verfügbar ist, wenn er sich nicht in einem Port-Channel befindet und Trunking deaktiviert ist.

Hintergrundinformationen

Dazu gehören FC-Verbindungen zwischen MDS-Switches und anderen MDS-Switches, Nexus-Switches und Unified Computing System (UCS) Fabric Interconnects (FIs).

Tipp: Weitere Informationen zu Port-Channels und zum Trunking finden Sie in den entsprechenden Konfigurationsleitfäden für Port-Channel und Trunking.
Port-Channel-Leitfaden: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_portchannels.html
Trunking-Leitfaden: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_trunking.html

Alle MDS-Switches können mehrere physische Verbindungen über Port-Channels zu einer einzigen virtuellen Verbindung zusammenfassen und mehrere Virtual Storage Area Networks (VSANs) über eine Verbindung mit der Trunking-Funktion transportieren, wenn diese mit einem anderen Cisco Gerät verbunden ist.

Um Port-Channels und Trunking-Verbindungen auszuhandeln, verwenden MDS-Switches Exchange-Peer-Parameter (EPP)-Dienste, um über Peer-Ports in einem Inter-Switch Link (ISL) zu kommunizieren. Im Rahmen des ISL-Verhandlungsprozesses wird überprüft, ob der Peer ein Cisco Gerät mit dem Organizational Unique Identifier (OUI) des Peers ist.

Wenn die OUI eines Cisco Switches nicht in der OUI-Datenbank des Peers als Cisco OUI aufgeführt ist, wird der Link beim Hinzufügen zu einem Port-Channel oder bei aktiviertem Trunking auf der Schnittstelle nicht angezeigt.

Fehlerbehebung bei MDS-Trunking-/Port-Channel-Verbindungen, die nicht verfügbar sind

Wenn sich die Verbindung in einem Port-Channel befindet, überprüfen Sie, ob für die Port-Channel-Schnittstelle der Channel-Modus aktiviert ist.

MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active      <<<<

Wenn der Link mit einem N_Port Virtualization (NPV)-Switch (wie z. B. einem FI) verbunden ist, überprüfen Sie, ob die NPIV-Funktion und die Funktion für den Port-Channel-Trunk aktiviert sind.

MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled

Wenn der Link Trunking ist, überprüfen Sie, ob das Trunking-Protokoll global aktiviert ist.

MDSswitch# show trunk protocol
Trunk Protocol is enabled

Überprüfen Sie, ob das Trunking auf der Schnittstelle aktiviert ist.

MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel 
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<

Wenn der Link mit 8 Gbit/s verbunden ist, stellen Sie sicher, dass das Füllmuster oder das Füllwort für beide Seiten des Links gleich konfiguriert sein muss. Standardmäßig verwenden die Geräte der Serien MDS, N5K/N6K und UCS FI der Serie 6300 ARBFF. Die Serien N9K und UCS FI 6400 unterstützen IDLE nur als 8G-Füllmuster.

Verwenden Sie diesen Befehl, um das aktuelle Füllmuster an den MDS/N5K/N6K-Schnittstellen FC x/y zu bestätigen:

Steckplatz x Hardware-internen FCmac-Port y Port-Info anzeigen | i FILL

MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)

Anmerkung: Die Ausgabe auf Nexus-Switches kann 0x0 (Schnittstelle nicht verfügbar bei 8 Gbit/s), 0xBC94FFFF (ARBFF) oder 0xBC95B5B5 (IDLE) sein.

Wenn eine N9K- oder UCS FI 6400 mit einem Gerät verbunden ist, das standardmäßig ARBFF verwendet, müssen Sie die Schnittstelle auf dem angeschlossenen Gerät so konfigurieren, dass IDLE verwendet wird.

MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000

Auf der Registerkarte "Allgemein" wird im UCS Manager (UCSM) unter SAN > SAN Cloud > Fabric > Uplink FC Interfaces > FC Interface x/yin das Füllmuster der FC-Uplinks angezeigt.

Überprüfung

Symptome

• Schnittstellen werden als einzelne Ports mit deaktiviertem Trunking angezeigt, jedoch nicht in einem Port-Channel.
• Eine einzelne Schnittstelle kann nicht bereitgestellt werden, wenn Trunking aktiviert ist.
• Wenn sich die Schnittstellen in einem Port-Channel befinden oder einem Port-Channel hinzugefügt werden, werden sie sofort fehlerhaft deaktiviert.

Nachrichten protokollieren

Anmerkung: Die Switch-OUI kann in der OUI-Datenbank des Peers auf einer oder auf beiden Seiten einer Verbindung nicht vorhanden sein. Beide Seiten müssen untersucht werden.

Für MDS- und Nexus-Switches:

Der Switch ohne OUI des Peers zeichnet in seiner OUI-Datenbank "Physisches Flogi abgelehnt, wartet auf den Port-Modus" und "EPP_SYNC"-Fehler auf.

MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode

11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode

12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0


MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
... 
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC

Um die Schnittstelle der Fehler zu bestätigen, übersetzen Sie den Index mit show interface snmp-ifindexund filtern Sie ihn durch den ifindex in der Fehlermeldung. Im Beispiel wird der ifindex 12ae000 verwendet, der in der Meldung gefunden wird, dass interne Ereignisverlaufsfehler beim Flogi auftreten.

MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)

Für UCS FIs: Der FI ohne OUI des Peers in seiner OUI-Datenbank protokolliert Fehler wie "PI_FSM_EV_PORT_CONFIG_FAILURE" und "port fcx/y try vf tagging on non cisco switch".

UCS(nxos)# show port internal event-history errors

1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7

2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch

OUI-Datenbank

Extrahieren Sie die OUI von jedem Switch. Die OUI ist das dritte, vierte und fünfte Oktett des World Wide Name (WWN).

peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx

In diesem Beispiel ist die Switch-OUI 0x002A6A.

Überprüfen Sie die OUI-Datenbank des Switches auf die OUI des Peer-Switches. Wenn der Befehl keine Ausgabe enthält, ist die OUI nicht in der Datenbank vorhanden.

MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#

Anmerkung: UCS-FIs unterstützen diese Outdoor-Strategie nicht. Siehe Tabelle 1. und Tabelle 2. um zu sehen, wann OUIs der FI OUI-Datenbank hinzugefügt wurden.

Umfassende Arbeitsumgebung

Switch-OUI-Datenbanken werden durch Switch-Software-Upgrades aktualisiert. Bis ein Switch auf eine Softwareversion mit einer OUI-Datenbank aktualisiert werden kann, die die OUI des Peer-Switches enthält, verwenden Sie einzelne Verbindungen, die außerhalb von Port-Channels konfiguriert wurden und deren Trunking deaktiviert ist.

Mit dem Befehl <hex oui> für MDS- und Nexus-Switches können Cisco OUIs der OUI-Datenbank des Switches manuell hinzugefügt werden.

Auf MDS-Switches ist diese Funktion in NX-OS 7.3(0)D1(1) und höher verfügbar.

Bei Nexus 5000/600-Switches wurde diese Funktion in NX-OS 7.3(3)N1(1) und höher hinzugefügt.
Auf Nexus 9000-Switches in NX-OS 7.x ist diese Funktion in NX-IS 7.3(1)N1(1) und höher verfügbar.

Auf Nexus 9000-Switches in anderen NX-OS-Versionen ist diese Funktion in NX-OS Version 9.3(3) und höher verfügbar.

Example: MDSswitch# configure terminal
         MDSswitch(config)# wwn oui 0x0000fc
         MDSswitch# show wwn oui
         OUI Vendor Default/Static
         ----------------------------------------------------
         0x0000fc Cisco Static

Nexus 9000-Switches auf ACI-Images können der Bibliothek zur Laufzeit vom APIC in 15.0(1k) und höher eine OUI hinzufügen.

Erweiterungen der OUI-Datenbank

Tabelle 1.1. MDS OUI-Datenbankerweiterungen

OUI	Software mit OUI
0 x 547 FEE	Alle Versionen von NX-OS 5.0(1) und höher.
0 x 00351A 0x003A7D 0x004268 0x0062EC 0x007888 0 x 00 C164 0 x 00 C88 B 0 x 00 F28 B 0x00FEC8 0 x 046273 0x188B9D 0 x 5897BD 0 x 58 AC78 0 x 5 C838F 0 x 64 F69D 0 x 70 E 422 0 x 80 E01D 0 x 84 B261 0 x 84 B802 0 x A46C2A 0 x CC167E 0xCC46D6 0xD8B190 0 x E00 EDA 0xE4AA5D	NX-OS 5.x ab 5.2(8h) NX-OS 6.x ab 6.2(17) NX-OS 7.x ab Version 7.3(1)D1(1). Alle Versionen von NX-OS 8.3(1) und höher.
0 x 0018BA 0 x 001B54 0x002255 0 x 0023AC 0x002498 0 x 0024F7 0x002651 0x002698 0 x 002A6A 0 x 00 DEFB 0 x 04C5A4 0 x 108CCF 0 x 18EF63 0 x 1 CDF0F 0 x 405539 0 x 68 BDAB 0x8C604F 0x8CB64F 0xA8B1D4 0 x B41489 0 x C0626B 0 x F02572 0xF866F2	Alle Versionen von NX-OS 5.2(6) und höher.
0x508789 0 x 58 °C 0 x 7426AC 0x7C0ECE 0x881DFC 0 x 88 F031 0x8C604F 0xA0ECF9 0 x F07F06 0 x F40 F1B 0 x F44E05 0xF8C288 0xFC5B39	Alle Versionen von NX-OS 6.2(11) und höher.
0x000831 0 x 003A9C 0 x 74 A 0xD0A5A6	NX-OS 5.x ab Version 5.2(8g) NX-OS 6.x ab Version 6.2(11c) Alle Versionen von NX-OS 7.3(1)D1(1) und höher.
0 x 70 EA1A 0xC4F7D5	Alle Versionen von NX-OS 8.4(2) und höher.
0 x 00 FD22 0 x 10 B3D5 0 x 10 B3D6 0x4C710D 0xC4B239 0xD4E880	NX-OS 6.x ab Version 6.2(33) Alle Versionen von NX-OS 8.4(2) und höher.
0 x DC774C	NX-OS 8.4(x) ab Version 8.4(2c) NX-OS 9.x ab Version 9.2(1).
0x3C13CC 0x4CE176	Noch festzulegen

Tabelle 1.2. Nexus 5000/5500/5600/6000 OUI-Datenbankerweiterungen

OUI	Software mit OUI
0 x 002A6A 0 x 00 DEFB 0x8C604F	NX-OS 5.1 ab Version 5.1(3)N2(1). NX-OS 5.2 ab Version 5.2(1)N1(4) Alle Versionen von NX-OS 6.0(2)N1(2) und höher.
0 x 50 EB1A 0 x 9371D5	Alle Versionen von NX-OS 7.3(7)N1(1) und höher.
0x3C13CC 0x4CE176 0 x DC774C	Alle Versionen von NX-OS 7.3(10)N1(1) und höher.

Tabelle 1.3. Nexus 9000 OUI-Datenbankerweiterungen

OUI				Software mit OUI
0x000831 0x001086 0 x 0024 FF 0 x 0027E3 0 x 002A10 0x002CC8 0 x 00351A 0x003A7D 0 x 003A99 0 x 003A9C 0x004268 0 x 005D73 0x0062EC 0 x 006BF1 0x007888 0 x 0081C4 0x0090FA 0 x 00 A2E 0 x 00 A38E 0 x 00 A6CA 0 x 00 A742 0 x 00 B771 0x00BE75 0 x 00 C164 0 x 00 C88 B 0 x 00 D78F 0 x 00 EABD 0 x 00 F28 B 0 x 00 F663 0 x 00 FCBA 0x00FEC8 0 x 043110 0 x 046273 0x0896AD 0 x 1005CA 0x14F0C5 0 x 188090 0x188B9D	0 x 18 E 728 0 x 1 C6A7A 0x286F7F 0 x 28 AC9E 0x2C27D7 0x2C3311 0x2C44FD 0x2C5A0F 0x2CD02D 0x380E4D 0 x 3890A5 0x3C08F6 0x3C4A92 0 x 40017 A 0 x 40 CE24 0 x 4403A7 0x4C776D 0 x 500 F80 0x502FA8 0 x 5061BF 0x508789 0 x 54 A 274 0 x 58971E 0 x 5897BD 0 x 58 AC78 0 x 58 °C 0 x 5 C838F 0 x 641225 0x64A0E7 0 x 64 F69D 0 x 68 BDAB 0x6C9CED 0x6CB2AE 0 x 700 F6A 0 x 70695 A 0 x 70708 B 0 x 7079B3 0x707DB9	0 x 70 DB98 0 x 70 DF2F 0 x 70 E 422 0 x 7426AC 0 x 74 A 0 x 74 A2E6 0x780CF0 0 x 78725D 0x78BAF9 0x78DA6E 0 x 78 E3B5 0x7C0ECE 0x7C69F6 0 x 80 E01D 0 x 843 Gleichstrom6 0 x 8478AC 0 x 84 B261 0 x 84 B802 0x881DFC 0x885A92 0 x 88 F031 0x8CB64F 0 x A0239F 0 x A03D6F 0 x A09351 0xA0E0AF 0xA0ECF9 0 x A44 C11 0 x A46C2A 0xA80C0D 0 x A89D21 0xA8B1D4 0 x B02680 0 x B08BCF 0xB0AA77 0 x B41489 0xB4DE31 0 x B83861	0 x BADBAD 0xBC26C7 0 x C0626B 0 x C067AF 0 x C08C60 0 x CC167E 0xCC46D6 0xCE90D1 0 x D072 Gleichstrom 0xD0A5A6 0xD46D50 0xD867D9 0xD8B190 0 x E00 EDA 0xE4AA5D 0xE4C722 0 x E86549 0 x E8B748 0xE8BA70 0xEC3091 0xEC4476 0xECBD1D 0xECC882 0 x F02572 0 x F07F06 0 x F40 F1B 0 x F44E05 0xF45FD4 0xF4ACC1 0xF4CFE2 0xF4DBE6 0xF80BCB 0xF866F2 0xF8C288 0xFC5B39 0xFCFBFB	Alle Versionen von NX-OS 9.2(4) und höher.
0x3C13CC 0x4CE176 0 x DC774C				Alle Versionen von NX-OS10.1(2) und höher.

Tabelle 1.4. UCS FI OUI-Datenbankerweiterungen

OUI	Software mit OUI
0 x 0018BA 0 x 001B54 0x002255 0 x 0023AC 0x002498 0 x 0024F7 0x002651 0x002698 0 x 002A6A 0 x 00 DEFB 0 x 04C5A4 0 x 108CCF 0 x 18EF63 0 x 1 CDF0F 0 x 405539 0 x 68 BDAB 0x8C604F 0x8CB64F 0xA8B1D4 0 x B41489 0 x C0626B 0 x F02572 0xF866F2	Paketsoftware 2.x ab 2.2(8j) Paketsoftware 3.x ab 3.1(3b) und 3.1(3h) Paketsoftware 3.2(3d) und höher
0x002651	Paketsoftware 2.x ab 2.2(8j) Bundle Software 3.x ab 3.1(3h). Paketsoftware 3.2(3d) und höher
0 x 0025 B5 0 x A44 C11	Bundle Software 3.x ab 3.1(3h). Paketsoftware 3.2(3d) und höher
0x000831 0 x 003A9C 0xD0A5A6	Paketsoftware 3.x ab 3.2.(3h) Alle Versionen der Paketsoftware mit 4.0(1x). Softwarepaket ab Version 4.0(2b)
0x6400F1	Paketsoftware 3.3(5b) und höher
0 x 00 EEAB 0x0476B0 0 x 24169D 0 x 34 ED1B 0 x 3 C510E 0x4CE175 0x4CE176 0x5CA62D 0 x 6 C310E 0 x 70 EA1A 0x7C210E 0x7CAD4F 0 x 9077EE 0xA0B439 0 x A4530E 0xAC3A67 0xAC4A67 0 x BC5A56 0 x C014 FE 0xC4F7D5 0xCC7F76 0xE41F7B	Paketsoftware ab Version 4.1(3a)
0xAC7A56	Paketsoftware ab Version 4.1(2a)
0x3C13CC 0x4CE176 0 x DC774C	Paketsoftware ab Version 4.2(1d)

Hinweise

Cisco Bug-ID CSCut41864 - Port-Prozess stürzt ab, wenn Schnittstelle > 64 für NPV-NPIV-Verbindungen verwendet wird

Cisco Bug-ID CSCuz52695 - UCS FI FC-Uplinks-Fehler Unmittelbar verbundene NPV-Verbindung mit MDS9396S deaktivieren

Cisco Bug-ID CSCvp95480 - 6454 FI - Beschränkung zulässiger WWxN-Adressen während der UCSM-Konfiguration (Vermeidung von Multicast-Adressen)

Mehrere Fehler wurden in der Dokumentation von OUIs abgelegt, die in den OUI-Bibliotheken der Switches fehlten. Dazu gehören:

MDS/UCS-Bugs

Cisco Bug-ID CSCtr01652- Hinzufügen von N7K-OUIs zur Liste der erkannten Cisco OUIs bei liboui. MDS

MDS/N5K/N6K-Fehler

Cisco Bug-ID CSCty04686- MAC-Benutzeroberfläche "002a6a", "8c604f", "00defb" für 5k/UCS-FI hinzufügen

MDS-Pakete

Cisco Bug-ID CSCta97375 - GLDN:SABER: Säbeloui wird nicht als cisco oui 547FEE erkannt.

Cisco Bug-ID CSCur44218 - Add MiniUCS FI OUIs to liboui's list of detected Cisco OUIs

Cisco Bug-ID CSCuz11494 - FC-Port-Channel wird nicht mit Peer-UCS-OUI 00:c8:8b angezeigt

Cisco Bug-ID CSCuu03717 - OUIs 00:3a:9c, 00:08:31, d0:a5:a6 zur OUI-Standardliste hinzufügen

Cisco Bug-ID CSCuu26045 - MiniUCS FI OUI 0x74a02f zur MDS-Liste der erkannten Cisco OUIs hinzufügen

Cisco Bug-ID CSCvx67383 - MDS Port-Channel Richtung ACI LEAF N9K mit Switch OUI 0x3C13CC (3C:13:CC) wird nicht angezeigt oder Trunk nicht gesendet

Cisco Bug-ID CSCvx49403 - Port-Channel mit Cisco Switch OUI 0xDC774C funktioniert nicht.

Cisco Bug-ID CSCvr60193 - OUI C4:F7:D5 zur Standard-OUI-Liste hinzufügen

Cisco Bug-ID CSCvp19788- MDS 9000 OUI 70:EA:1A zur OUI-Bibliothek hinzufügen

Cisco Bug-ID CSCvt28351 - Hinzufügen von sechs OUIs zur OUI-Standardliste

Cisco Bug-ID CSCvw14504 - OUI 0x4CE176 zur OUI-Datenbank hinzufügen - Port-Channels und Trunking funktionieren nicht mit OUI 0x4CE176

Cisco Bug-ID CSCvx67383 - MDS Port-Channel Richtung ACI LEAF N9K mit Switch OUI 0x3C13CC (3C:13:CC) wird nicht angezeigt oder Trunk nicht gesendet

N5K/N6K-Bug

Cisco Bug-ID CSCvx72821 - Port-Channel mit Cisco Switch OUI 0xDC774C oder 0x4CE176 oder 0x3C13CC wird nicht aktiviert oder Trunk.

Cisco Bug-ID CSCvp54881 - SAN-Port-Channel zwischen UCS und Nexus 56128p kann nicht erstellt werden

N9K-Fehler

Cisco Bug-ID CSCvp21786 - Nexus 9000:::Kann den F-Modus "san-port-channel" oder das Trunking zwischen MDS und N9K nicht aktivieren

Cisco Bug-ID CSCvx68507 - Port-Channel mit Cisco Switch OUI 0xDC774C oder 0x4CE176 oder 0x3C13CC wird nicht aktiviert oder Trunk.