Nexus 5500 Adapter-FEX - Konfigurationsbeispiel

Einführung

Dieses Dokument beschreibt die Konfiguration, den Betrieb und die Fehlerbehebung der FEX-Funktion (Adapter-Fabric Extender) auf Nexus 5500-Switches.

Voraussetzungen

Anforderungen

Für dieses Dokument bestehen keine speziellen Anforderungen.

Verwendete Komponenten

Die Informationen in diesem Dokument basieren auf den folgenden Software- und Hardwareversionen:

• Nexus 5548UP mit Version 5.2(1)N1(4)
• Unified Computing System (UCS) C210 M2 Rack-Server der C-Serie mit UCS P81E Virtual Interface Card (VIC) für die Ausführung der Firmware Version 1.4(2)

Die Informationen in diesem Dokument wurden von den Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Ihr Netzwerk in Betrieb ist, vergewissern Sie sich, dass Sie die potenziellen Auswirkungen eines Befehls oder einer Paketerfassung kennen.

Hintergrundinformationen

Adapter-FEX - Übersicht

Diese Funktion ermöglicht es einem Nexus 5500-Switch, virtuelle Schnittstellen (sowohl Ethernet Virtual Network Interface Controller (vNICs) als auch Fibre Channel Virtual Host Bus Adapter (FC vHBAs)) auf der VIC des Servers zu verwalten. Dies ist unabhängig von jedem Hypervisor, der auf dem Server ausgeführt wird. Welche virtuellen Schnittstellen erstellt werden, wird für das auf dem Server installierte Betriebssystem sichtbar (vorausgesetzt, das Betriebssystem verfügt über die entsprechenden Treiber).

Unterstützte Plattformen finden Sie in diesem Abschnitt des Cisco Nexus 5000 NX-OS Adapter FEX Operations Guide, Release 5.1(3)N1(1).

Unterstützte Topologien für Adapter-FEX finden Sie in diesem Abschnitt des Cisco Nexus NX-OS Adapter FEX Operations Guide der Serie 5.1(3)N1(1) der Serie 500.

Folgende Topologien werden unterstützt:

• Single-Homed-Server für einen Nexus 5500-Switch
• Single-Homed-Server zu einem Straight-Through-FEX
• Single-Homed-Server für einen aktiven/aktiven FEX
• Dual-Homed-Server über Active/Standby-Uplinks zu einem Paar Nexus 5500-Switches
• Dual-Homed-Server über Active/Standby-Uplinks zu einem Paar von aktiven/aktiven Virtual Port Channel (vPC)-FEX

Im folgenden Abschnitt zur Konfiguration wird erläutert, wie "Server dual-homed über Active/Standby-Uplinks zu einem Paar von Nexus 5500-Switches" dargestellt wird:

Jede vNIC verfügt über eine entsprechende virtuelle Ethernet-Schnittstelle auf dem Nexus 5000. Ebenso verfügt jeder vHBA auf dem Nexus 5000 über eine entsprechende Virtual Fibre Channel (VFC)-Schnittstelle.

Konfigurieren

Hinweis: Verwenden Sie das Command Lookup Tool (nur registrierte Kunden), um weitere Informationen zu den in diesem Abschnitt verwendeten Befehlen zu erhalten.

Konfiguration von Ethernet-vNICs

Gehen Sie wie folgt vor:

1. In der Regel ist vPC auf den beiden Nexus 5000-Switches definiert und betriebsbereit. Überprüfen Sie, ob die vPC-Domäne definiert ist, Peer-Keepalive UP und Peer-Link UP ist.
2. Geben Sie diese Befehle ein, um das Feature-Set für die Virtualisierung zu aktivieren.

   (config)# install feature-set virtualization
   (config)# feature-set virtualization

3. (Optional) Erlauben Sie dem Nexus 5000, seine virtuellen Ethernet-Schnittstellen automatisch zu erstellen, wenn die entsprechenden vNICs auf dem Server definiert sind. Beachten Sie, dass dies nicht für die VFC-Schnittstellen gilt, die nur manuell auf dem Nexus 5000 definiert werden können.

   (config)# vethernet auto-create

4. Konfigurieren Sie die Nexus 5000-Schnittstelle, die im VNTag-Modus (Virtual Network Tag) eine Verbindung zu den Servern herstellt.

   (config)# interface Eth 1/10
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

5. Konfigurieren Sie die Portprofile, die auf die vNICs angewendet werden sollen.

   Die Portprofile sind Konfigurationsvorlagen, die von den Switch-Schnittstellen angewendet (vererbt) werden können. Im Kontext von Adapter-FEX können die Portprofile entweder auf die manuell definierten virtuellen Ethernet-Schnittstellen oder auf die Port-Profile angewendet werden, die automatisch erstellt werden, wenn die vNICs auf der Benutzeroberfläche des Cisco Integrated Management Controller (CIMC) der UCS C-Serie konfiguriert werden.

   Das Port-Profil hat den Typ 'vethernet'.

   Eine Beispiel-Portprofilkonfiguration wird hier angezeigt:

   (config)# port-profile type vethernet VNIC1
   (config-port-prof)# switchport mode access
   (config-port-prof)# switchport access vlan 10
   (config-port-prof)# no shutdown
   (config-port-prof)# state enabled

Gehen Sie wie folgt vor:

1. Stellen Sie über HTTP eine Verbindung zur CIMC-Schnittstelle her, und melden Sie sich mit den Administratoranmeldeinformationen an.
2. Wählen Sie Bestand > Netzwerkadapter > Adaptereigenschaften ändern aus.
3. Aktivieren Sie das Kontrollkästchen NIV-Modus aktivieren.
4. Klicken Sie auf Änderungen speichern.
5. Schalten Sie den Server aus und dann ein.

   

6. Wenn der Server hochgefahren ist, wählen Sie Inventory > Network Adapters > vNICs > Add aus, um vNICs zu erstellen. Die wichtigsten Felder sind:
   1. Zu verwendender VIC-Uplink-Port (P81E verfügt über 2 Uplink-Ports, auf die 0 und 1 verwiesen wird).
   2. Channel Number - Eine eindeutige Channel-ID der vNIC auf dem Adapter. Dies wird im Befehl bind unter der virtuellen Ethernet-Schnittstelle des Nexus 5000 referenziert. Der Umfang der Kanalnummer ist auf die physische VNTag-Verbindung beschränkt. Der Kanal kann als "virtuelle Verbindung" auf der physischen Verbindung zwischen Switch und Server-Adapter betrachtet werden.
   3. Portprofil: Die Liste der auf dem Upstream Nexus 5000 definierten Portprofile kann ausgewählt werden. Auf dem Nexus 5000 wird automatisch eine virtuelle Ethernet-Schnittstelle erstellt, wenn der Nexus 5000 mit dem Befehl zum automatischen Erstellen von vEthernet konfiguriert ist. Beachten Sie, dass nur die Namen der virtuellen Ethernet-Portprofile (keine Portprofilkonfiguration) an den Server übergeben werden. Dies geschieht, nachdem die VNTag-Link-Verbindung hergestellt und die ersten Handshake- und Verhandlungsschritte zwischen dem Switch und dem Server-Adapter ausgeführt wurden.

      

7. Klicken Sie auf Änderungen speichern.
8. Schalten Sie den Server aus und dann wieder ein.

vHBAs-Konfiguration

Wenn Sie vHBAs auf dem Server-Adapter erstellen, werden die entsprechenden Switch-Schnittstellen nicht automatisch erstellt. Stattdessen sollten sie manuell definiert werden. Die Schritte für die Switch- und Serverseite sind hier dargestellt.

Gehen Sie wie folgt vor:

1. Erstellen Sie eine virtuelle Ethernet-Trunk-Schnittstelle, die an den Kanal der VNTag-Schnittstelle der vHBA-Server-Schnittstelle gebunden ist. Das Fibre Channel over Ethernet (FCoE)-VLAN sollte nicht das native VLAN sein. Die virtuellen Ethernet-Nummern müssen für die beiden Nexus 5000-Switches eindeutig sein.

   Beispiel:

   (config)# interface veth 10
   (config-if)# switchport mode trunk
   (config-if)# switchport trunk allowed vlan 1,100
   (config-if)# bind interface eth1/1 channel 3
   (config-if)# no shutdown

2. Erstellen Sie eine VFC-Schnittstelle, die an die zuvor definierte virtuelle Ethernet-Schnittstelle gebunden ist.

   Beispiel:

   (config)# interface vfc10
   (config-if)# bind interface veth 10
   (config-if)# no shut

   Die VSAN-Zugehörigkeit (Virtual Storage Area Network) für diese Schnittstelle wird in der VSAN-Datenbank definiert:

   (config)# vsan database
   (config-vsan-db)# vsan 100 interface vfc10
   (config-vsan-db)# vlan 100
   (config-vlan)# fcoe vsan 100
   (config-vlan)# show vlan fcoe

Gehen Sie wie folgt vor:

1. Wählen Sie Inventory > Network Adapters > vHBAs aus, um eine vHBA-Schnittstelle zu erstellen.

   Die wichtigsten zu definierenden Felder sind:

   • Port World Wide Name (pWWN)/Node World Wide Name (nWWN)
   • FCOE-VLAN
   • Uplink-ID
   • Kanalnummer
   • Booten vom Storage Area Network (SAN) bei Verwendung
2. Schalten Sie den Server aus und wieder ein.

Überprüfen

In diesem Abschnitt überprüfen Sie, ob Ihre Konfiguration ordnungsgemäß funktioniert.

Die Liste der virtuellen Ethernet-Schnittstellen kann mit folgenden Befehlen angezeigt werden:

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

Die automatisch erstellten virtuellen Ethernet-Schnittstellen werden in der aktuellen Konfiguration angezeigt und in der Startkonfiguration gespeichert, wenn der Kopierstart ausgeführt wird:

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

Fehlerbehebung

Dieser Abschnitt enthält Informationen zur Fehlerbehebung in Ihrer Konfiguration.

Virtuelle Ethernet-Schnittstelle wird nicht angezeigt

Überprüfen Sie mit dem folgenden Befehl die DCBX-Informationen (Data Center Bridging Capabilities Exchange Protocol) für die VNTag-Schnittstelle des Switches:

# show system internal dcbx info interface ethernet <>

Überprüfen Sie, ob:

• Das DCX-Protokoll (Data Center Bridging Exchange) ist Converged Ethernet (CEE).
• CEE Network IO Virtualization (NIV)-Erweiterung ist aktiviert.
• NIV Type Length Value (TLV) ist vorhanden.

Wie unten hervorgehoben:

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

Häufige Probleme:

• Das DCX-Protokoll ist CIN.
  
  • Auf L1-Probleme prüfen: Kabel, SFP, Port-Aktivierung, Adapter.
  • Überprüfen Sie die Switch-Konfiguration: Feature-Set, switchport VNTag, enable Link Layer Discovery Protocol (LLDP)/DCBX.
• NIV TLV fehlt
  • Überprüfen Sie, ob der NIV-Modus unter der Adapterkonfiguration aktiviert ist.
  • Überprüfen Sie, ob die VNIC Interface Control (VIC)-Kommunikation abgeschlossen ist, und die Informationen zu den Portprofilen wurden ausgetauscht. Stellen Sie sicher, dass der aktuelle Ereignisstatus für den Virtual Interface Manager (VIM) VIM_NIV_PHY_FSM_ST_UP_OPENED_PP lautet.

n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

Wenn die virtuelle Ethernet-Schnittstelle ein festes virtuelles Ethernet ist, prüfen Sie, ob VIC_CREATE in diesem Befehl angezeigt wird:

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

Beachten Sie, dass eine feste virtuelle Ethernet-Schnittstelle eine virtuelle Schnittstelle ist, die die Migration über physische Schnittstellen nicht unterstützt. Wenn Adapter-FEX besprochen wird, ist der Bereich immer auf festem virtuellem Ethernet zu finden, da Adapter-FEX auf die Nutzung der Netzwerkvirtualisierung durch ein einzelnes (d. h. nicht virtualisiertes) Betriebssystem verweist.

Wenn VIC_CREATE nicht angezeigt wird:

1. Wenn es sich bei dem Adapter um einen Cisco NIV-Adapter handelt, überprüfen Sie die VNIC-Konfiguration auf Adapterseite (Channel-ID, korrekter Uplink-UIF-Port, ausstehender Commit (Server-Neustart für alle Konfigurationsänderungen erforderlich). Ein vHBA aktiviert kein virtuelles Ethernet auf beiden Switches in einer FEX-Topologie. Ein virtuelles vHBA-Ethernet mit fester Konfiguration benötigt einen OS-Treiber, um diesen Vorgang zu starten (warten Sie, bis das Betriebssystem den Treiber lädt und vollständig hochfährt).
2. Wenn es sich bei dem Adapter um einen Broadcom NIV-Adapter handelt, überprüfen Sie, ob die Schnittstellen auf Betriebssystemseite verfügbar sind (z. B. in Linux, rufen Sie die Schnittstelle 'ifconfig eth2 up' auf).
3. Wenn VIC_CREATE angezeigt wird, der Switch aber mit ERR_INTERNAL antwortet:
   • Überprüfen Sie die Portprofile auf Switch- und Adapterseite. Überprüfen Sie, ob Portprofile-Zeichenfolgen nicht übereinstimmen.
   • Für dynamische, feste virtuelle Ethernets überprüfen Sie die Konfiguration "veth auto-create" (automatische Erstellung).
4. Wenn das Problem weiterhin besteht, holen Sie die unten aufgeführten Ergebnisse ein und wenden Sie sich an das Cisco Technical Assistance Center (TAC).
   

   # show system internal vim log
   # attach fex <number>
   # test vic_proxy dump trace

Sammeln Sie die technischen Support-Informationen für den Adapter von der Serverseite.

1. Melden Sie sich über einen Browser beim CIMC an.
2. Klicken Sie auf die Registerkarte Admin.
3. Klicken Sie auf Dienstprogramme.
4. Klicken Sie auf Daten des technischen Supports nach TFTP exportieren oder Daten des technischen Supports für lokalen Download erstellen.