Esempio di configurazione dell'adattatore Nexus 5500-FEX

Introduzione

In questo documento viene descritto come configurare, utilizzare e risolvere i problemi relativi alla funzionalità Adapter-Fabric Extender (FEX) sugli switch Nexus 5500.

Prerequisiti

Requisiti

Nessun requisito specifico previsto per questo documento.

Componenti usati

Le informazioni fornite in questo documento si basano sulle seguenti versioni software e hardware:

• Nexus 5548UP con versione 5.2(1)N1(4)
• Server rack UCS serie C210 M2 con UCS P81E Virtual Interface Card (VIC) con firmware versione 1.4(2)

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi o dalla configurazione dell'acquisizione dei pacchetti.

Premesse

Panoramica dell'adattatore FEX

Questa funzionalità consente a uno switch Nexus 5500 di gestire le interfacce virtuali (sia i controller vNIC (Virtual Network Interface Controller) Ethernet che gli HBA (Virtual Host Bus Adapter) Fibre Channel) sul VIC del server. Ciò è indipendente da qualsiasi hypervisor eseguito sul server. Qualsiasi interfaccia virtuale creata sarà visibile al sistema operativo principale (OS) installato sul server (a condizione che il sistema operativo disponga dei driver appropriati).

Per le piattaforme supportate, consultare questa sezione della Cisco Nexus serie 5000 NX-OS Adapter FEX Operations Guide, release 5.1(3)N1(1).

Le topologie supportate per Adapter-FEX sono disponibili in questa sezione della Cisco Nexus serie 5000 NX-OS Adapter FEX Operations Guide, release 5.1(3)N1(1).

Le topologie supportate sono:

• Server single-homed per uno switch Nexus 5500
• Server a domicilio singolo per FEX straight-through
• Server su singola abitazione di un sistema FEX attivo/attivo
• Server dual-homed tramite uplink Active/Standby su una coppia di switch Nexus 5500
• Server dual-homed tramite uplink Active/Standby su una coppia di vPC (Virtual Port Channel) Active/Active FEX

Nella successiva sezione sulla configurazione viene descritto il concetto di server dual-homed tramite uplink attivo/standby su una coppia di switch Nexus 5500, illustrato di seguito:

Ogni vNIC avrà un'interfaccia Ethernet virtuale corrispondente sul Nexus 5000. Analogamente, ciascun vHBA disporrà di un'interfaccia VFC (Virtual Fibre Channel) corrispondente su Nexus 5000.

Configurazione

Nota: per ulteriori informazioni sui comandi menzionati in questa sezione, usare lo strumento di ricerca dei comandi (solo utenti registrati).

Configurazione vNIC Ethernet

Completare questi passaggi su entrambi gli switch Nexus 5000:

1. Normalmente vPC è definito e operativo sui due switch Nexus 5000. Verificare che il dominio vPC sia definito, che il peer-keepalive sia attivo e che il peer-link sia attivo.
2. Immettere questi comandi per abilitare il set di funzionalità di virtualizzazione.

   (config)# install feature-set virtualization
   (config)# feature-set virtualization

3. (Facoltativo) Consentire a Nexus 5000 di creare automaticamente le proprie interfacce Ethernet virtuali quando le corrispondenti vNIC sono definite sul server. Si noti che ciò non si applica alle interfacce VFC che possono essere definite solo manualmente su Nexus 5000.

   (config)# vethernet auto-create

4. Configurare l'interfaccia Nexus 5000 che si connette ai server in modalità VNTag (Virtual Network Tag).

   (config)# interface Eth 1/10
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

5. Configurare i profili di porta da applicare alle vNIC.

   I profili delle porte sono modelli di configurazione che possono essere applicati (ereditati) dalle interfacce dello switch. Nel contesto di Adapter-FEX, i profili delle porte possono essere applicati alle interfacce Ethernet virtuali definite manualmente o a quelle create automaticamente quando le vNIC sono configurate sull'interfaccia GUI Cisco Integrated Management Controller (CIMC) serie C UCS.

   Il profilo della porta è di tipo 'vethernet'.

   Di seguito è riportato un esempio di configurazione del profilo della porta:

   (config)# port-profile type vethernet VNIC1
   (config-port-prof)# switchport mode access
   (config-port-prof)# switchport access vlan 10
   (config-port-prof)# no shutdown
   (config-port-prof)# state enabled

Completare questi passaggi sul server UCS serie C:

1. Connettersi all'interfaccia CIMC tramite HTTP e accedere con le credenziali dell'amministratore.
2. Scegliere Inventario > Schede di rete > Modifica proprietà scheda.
3. Selezionare la casella di controllo Attiva modalità INV.
4. Fare clic su Salva modifiche.
5. Spegnere e accendere il server.

   

6. Dopo l'accensione del server, scegliere Inventario > Schede di rete > vNIC > Aggiungi per creare le vNIC. I campi più importanti da definire sono:
   1. Porta uplink VIC da utilizzare (P81E ha 2 porte uplink indicate come 0 e 1).
   2. Numero canale: un ID di canale univoco della vNIC sulla scheda di rete. A tale scopo, è possibile utilizzare il comando bind nell'interfaccia Ethernet virtuale di Nexus 5000. L'ambito del numero di canale è limitato al collegamento fisico VNTag. Il canale può essere considerato come un "collegamento virtuale" sul collegamento fisico tra lo switch e la scheda server.
   3. Profilo porta: è possibile selezionare l'elenco dei profili di porta definiti sul Nexus 5000 a monte. Se Nexus 5000 è configurato con il comando vethernet auto-create, su Nexus 5000 verrà creata automaticamente un'interfaccia Ethernet virtuale. Si noti che solo i nomi dei profili delle porte Ethernet virtuali (configurazione del profilo della porta non disponibile) vengono passati al server. Questo si verifica dopo che è stata stabilita la connettività del collegamento VNTag e che sono stati eseguiti l'handshake iniziale e i passaggi di negoziazione tra lo switch e l'adattatore server.

      

7. Fare clic su Salva modifiche.
8. Spegnere e riaccendere il server.

Configurazione vHBA

Quando si creano vHBA sulla scheda del server, le interfacce switch corrispondenti non vengono create automaticamente. Dovrebbero invece essere definiti manualmente. Di seguito sono illustrati i passaggi per switch e server.

Completare questi passaggi dal lato dello switch:

1. Creare un'interfaccia trunk Ethernet virtuale associata al canale dell'interfaccia VNTag dell'interfaccia vHBA del server. La VLAN Fibre Channel over Ethernet (FCoE) non deve essere la VLAN nativa. I numeri Ethernet virtuali devono essere univoci sui due switch Nexus 5000.

   Esempio:

   (config)# interface veth 10
   (config-if)# switchport mode trunk
   (config-if)# switchport trunk allowed vlan 1,100
   (config-if)# bind interface eth1/1 channel 3
   (config-if)# no shutdown

2. Creare un'interfaccia VFC associata all'interfaccia Ethernet virtuale definita in precedenza.

   Esempio:

   (config)# interface vfc10
   (config-if)# bind interface veth 10
   (config-if)# no shut

   L'appartenenza della VSAN (Virtual Storage Area Network) per questa interfaccia è definita nel database VSAN:

   (config)# vsan database
   (config-vsan-db)# vsan 100 interface vfc10
   (config-vsan-db)# vlan 100
   (config-vlan)# fcoe vsan 100
   (config-vlan)# show vlan fcoe

Eseguire i seguenti passaggi sul lato server:

1. Per creare un'interfaccia vHBA, scegliere Inventario > Schede di rete > vHBA.

   I campi principali da definire sono:

   • Nome universale della porta (pWWN)/Nome universale del nodo (nWWN)
   • VLAN FCOE
   • ID uplink
   • Numero canale
   • Avvio da SAN (Storage Area Network) se utilizzato
2. Spegnere e riaccendere il server.

Verifica

Per verificare che la configurazione funzioni correttamente, consultare questa sezione.

L'elenco delle interfacce Ethernet virtuali può essere visualizzato con questi comandi:

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

Le interfacce Ethernet virtuali create automaticamente non vengono visualizzate nella configurazione in esecuzione e verranno salvate nella configurazione di avvio quando viene eseguito l'avvio della copia:

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

Risoluzione dei problemi

Le informazioni contenute in questa sezione permettono di risolvere i problemi relativi alla configurazione.

L'Interfaccia Ethernet Virtuale Non Compare

Verificare le informazioni DCBX (Data Center Bridging Capabilities Exchange Protocol) per l'interfaccia VNTag dello switch con questo comando:

# show system internal dcbx info interface ethernet <>

Verificare che:

• Il protocollo DCX (Data Center Bridging Exchange) è Converged Ethernet (CEE)
• Estensione NIV (Network IO Virtualization) CEE abilitata
• Valore TLV (Type Length Value) del VCI

Come evidenziato di seguito:

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

I problemi più comuni sono:

• Il protocollo DCX è CIN
  
  • Verifica la presenza di problemi L1: cavi, SFP, portali, adattatore.
  • Controllare la configurazione dello switch: switchport VNTag, abilita il protocollo LLDP (Link Layer Discovery Protocol)/DCBX.
• TLV è assente
  • Verificare che la modalità INV sia attivata nella configurazione della scheda.
  • Verificare che la comunicazione VNIC Interface Control (VIC) sia stata completata e che le informazioni sui profili delle porte siano state scambiate. Verificare che lo stato dell'evento corrente di Virtual Interface Manager (VIM) sia VIM_NIV_PHY_FSM_ST_UP_OPEN_PP.

n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

Se l'interfaccia Ethernet virtuale è una rete Ethernet virtuale fissa, verificare se in questo comando viene visualizzato VIC_CREATE:

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

Si noti che un'interfaccia Ethernet virtuale fissa è un'interfaccia virtuale che non supporta la migrazione tra interfacce fisiche. Quando si parla di Adapter-FEX, l'ambito è sempre su Ethernet virtuale fisso perché Adapter-FEX si riferisce all'uso della virtualizzazione di rete da parte di un unico sistema operativo (non virtualizzato).

Se VIC_CREATE non viene visualizzato:

1. Se la scheda è di tipo Cisco INV, controllare la configurazione VNIC sul lato della scheda (ID canale, porta UIF uplink corretta, commit in sospeso (riavvio del server necessario per le modifiche alla configurazione)). Un vHBA non attiverà la connettività Ethernet virtuale su entrambi gli switch nella topologia AA FEX. Un'interfaccia Ethernet virtuale fissa vHBA necessita di un driver del sistema operativo per attivarlo (attendere che il sistema operativo carichi il driver e si avvii completamente).
2. Se l'adattatore è un NIC Broadcom, verificare che le interfacce siano attive dal lato del sistema operativo (ad esempio, in Linux, visualizzare l'interfaccia 'ifconfig eth2 up').
3. Se viene visualizzato VIC_CREATE, ma lo switch risponde con ERR_INTERNAL:
   • Controllare i profili delle porte sia sul lato dello switch che su quello dell'adattatore. Verificare se le stringhe dei profili di porta non corrispondono.
   • Per le reti Ethernet virtuali fisse dinamiche, controllare la configurazione 'veth auto-create'.
4. Se il problema persiste, raccogliere i risultati elencati di seguito e contattare il Cisco Technical Assistance Center (TAC).
   

   # show system internal vim log
   # attach fex <number>
   # test vic_proxy dump trace

Raccogliere le informazioni tecniche sull'adattatore dal lato server

1. Accedere a CIMC da un browser.
2. Fare clic sulla scheda Admin.
3. Fare clic su Utilità.
4. Fare clic su Esporta dati supporto tecnico in TFTP o su Genera dati supporto tecnico per download locale.