Exemplo de configuração do adaptador Nexus 5500-FEX

Introduction

Este documento descreve como configurar, operar e solucionar problemas do recurso Extensor de malha do adaptador (FEX) em switches Nexus 5500.

Prerequisites

Requirements

Não existem requisitos específicos para este documento.

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

• Nexus 5548UP que executa a versão 5.2(1)N1(4)
• Servidor em rack C-Series C210 M2 do Unified Computing System (UCS) com placa de interface virtual (VIC) UCS P81E que executa o Firmware versão 1.4(2)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Se a sua rede estiver ativa, certifique-se de que você entende o impacto potencial de qualquer comando ou configuração de captura de pacotes.

Informações de Apoio

Visão geral do Adapter-FEX

Esse recurso permite que um switch Nexus 5500 gerencie interfaces virtuais (tanto Ethernet virtual Network Interface Controllers (vNICs) quanto Fibre Channel Virtual Host Bus Adapters (FC vHBAs)) na VIC do servidor. Isso é independente de qualquer hipervisor executado no servidor. Quaisquer interfaces virtuais criadas estarão visíveis para o sistema operacional principal instalado no servidor (desde que o SO tenha os drivers apropriados).

As plataformas suportadas podem ser encontradas nesta seção do Guia de operações do FEX do adaptador Cisco Nexus 5000 Series NX-OS, versão 5.1(3)N1(1).

As topologias suportadas para o Adaptador-FEX podem ser encontradas nesta seção do Guia de Operações do Adaptador FEX do Cisco Nexus 5000 Series NX-OS, Release 5.1(3)N1(1).

As topologias suportadas são:

• Servidor single-homed para um switch Nexus 5500
• Servidor single-homed para FEX direto
• Servidor single-homed para um FEX ativo/ativo
• Servidor dual-homed via uplinks ativos/em standby para um par de switches Nexus 5500
• Servidor dual-homed via uplinks ativos/em standby para um par de FEXs ativos/ativos do canal de porta virtual (vPC)

A seção de configuração subsequente discute 'Servidor dual-homed via uplinks ativos/em standby para um par de switches Nexus 5500', que é descrita aqui:

Cada vNIC terá uma interface Ethernet virtual correspondente no Nexus 5000. Da mesma forma, cada vHBA terá uma interface Virtual Fibre Channel (VFC) correspondente no Nexus 5000.

Configurar

Note: Use a Command Lookup Tool ( somente clientes registrados) para obter mais informações sobre os comandos usados nesta seção.

Configuração de vNICs Ethernet

Conclua estes passos em ambos os switches Nexus 5000:

1. Normalmente, o vPC é definido e operacional nos dois switches Nexus 5000. Verifique se o domínio vPC está definido, peer-keepalive é UP e peer-link is UP.
2. Insira estes comandos para ativar o conjunto de recursos de virtualização.

   (config)# install feature-set virtualization
   (config)# feature-set virtualization

3. (Opcional) Permita que o Nexus 5000 crie automaticamente suas interfaces Ethernet virtuais quando as vNICs correspondentes estiverem definidas no servidor. Observe que isso não se aplica às interfaces VFC que só podem ser definidas manualmente no Nexus 5000.

   (config)# vethernet auto-create

4. Configure a interface do Nexus 5000 que se conecta aos servidores no modo Virtual Network Tag (VNTag).

   (config)# interface Eth 1/10
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

5. Configure os perfis de porta a serem aplicados às vNICs.

   Os perfis de porta são modelos de configuração que podem ser aplicados (herdados) pelas interfaces do switch. No contexto do Adapter-FEX, os perfis de porta podem ser aplicados às interfaces Ethernet virtuais definidas manualmente ou às que são criadas automaticamente quando as vNICs são configuradas na interface GUI do Cisco Integrated Management Controller (CIMC) do UCS C-Series.

   O perfil de porta é do tipo 'vethernet'.

   Um exemplo de configuração de perfil de porta é mostrado aqui:

   (config)# port-profile type vethernet VNIC1
   (config-port-prof)# switchport mode access
   (config-port-prof)# switchport access vlan 10
   (config-port-prof)# no shutdown
   (config-port-prof)# state enabled

Conclua estes passos no servidor UCS C-Series:

1. Conecte-se à interface CIMC via HTTP e faça login com as credenciais do administrador.
2. Escolha Inventory > Network Adapters > Modify Adapter Properties.
3. Marque a caixa de seleção Ativar modo NIV.
4. Clique em Salvar alterações.
5. Desligue e ligue o servidor.

   

6. Depois que o servidor for ativado, escolha Inventory > Network Adapters > vNICs > Add para criar vNICs. Os campos mais importantes a serem definidos são:
   1. Porta de uplink VIC a ser usada (P81E tem 2 portas de uplink referenciadas como 0 e 1).
   2. Channel Number - uma ID de canal exclusiva da vNIC no adaptador. Isso é mencionado no comando bind na interface Ethernet virtual no Nexus 5000. O escopo do número do canal é limitado ao link físico do VNTag. O canal pode ser considerado como um 'link virtual' no link físico entre o switch e o adaptador de servidor.
   3. Port Profile - a lista de perfis de porta definidos no Nexus 5000 upstream pode ser selecionada. Uma interface Ethernet virtual será criada automaticamente no Nexus 5000 se o Nexus 5000 estiver configurado com o comando vethernet autocreate. Observe que somente os nomes de perfil de porta Ethernet virtual (a configuração de perfil de porta não é) são passados para o servidor. Isso ocorre depois que a conectividade do link VNTag é estabelecida e as etapas iniciais de handshake e negociação são executadas entre o switch e o adaptador de servidor.

      

7. Clique em Salvar alterações.
8. Desligue e ligue o servidor novamente.

Configuração de vHBAs

Quando você cria vHBAs no adaptador de servidor, as interfaces de switch correspondentes não são criadas automaticamente. Em vez disso, eles devem ser definidos manualmente. As etapas para o lado do switch e do servidor são mostradas aqui.

Conclua estes passos no lado do switch:

1. Crie uma interface de tronco Ethernet virtual que esteja vinculada ao canal da interface VNTag da interface vHBA do servidor. A VLAN Fibre Channel over Ethernet (FCoE) não deve ser a VLAN nativa. Os números Ethernet virtuais devem ser exclusivos nos dois switches Nexus 5000.

   Exemplo:

   (config)# interface veth 10
   (config-if)# switchport mode trunk
   (config-if)# switchport trunk allowed vlan 1,100
   (config-if)# bind interface eth1/1 channel 3
   (config-if)# no shutdown

2. Crie uma interface VFC vinculada à interface Ethernet virtual definida anteriormente.

   Exemplo:

   (config)# interface vfc10
   (config-if)# bind interface veth 10
   (config-if)# no shut

   A associação da Virtual Storage Area Network (VSAN) para esta interface é definida no banco de dados VSAN:

   (config)# vsan database
   (config-vsan-db)# vsan 100 interface vfc10
   (config-vsan-db)# vlan 100
   (config-vlan)# fcoe vsan 100
   (config-vlan)# show vlan fcoe

Conclua estes passos no lado do servidor:

1. Escolha Inventory > Network Adapters > vHBAs para criar uma interface vHBA.

   Os principais campos a definir são:

   • Port World Wide Name (pWWN)/Node World Wide Name (nWWN)
   • VLAN FCOE
   • ID do uplink
   • Número do canal
   • Inicialização a partir da SAN (Storage Area Network, rede de área de armazenamento), se usada
2. Desligue e ligue o servidor.

Verificar

Use esta seção para confirmar se a sua configuração funciona corretamente.

A lista de interfaces Ethernet virtuais pode ser exibida com estes comandos:

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

As interfaces Ethernet virtuais criadas automaticamente aparecem na configuração em execução e serão salvas na configuração de inicialização quando o copy run start for executado:

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

Troubleshoot

Esta seção fornece informações que podem ser usadas para o troubleshooting da sua configuração.

A interface Ethernet virtual não aparece

Verifique as informações do Data Center Bridging Capabilities Exchange Protocol (DCBX) para a interface VNTag do switch com este comando:

# show system internal dcbx info interface ethernet <>

Verifique se:

• O protocolo DCX (Data Center Bridging Exchange) é Ethernet convergente (CEE)
• A extensão CEE Network IO Virtualization (NIV) está ativada
• O valor de comprimento do tipo NIV (TLV) está presente

Conforme destacado abaixo:

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

Os problemas comuns incluem:

• O protocolo DCX é CIN
  
  • Verifique problemas de L1: cabos, SFP, porta para cima, adaptador.
  • Verifique a configuração do switch: conjunto de recursos, switchport VNTag, enable Link Layer Discovery Protocol (LLDP)/DCBX.
• TLV do NIV está ausente
  • Verifique se o modo NIV está ativado na configuração do adaptador.
  • Verifique se a comunicação VIC (Controle de Interface VNIC) foi concluída e se as informações dos perfis de porta foram trocadas. Certifique-se de que o estado atual do evento do Virtual Interface Manager (VIM) seja VIM_NIV_PHY_FSM_ST_UP_OPENED_PP.

n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

Se a interface Ethernet virtual for uma Ethernet virtual fixa, verifique se VIC_CREATE aparece neste comando:

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

Observe que uma interface Ethernet virtual fixa é uma interface virtual que não suporta migração através de interfaces físicas. Quando o Adapter-FEX é discutido, o escopo está sempre na Ethernet virtual fixa porque o Adapter-FEX se refere ao uso da virtualização de rede por um único SO (ou seja, não virtualizado).

Se VIC_CREATE não aparecer:

1. Se o adaptador for um adaptador Cisco NIV, verifique a configuração da VNIC no lado do adaptador (ID do canal, porta UIF de uplink correta, qualquer confirmação pendente (reinicialização do servidor necessária para qualquer alteração na configuração). Um vHBA não ativará a Ethernet virtual em ambos os switches na topologia AA FEX. Uma Ethernet virtual fixa vHBA precisa de um driver de SO para ativá-lo (aguarde até que o SO carregue o driver e inicialize completamente).
2. Se o adaptador for um adaptador Broadcom NIV, verifique se as interfaces estão ativadas do lado do SO (por exemplo, no Linux, ative a interface 'ifconfig eth2').
3. Se VIC_CREATE aparecer, mas o switch responder com ERR_INTERNAL:
   • Verifique os perfis de porta nos lados do switch e do adaptador. Veja se alguma cadeia de caracteres de perfis de porta não corresponde.
   • Para Ethernets virtuais fixos dinâmicos, verifique a configuração 'veth auto-create'.
4. Se o problema persistir, colete a saída listada abaixo e entre em contato com o Cisco Technical Assistance Center (TAC).
   

   # show system internal vim log
   # attach fex <number>
   # test vic_proxy dump trace

Colete as informações de suporte técnico do adaptador do lado do servidor

1. Faça login no CIMC a partir de um navegador.
2. Clique na guia Admin.
3. Clique em Utilities (Utilitários).
4. Clique em Exportar dados de suporte técnico para TFTP ou Gerar dados de suporte técnico para download local.