Exemplo de configuração do Nexus 5500 VM-FEX

Introduction

Este documento descreve como configurar, operar e solucionar problemas do Virtual Machine Fabric Extender (VM-FEX) em switches Cisco Nexus 5500.

Prerequisites

Requirements

A Cisco recomenda que você tenha conhecimento básico desses tópicos.

• Nexus Virtual Port Channel (VPC)
• VMware vSphere

Componentes Utilizados

As informações neste documento são baseadas nas seguintes versões de hardware e software:

• Nexus 5548UP que executa a versão 5.2(1)N1(4)
• Servidor em rack Unified Computing System (UCS)-C C210 M2 com placa de interface virtual UCS P81E que executa a versão de firmware 1.4(2)
• vSphere versão 5.0 (ESXi e vCenter)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Se a sua rede estiver ativa, certifique-se de que você entende o impacto potencial de qualquer comando ou configuração de captura de pacotes.

Visão geral do VM-FEX

O VM-FEX combina redes virtuais e físicas em uma única infraestrutura. Ele permite que você provisione, configure e gerencie o tráfego de rede da máquina virtual e o tráfego de rede bare metal em uma infraestrutura unificada.

O software VM-FEX estende a tecnologia do extensor de estrutura da Cisco para a máquina virtual com estes recursos:

• Cada máquina virtual inclui uma interface dedicada no switch pai.
• Todo o tráfego da máquina virtual é enviado diretamente para a interface dedicada no switch.
• O vSwitch padrão no hipervisor é eliminado.

O VM-FEX é um tipo de switch virtual distribuído (DVS ou VDS). O DVS apresenta uma abstração de um único switch em vários servidores ESX que fazem parte do mesmo contêiner de data center no vCenter. A configuração do Virtual Network Interface Controller (VNIC) da máquina virtual (VM) é mantida de um local centralizado (Nexus 5000 ou UCS no VM-FEX, este documento ilustra o VM-FEX baseado no Nexus 5000).

O VM-FEX pode operar em dois modos:

• Passagem: Esse é o modo padrão, no qual o VEM está envolvido no caminho de dados para o tráfego da VM.
• Alto desempenho: O tráfego de VM não é tratado pelo VEM, mas é transmitido diretamente para o adaptador Network IO Virtualization (NIV).

Para usar o modo de alto desempenho, ele deve ser solicitado pela configuração do perfil de porta e deve ser suportado pelo Sistema Operacional VM e pelo seu adaptador virtual. Mais informações sobre isso serão fornecidas posteriormente neste documento.

Definições

• VEM (Virtual Ethernet Module, módulo de Ethernet virtual). Módulo de software da Cisco que é executado dentro do hypervisor ESX e fornece implementação de VNLink em um único pacote
  
  
• O Network IO Virtualization (NIV) usa VNtagging para implantar vários Virtual Network Links (VN-Link) no mesmo canal Ethernet físico
  
  
• Datacenter Bridging Capability Exchange (DCBX)
  
  
• Controle de interface VNIC (VIC)
  
  
• Virtual NIC (VNIC), que indica um ponto de extremidade de host. Ele pode ser associado a um VIF ativo ou um VIF em standby
  
  
• Porta virtual distribuída (DVPort). VNIC está conectado à porta DVP no VEM
  
  
• Interface virtual NIV (VIF), que é indicada em um endpoint de rede
  
  
• A interface Ethernet virtual (vEth) representa VIF no switch
  
  
• Pass-Through Switch (PTS). Módulo VEM instalado no hipervisor

Note: O VEM usado no VM-FEX é semelhante ao VEM usado com o Nexus 1000v. A diferença é que no VM-FEX, o VEM opera em modo de passagem e não executa comutação local entre VMs no mesmo ESX.

Configurar

A topologia é um servidor UCS-C com P81E VIC dual-homed para dois switches VPC Nexus 5548.

Note: Use a Command Lookup Tool ( somente clientes registrados) para obter mais informações sobre os comandos usados nesta seção.

Diagrama de Rede

Esses componentes obrigatórios já devem estar no lugar:

• O VPC é configurado e inicializado corretamente entre os dois switches Nexus 5000.
  
  
• O VMWare vCenter é instalado e conectado por meio de um cliente vSphere.
  
  
• O ESXi é instalado no servidor UCS-C e adicionado ao vCenter.

As etapas de configuração são resumidas aqui:

1. Ative o modo NIV no adaptador do servidor:
   
   
   1. Conecte-se à interface do Cisco Integrated Management Controller (CIMC) via HTTP e faça login com as credenciais do administrador.
      
      
   2. Escolha Inventory > Network Adapters > Modify Adapter Properties.
      
      
   3. Ative o modo NIV, defina o número de interfaces VM FEX e salve as alterações.
      
      
   4. Desligue e ligue o servidor.
   
   
   

   

   
   
   Depois que o servidor voltar a ficar on-line, verifique se o NIV está ativado:
   
   

   

   
   
   
2. Crie dois vEths estáticos no servidor.
   
   Para criar duas VNICs, escolha Inventory > Network Adapters > VNICs > Add.
   Estes são os campos mais importantes a serem definidos:
   
   
   • Porta de uplink VIC a ser usada (P81E tem duas portas de uplink referenciadas como 0 e 1).
     
     
   • Número do canal: Este é um ID de canal exclusivo da VNIC no adaptador. Isso é referenciado no comando bind na interface vEth no Nexus 5000. O escopo do número do canal é limitado ao link físico do VNTag. O canal pode ser considerado um "link virtual" no link físico entre o switch e o adaptador de servidor.
     
     
   • Perfil de porta: A lista de perfis de porta definidos no Nexus 5000 upstream pode ser selecionada. Uma interface vEth será criada automaticamente no Nexus 5000 se o Nexus 5000 estiver configurado com o comando de criação automática de vEthernet. Observe que somente os nomes de perfil de porta vEthernet são passados para o servidor (a configuração de perfil de porta não é). Isso ocorre depois que a conectividade do link VNTag é estabelecida e os passos iniciais de handshake e negociação são executados entre o switch e o adaptador de servidor.
     
     
   • Ativar failover de uplink: As VNICs fazem failover para a outra porta de uplink P81E se a porta de uplink configurada ficar off-line.
     
     
   
   
   

   

   
   
   
3. Reinicialize o servidor.
   
   
4. Instale o VEM no host ESXi.
   
   Para obter um exemplo de instalação do VEM no host ESXi, consulte Instalando ou Atualizando o Pacote de Software Cisco VEM em um Host ESX ou ESXi no Guia de Configuração GUI do Cisco UCS Manager VM-FEX para VMware, Release 2.1.
   
   
   
   

   Note: Todas as configurações de switch mostradas em seguida devem ser configuradas em ambos os pares do Nexus 5500 VPC, exceto o comando de conexão do Switch Virtual de Software (SVS - Software Virtual Switch) e a chave de extensão XML, que devem ser feitas somente no switch principal do VPC.

   
   
   
5. Ative o conjunto de recursos de virtualização e os recursos VM-FEX e HTTP:
   
   

   (config)# install feature-set virtualization
   (config)# feature-set virtualization
   (config)# feature vmfex
   (config)# feature http-server
   
   (Optional) Allow the Nexus 5000 to auto-create its Vethernet interfaces when the
   corresponding vNICs are defined on the server: 
   (config)# vethernet auto-create

   
   
   
6. Ative o VNTag nas interfaces do host.
   

   Configure the N5k interface that connects to the servers in VNTAG mode:
   (config)# interface Eth 1/1
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

   
   
   
7. Levante vEths estáticos.
   
   Em ambos os switches Nexus 5500, ative as interfaces virtuais vEth estáticas que devem se conectar às duas VNICs estáticas habilitadas na VIC do servidor.
   
   No Nexus 5548-A, digite:
   

   interface vethernet 1 
   bind interface eth 1/1 channel 10
   no shutdown

   
   
   No Nexus 5548-B, digite:
   

   interface vethernet 2
   bind interface eth 1/1 channel 11
   no shutdown

   
   
   Como alternativa, essas interfaces vEth podem ser criadas automaticamente com o comando vethernet autocreate.
   
   

   Note: No caso de topologias que envolvem servidores dual-homed para módulos Ative/Ative FEX, as VNICs do servidor devem ter o failover de uplink ativado e as interfaces vEthernet do switch têm dois comandos de interface bind (uma para cada porta da Interface de Host FEX (HIF) à qual o servidor está conectado). A interface vEthernet está ativa ou em standby em cada switch Nexus 5000.

   
   
   Exemplo:
   
   Em cada um dos dois Nexus 5000s, configure:
   

   interface Vethernet1
     description server_uplink1
     bind interface Ethernet101/1/1 channel 11
     bind interface Ethernet102/1/1 channel 11
   
   interface Vethernet2
     description server_uplink2
     bind interface Ethernet101/1/1 channel 12
     bind interface Ethernet102/1/1 channel 12

   
   
   
8. Configure a conexão SVS com o vCenter e conecte-se.
   
   Em ambos os switches Nexus 5500, configure:
   
   

   svs connection <name>
     protocol vmware-vim
     remote ip address <vCenter-IP> vrf <vrf>
     dvs-name <custom>
     vmware dvs datacenter-name <VC_DC_name>

   
   
   Somente no switch principal do VPC, conecte-se ao vCenter:
   
   

   svs connection <name>
     connect
   
   Sample configuration on VPC primary:
   svs connection MyCon
     protocol vmware-vim
     remote ip address 10.2.8.131 port 80 vrf management
     dvs-name MyVMFEX
     vmware dvs datacenter-name MyVC
     connect

   
   
   Aqui está um exemplo de configuração no VPC secundário:
   

   svs connection MyCon
     protocol vmware-vim
     remote ip address 10.2.8.131 port 80 vrf management
     dvs-name MyVMFEX
     vmware dvs datacenter-name MyVC

   
   
   
9. Crie perfis de porta no Nexus 5000.
   
   Em ambos os switches Nexus 5500, configure os perfis de porta para as VNICs VM-FEX. Esses perfis de porta aparecem como grupos de portas do switch DVS no vCenter.
   
   Aqui está um exemplo:
   
   

   vlan 10,20
   
   port-profile type vethernet VM1
     dvs-name all
     switchport mode access
     switchport access vlan 10
     no shutdown
     state enabled
   port-profile type vethernet VM2
     dvs-name all
     switchport mode access
     switchport access vlan 20
     no shutdown
     state enabled

   
   
   

   Note: O comando dvs-name all define para qual switch DVS no vCenter esse perfil de porta deve ser exportado como um grupo de portas. Use o comando option all para exportar o grupo de portas para todos os switches DVS no Datacenter.

   
   
   Modo de alto desempenho da VM
   
   Para implementar o modo de alto desempenho (DirectPath IO) e ignorar o hipervisor para o tráfego de VM, configure o perfil de porta vEthernet com o comando host-netio de alto desempenho. No caso de topologias VPC, o perfil de porta deve ser sempre editado em ambos os switches pares VPC. Por exemplo:
   
   

   port-profile type vethernet VM2
   high-performance host-netio

   
   
   Para que o modo de alto desempenho esteja operacional, sua VM deve ter estes pré-requisitos adicionais:
   
   • O adaptador virtual VM deve ser do tipo vmxnet3 (verifique no vCenter: Clique com o botão direito do mouse em VM > Edit settings > Network adapter > Adapter type (VM > Editar configurações > Adaptador de rede > Tipo de adaptador no menu direito).
     
     
   • A VM deve ter reserva de memória completa (no vCenter: Clique com o botão direito do mouse em VM > Editar configurações > guia Recursos > Memória > Slide reserva para a direita).
     
     
   • O sistema operacional que é executado na VM deve suportar esse recurso.
     
     
   
   
   Veja como você verifica o modo de alto desempenho (DirectPath IO) quando ele é usado.
   Nas configurações de hardware da VM, o campo DirectPath I/O no menu direito mostra como ativo quando o modo de alto desempenho da VM está em uso e como inativo quando o modo de passagem padrão da VM está em uso.
   
   

   

   
   
   
10. Registre o Nexus 5548 principal do VPC no vCenter:
    
    

    Note: Nas topologias VPC, o switch VPC principal envia o par de chaves de extensão para o vCenter, bem como os perfis de porta. A chave de extensão é sincronizada pelo peer VPC principal com o peer VPC secundário. Isso é verificado posteriormente com o comando show svs connection, que relata a mesma chave de extensão em ambos os pares. Se os dois Nexus 5500 não fossem pares VPC, a chave de extensão configurada seria diferente para cada switch e cada switch teria que estabelecer conexões SVS separadas com o vCenter.

    
    
    Conecte-se via HTTP ao Nexus 5548 principal do VPC e faça o download do arquivo XML da extensão:
    

    

    
    
    Em seguida, registre o plug-in de extensão no vCenter: escolha Plug-ins > Manage Plug-ins > Click com o botão direito do mouse > New Plug-in.
    
    
11. Conecte-se ao vCenter. (Consulte a Etapa 8.)
    
    
12. Verifique se o Nexus 5000 se registra no vSphere como um vDS:
    
    Verifique a criação de um novo DVS no vCenter com o nome definido em dvs-name em svs connection no Nexus 5000: escolha Home > Inventory > Networking.
    
    

    

    
    
    No switch principal do Nexus 5000 VPC, verifique se a conexão SVS está on-line com este comando:
    
    

    n5k1# show svs connections
    
    Local Info:
    -----------
    connection MyCon:
        ip address: 10.2.8.131
        remote port: 80
        vrf: management
        protocol: vmware-vim https
        certificate: default
        datacenter name: MyVC
        extension key: Cisco_Nexus_1000V_126705946
        dvs name: MyVMFEX
        DVS uuid: 89 dd 2c 50 b4 81 57 e4-d1 24 f5 28 df e3 d2 70
        config status: Enabled
        operational status: Connected
        sync status: in progress
        version: VMware vCenter Server 5.0.0 build-455964
    
    
    Peer Info:
    ----------
    connection MyCon:
        ip address: 10.2.8.131
        remote port: 80
        vrf: management
        protocol: vmware-vim https
        extension key: Cisco_Nexus_1000V_126705946
        certificate: default
          certificate match: TRUE
        datacenter name: MyVC
        dvs name: MyVMFEX
        DVS uuid: -
        config status: Disabled
        operational status: Disconnected
    n5k1#

    
    
    
13. Verifique se os grupos de portas VM estão disponíveis no vCenter.
    
    Os perfis de porta vEthernet definidos no Nexus 5000 devem aparecer no vCenter como grupos de portas no DVS na exibição de rede:
    
    

    

    
    
    
14. Migre hosts ESXi para o DVS.
    
    No VSphere, escolha Home > Inventory > Networking, clique com o botão direito do mouse no nome do DVS e Add Host para adicionar os hosts ESXi ao DVS.
    
    As interfaces virtuais Adapter-FEX são uplinks de hosts ESXi. Escolha o grupo de portas uplink padrão (não usado_ou_quarenteno_uplink) para essas portas uplinks.
    
    
15. Provisione a VM.
    
    Escolha um grupo de portas VM-FEX para o adaptador de rede de uma VM (clique com o botão direito do mouse em VM > Edit Settings > Network Adapter > Network Label no menu direito).
    
    
16. VNICs VM provisionadas.
    
    
17. O adaptador inicia a criação da interface VIC para o switch.
    
    Quando um adaptador de rede VM é mapeado para um grupo de portas VM-FEX, uma interface vEthernet é criada dinamicamente no Nexus 5000. O intervalo de interfaces vEth criadas dinamicamente começa em 32769.
    
    Essas interfaces podem ser verificadas através destes comandos:
    

    # show interface virtual status
    # show interface virtual summary

Verificar e solucionar problemas

Use esta seção para verificar se sua configuração funciona corretamente e para solucionar qualquer problema encontrado.

• Para verificar se as duas VNICs estáticas do servidor UCS-C estão conectadas com o VN-Link às interfaces vEth fixas estáticas no Nexus 5500, insira este comando:
  
  

  n5k1# show system internal dcbx info interface e1/1
  
  Interface info for if_index: 0x1a001000(Eth1/1)
  tx_enabled: TRUE
  rx_enabled: TRUE
  dcbx_enabled: TRUE
  DCX Protocol: CEE
  DCX CEE NIV extension: enabled
  <output omitted>

  
  
  
• No caso de topologias ativas/em standby para dois FEXs dual-homed, certifique-se de que a interface vEth seja exibida como modo ativo ou em standby nos dois switches VPC do Nexus 5000.
   
   Aqui o modo é mostrado como desconhecido:
   
  

  n5k1# show int virtual status
  Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
  -------------------------------------------------------------------------
  Veth1     VIF-16      Eth101/1/1      11     1  Up         Active       2
  Veth1     None        Eth102/1/1      11     0  Init       Unknown      0
  Veth2     None        Eth101/1/1      12     0  Init       Unknown      0
  Veth2     None        Eth102/1/1      12     0  Init       Unknown      0
  Veth3     VIF-18      Eth101/1/2      11     1  Up         Active       2
  Veth3     None        Eth102/1/2      11     0  Init       Unknown      0
  Veth4     None        Eth101/1/2      12     0  Init       Unknown      0
  Veth4     VIF-19      Eth102/1/2      12     1  Up         Active       3

  
  
  Se você encontrar o modo desconhecido, certifique-se de habilitar o modo de failover de uplink na VNIC. Verifique também se o número de canal especificado no CIMC corresponde ao número de canal especificado na configuração vEthernet.
  
  A saída correta deve ser semelhante a esta:
  
  

  n5k1# show int virtual status
  Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
  -------------------------------------------------------------------------
  Veth1     VIF-27      Eth101/1/1      11     1  Up         Active       2
  Veth1     VIF-35      Eth102/1/1      11     1  Up         Standby      2
  Veth2     VIF-36      Eth101/1/1      12     1  Up         Standby      3
  Veth2     VIF-33      Eth102/1/1      12     1  Up         Active       3
  Veth3     VIF-30      Eth101/1/2      11     1  Up         Active       2
  Veth3     VIF-21      Eth102/1/2      11     1  Up         Standby      2
  Veth4     VIF-24      Eth101/1/2      12     1  Up         Standby      3
  Veth4     VIF-31      Eth102/1/2      12     1  Up         Active       3

  
  
  
• As interfaces vEth não aparecem no switch.
  
  No menu HTTP do CIMC do servidor UCS-C, verifique se:
  
  • O NIV está ativado no adaptador.
    
    
  • Um número diferente de zero de interfaces VM-FEX é configurado no adaptador.
    
    
  • O failover do adaptador está ativado no VNIC.
    
    
  • O servidor UCS-C foi reinicializado após a configuração acima ter sido feita.
  
  
  
• As interfaces vEth não ficam on-line.
  
  Verifique se VIF_CREATE aparece neste comando:
  
  

  # show system internal vim info logs interface veth 1
  03/28/2014 16:31:47.770137: RCVD VIF CREATE request on If Eth1/32  <<<<<<<
  03/28/2014 16:31:53.405004: On Eth1/32 - VIC CREATE sending rsp for msg_id 23889
  to completion code SUCCESS
  03/28/2014 16:32:35.739252: On Eth1/32 - RCVD VIF ENABLE. VIF-index 698 msg id 23953
  VIF_ID: 0, state_valid: n, active
  03/28/2014 16:32:35.802019: On Eth1/32 - VIC ENABLE sending rsp for msg_id 23953 to
  completion code SUCCESS
  03/28/2014 16:32:36.375495: On Eth1/32 - Sent VIC SET, INDEX: 698, msg_id 23051, up,
  enabled, active, cos 0VIF_ID: 50 vlan:
  1 rate 0xf4240, burst_size 0xf
  03/28/2014 16:32:36.379441: On Eth1/32 - RCVD VIC SET resp, INDEX: 698, msg_id 23051,
  up, enabled,active, cos 0, completion
  code: 100

  
  
  Se VIF_CREATE não for exibido ou o switch não responder corretamente, faça o seguinte:
  
  
  • No vCenter, verifique se o switch DVS foi configurado corretamente com dois uplinks físicos para o host ESX (clique com o botão direito do mouse em DVS switch > Manage Hosts > Select Physical Adapters).
    
    
  • No vCenter, verifique se o VMNIC selecionou o rótulo de rede/perfil de porta correto (clique com o botão direito do mouse em VM > Editar configurações > clique em Adaptador de rede > verifique o rótulo Rede).
  
  
  
• A conexão SVS com o vCenter não fica on-line.
  
  Como mostrado na Etapa 12 da seção anterior, use este processo para verificar se o Nexus 5000 estava conectado ao vCenter:
  
  
  • No vCenter, verifique se o DVS aparece na exibição de rede.
    
    
  • No Nexus 5000 VPC principal, verifique se o SVS está conectado (use o comando show svs connection).
    
    
  
  
  Caso a conexão não seja estabelecida, verifique se:
  
  
  • A configuração do SVS é idêntica em ambos os pares do VPC.
    
    
  • O VPC é inicializado e as funções são estabelecidas corretamente.
    
    
  • O certificado XML do comutador principal do VPC está instalado no vCenter.
    
    
  • O comutador principal do VPC tem "conexão" configurada no modo de configuração "conexão svs".
    
    
  • O nome do datacenter corresponde ao nome usado no vCenter.
    
    
  • O Virtual Routing and Forwarding (VRF) correto é configurado no comando remoto SVS e que o switch tem conectividade IP com o endereço IP do vCenter.
  
  
  Se todas essas condições forem atendidas, mas a conexão SVS ainda não tiver êxito, colete essa saída e entre em contato com o Cisco Technical Assistance Center (TAC):
  

  show msp port-profile vc sync-status
  show msp internal errors
  show msp internal event-history msgs
  show vms internal errors
  show vms internal event-history msgs

  
  
  
• O switch Nexus 5500 não pode ser acessado via HTTP.
  
  Verifique se o recurso http-server está habilitado:
  
  

  n5k1# show feature | i http
  http-server           1         disabled
  n5k1# conf t
  Enter configuration commands, one per line.  End with CNTL/Z.
  n5k1(config)# feature http-server
  n5k1(config)#

Histórico de revisões