Configurar a Camada 2 Disjunta em Clusters Hyperflex

Introdução

Este documento descreve como implementar uma configuração de Camada 2 Disjunta (DL2) em um cluster HX a partir das perspectivas UCS Manager (UCSM) e ESXi.

Pré-requisitos

Requisitos

A Cisco recomenda que você tenha conhecimento destes tópicos:

• Noções básicas sobre a configuração da DL2
• Conhecimento básico do Hyperflex Cluster
• Conhecimento recomendado do UCSM sobre vNICs, perfis de serviço e modelos

Outros requisitos são:

• Pelo menos um link disponível em cada Interconexão de estrutura e dois links disponíveis em seu switch upstream.
• Os links entre as interconexões em malha e o switch upstream devem estar ativos, eles devem ser configurados como uplinks. Se não estiverem, marque System Configuration - Configuring Ports para configurá-los no UCSM.
• As VLANs a serem usadas já devem ter sido criadas no UCSM. Se não estiverem, siga estas etapas: Configuração de Rede - Configuração de VLAN Nomeada.

• As VLANs a serem usadas já devem ter sido criadas no switch upstream.
• As VLANs a serem usadas não podem existir em nenhuma outra NIC virtual (vNIC) nos Perfis de Serviço.

Componentes Utilizados

Este documento não se restringe a versões de software e hardware específicas.

• 2x UCS-FI-6248UP
• 2x N5K-C5548UP
• UCSM versão 4.2(1f)

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Diagrama de Rede

 

 

Configurações

As configurações da DL2 são usadas para segregar o tráfego em uplinks específicos para os dispositivos upstream, de modo que o tráfego da VLAN não se misture.

Configurar os novos vNICs

Etapa 1. Faça login no UCSM e clique na guia LAN no painel esquerdo.

Navegue até Policies > root > Sub-organizations > Sub-organization name > vNIC templates. Clique com o botão direito do mouse nele e clique em Criar Modelo vNIC. 

Etapa 2. Nomeie o modelo, deixe Fabric A selecionado, role para baixo e selecione as VLANs apropriadas para o novo link. As configurações restantes podem ser configuradas conforme desejado.

Em seguida, repita o mesmo processo, mas selecione Fabric B desta vez.

Etapa 3. Na guia LAN, navegue até Políticas > raiz > Suborganizações > Nome da suborganização > Políticas de Conectividade LAN > Hyperflex. 

 

Etapa 4. Clique em Add, nomeie o vNIC e selecione um pool de MACs no menu suspenso.

Marque as caixas Use vNIC Template e Redundancy Pair. No menu suspenso vNIC Template, selecione o novo modelo e, ao lado dele, insira o Nome de mesmo nível.

Selecione a Política de adaptador desejada e clique em OK. 

Etapa 5. Na lista vNIC, procure o Peer do que acabou de ser criado, selecione-o e clique em Modificar.

Clique na caixa Usar modelo vNIC e selecione o outro modelo que foi criado no menu suspenso.
Clique em Save Changes na parte inferior, isso acionará Pending Activities para os servidores relacionados.

Reconhecer atividades pendentes

Etapa 1. Efetue login no HX Connect, navegue até System Information > Nodes, clique em um dos nós e, em seguida, clique em Enter HX Maintenance Mode e aguarde a conclusão da tarefa. 

Etapa 2. No vCenter, verifique se o nó está em manutenção.

Etapa 3. Quando o nó estiver em manutenção, volte para UCSM, clique no ícone de sino no canto superior direito e em Reinicializar agora.

 Marque a caixa que corresponde ao servidor que está atualmente em manutenção e clique em OK. 

Etapa 4. Após a inicialização do servidor, certifique-se de que os novos vNICs estejam presentes navegando para Servers > Service Profiles > root > Sub-Organizations > Sub-organization name > Service Profile name.

Clique em Network, role para baixo e as novas vNICs devem estar lá.

  

Etapa 5. Retire o servidor do modo de manutenção da interface do usuário do HX Connect.

Clique em Sair do modo de manutenção HX.

Quando o servidor fica sem manutenção, o SCVM (Storage Controller Virtual Machine, máquina virtual do controlador de armazenamento) é inicializado e o cluster inicia o processo de reparo.

Para monitorar o processo de reparo, use o SSH no IP do Gerenciador de Cluster do Hyperflex (HX) e execute o comando:

sysmtool --ns cluster --cmd healthdetail​

Cluster Health Detail:
---------------------:
State: ONLINE
HealthState: HEALTHY
Policy Compliance: COMPLIANT
Creation Time: Tue May 30 04:48:45 2023
Uptime: 7 weeks, 1 days, 15 hours, 50 mins, 17 secs
Cluster Resiliency Detail:
-------------------------:
Health State Reason: Storage cluster is healthy.
# of nodes failure tolerable for cluster to be fully available: 1
# of node failures before cluster goes into readonly: NA
# of node failures before cluster goes to be crticial and partially available: 3
# of node failures before cluster goes to enospace warn trying to move the existing data: NA
# of persistent devices failures tolerable for cluster to be fully available: 2
# of persistent devices failures before cluster goes into readonly: NA
# of persistent devices failures before cluster goes to be critical and partially available: 3
# of caching devices failures tolerable for cluster to be fully available: 2
# of caching failures before cluster goes into readonly: NA
# of caching failures before cluster goes to be critical and partially available: 3
Current ensemble size: 3
Minimum data copies available for some user data: 3
Minimum cache copies remaining: 3
Minimum metadata copies available for cluster metadata: 3
Current healing status:
Time remaining before current healing operation finishes:
# of unavailable nodes: 0

Etapa 6. Quando o cluster estiver íntegro, repita as etapas de 1 a 6. NÃO continue com a próxima etapa até que todos os servidores tenham as novas vNICs presentes.

Configurar as VLANs

Etapa 1. No UCSM, navegue para LAN > VLANs > VLAN Groups e clique em Add.

Etapa 2. Nomeie o Grupo de VLANs e selecione as VLANs apropriadas abaixo, clique em Avançar e vá para a etapa 2 do assistente para adicionar portas de uplinks únicas ou para a etapa 3 para adicionar canais de porta.

Etapa 3. Adicione a porta de uplink ou o canal de porta clicando neles e clicando no ícone >>. Clique em Finish na parte inferior. 

 

Configuração do ESXi

Etapa 1. Faça login no vSphere do host ESXi, navegue até Networking > Virtual Switches e clique em Adicionar comutador virtual padrão.

Etapa 2. Nomeie o vSwitch e uma das novas vmnics já estiver lá, clique em Add uplink para adicionar a 2^ª. Clique em Add. 

Etapa 3. Navegue até Networking > Port groups e clique em Add port group

Etapa 4. Nomeie o grupo de portas, insira a VLAN desejada e selecione o novo switch virtual no menu suspenso. 

Etapa 5. Repita a etapa 4 para cada VLAN que flui pelos novos links.

Etapa 6. Repita as etapas de 1 a 5 para cada servidor que faz parte do cluster.

Verificar

Verificação de UCSM 

Navegue até Equipment > Rack-Mounts > Servers > Server # > VIF Paths e expanda Path A ou B, na coluna vNIC, procure por um que corresponda ao DL2 vNIC e esse Circuito virtual deve ser vinculado ao uplink de interconexão de estrutura (FI) ou ao Port Channel que foi configurado recentemente.

Verificação da CLI 

Caminho da Interface Virtual (VIF) 

Em uma sessão SSH para as interconexões de estrutura, execute o comando: 

show service-profile circuit server <server-number>

Esse comando exibe os Caminhos VIF, seus vNICs correspondentes e a interface à qual eles estão fixados.

    Fabric ID: A
        Path ID: 1
        VIF        vNIC            Link State  Oper State Prot State    Prot Role   Admin Pin  Oper Pin   Transport
        ---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------
               966 hv-mgmt-a       Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               967 storage-data-a  Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               968 vm-network-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               969 hv-vmotion-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               990 network-DL2-a   Up          Active     No Protection Unprotected 0/0/0      1/0/14     Ether

A coluna Oper Pin deve exibir o Uplink FI ou o Port Channel recém-configurado na mesma linha que o DL2 vNIC.  

Nessa saída, o VIF 990, que corresponde ao vNIC vm-network-DL2-b, é vinculado à interface 1/0/14.

Fixação nos uplinks 

Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show pinning border-interfaces

--------------------+---------+----------------------------------------
Border Interface     Status    SIFs
--------------------+---------+----------------------------------------
Eth1/14              Active    sup-eth2 Veth990 Veth992 Veth994

Nesta saída, o número Veth deve corresponder ao número VIF visto na saída anterior e estar na mesma linha que a interface de uplink correta.

Destinatário designado: 

Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show platform software enm internal info vlandb id <VLAN-ID>

vlan_id 469
-------------
Designated receiver: Eth1/14
Membership:
Eth1/14

Nesta saída, o uplink correto deve ser exibido.

Switches upstream

Em uma sessão SSH para os switches upstream, a tabela de endereços MAC pode ser verificada e o endereço MAC de qualquer máquina virtual (VM) nessa VLAN deve ser mostrado. 

Nexus-5K# show mac address-table vlan 469
Legend:
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
        age - seconds since last seen,+ - primary entry using vPC Peer-Link
   VLAN     MAC Address      Type      age     Secure NTFY   Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 469      0000.0c07.ac45    static    0          F    F  Router
* 469      002a.6a58.e3bc    static    0          F    F  Po1
* 469      0050.569b.048c    dynamic   50         F    F  Eth1/14
* 469      547f.ee6a.8041    static    0          F    F  Router

Neste exemplo de configuração, a VLAN 469 é a VLAN disjunta, o endereço MAC 0050:569B:048C pertence a uma VM Linux atribuída ao vSwitch vswitch-hx-DL2 e ao grupo de portas DL2-vm-network-469, ele é exibido corretamente na interface Ethernet 1/14, que é a interface do switch upstream conectado ao Interconector de estrutura.

Da mesma sessão para o switch upstream, a configuração da VLAN pode ser verificada.

Nexus-5K# show vlan brief

VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
1    default                          active    Eth1/5, Eth1/8, Eth1/9, Eth1/10
                                                Eth1/11, Eth1/12, Eth1/13
                                                Eth1/15, Eth1/16, Eth1/17
                                                Eth1/19, Eth1/20, Eth1/21
                                                Eth1/22, Eth1/23, Eth1/24
                                                Eth1/25, Eth1/26
469  DMZ                              active    Po1, Eth1/14, Eth1/31, Eth1/32

Nessa saída, a interface Ethernet 1/14 está atribuída corretamente à VLAN 469. 

Troubleshooting

Erros de configuração do UCSM

Erro: "Falha ao localizar qualquer porta de uplink operacional que transporta todas as VLANs das vNIC(s). As vNIC(s) serão desligadas, o que levará à interrupção de tráfego em todas as VLANs existentes nas vNIC(s)."

O erro significa que não há novos uplinks ativos para transportar o novo tráfego, descartar quaisquer problemas das camadas 1 e 2 nas interfaces e tentar novamente.

Erro: "Falha ao fixar origem ENM" 

O erro está relacionado às VLANs associadas de um vNIC não encontrado em um uplink.

Possíveis comportamentos incorretos

Os uplinks anteriores interrompem o fluxo de dados porque as novas VLANs já existem em um vNIC e elas são vinculadas aos novos uplinks.

 Remova qualquer VLAN duplicada no modelo vNIC anterior. Navegue para Policies > root > Sub-organizations > Sub-organization name > vNIC templates e remova a VLAN do modelo vNIC vm-network. 

Informações Relacionadas

• Suporte técnico e downloads da Cisco
• Implante redes disjuntas de camada 2 upstream no modo de host final