Solucionar problemas do switch de função dupla ACI e da placa Intel VIC

Introdução

Este documento descreve o uso de switches de função dupla na estrutura da ACI (Application Centric Infrastructure) e o uso de VICs (Virtual Interface Cards) da Intel.

Problema

Os problemas relatados:

1. O switch spine N9K-C93600CD-GX não está sendo ativado no cluster.

2. A GUI do Application Policy Infrastructure Controller (APIC) mostra os números de interface incorretos conectados.

3. A GUI do APIC mostra o mesmo endereço MAC para todas as interfaces (eth2-1, eth2-2, eth2-3, eth2-4).

Solução

1. O switch spine N9K-C93600CD-GX não está surgindo no cluster

Observou-se que foi utilizada uma abordagem muito genérica quando estes tipos de questões são comunicados. Estas são etapas básicas de solução de problemas que podem ser executadas para isolamento, mas devem ser executadas após a verificação do guia de instalação do produto e a verificação de que as configurações e os requisitos atuais correspondem.

i. A movimentação das conexões no lado do switch ou do APIC está concluída.

ii. Recarregamento do switch ou do APIC concluído.

iii. Comandos CLI adicionais são coletados ou, às vezes, registros de suporte técnico são coletados para investigar ainda mais o problema.

Todas essas etapas estão corretas e devem ser seguidas. Mas há outra etapa que pode ser verificada sempre que houver um problema de detecção com um Identificador de peça (PID) específico. Essa verificação básica é para passar pelo guia de instalação de hardware desse switch específico.

Por exemplo, um usuário teve um problema com o switch PID N9K-C93600CD-GX e o usuário estava tentando ativá-lo como um spine e ele estava conectado ao switch leaf por meio de seu próprio número de porta 20. Este switch spine nunca apareceu.

No guia de instalação, estas informações podem ser encontradas:

• Essa função padrão do switch é como um switch folha.
• Os links de estrutura padrão (portas 29-36) devem ser usados para a descoberta inicial de switch através de outro switch.
• Para alterar o switch da função padrão, você deve proceder da seguinte forma: o nó aparece como um dispositivo descoberto na exibição de inventário de estrutura, você deve definir a função do switch (spine ou leaf) e o switch vai automaticamente para a reinicialização para aparecer na função configurada.
• Se você conectar um spine padrão (um switch de função dupla que, por padrão, é um spine, como o Nexus 9316D-GX) diretamente a um APIC, a alteração da função para leaf será realizada automaticamente pelo APIC, bem como a reinicialização. Depois disso, o nó aparece em Nodes com registro pendente e você precisa registrá-lo.

Sempre verifique as seções, como as considerações de função de Folha/Coluna e as considerações de descoberta, antes de executar qualquer verificação adicional.

Referência: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html.

Da mesma forma, para o PID C9316D-GX, a função padrão é a coluna. Mas também pode funcionar como uma folha no tecido.

Referência: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html.

Mais exemplos são PID 9332D-GX2B e 9364C-GX, a função padrão é leaf, mas pode funcionar como spine.

9332D-GX2B deve ser conectado através de seu próprio intervalo de portas de 25 a 32.

O 9364C-GX deve ser conectado por meio de seu próprio intervalo de portas de 49 a 62.

Portanto, sempre consulte o guia de instalação de hardware antes de continuar com qualquer outra etapa de solução de problemas, pois isso economiza tempo.

2. A GUI do APIC mostra números de interface incorretos conectados

Foi relatado que as conexões físicas por cabo foram feitas nas interfaces APIC eth2-1 e eth2-3, mas na GUI do APIC, foi descoberto que as interfaces eth2-2 e eth2-4 estavam sendo exibidas. Um comportamento semelhante foi observado para todos os três APICs no cluster.

O usuário estava usando o slot PCIe (Peripheral Component Interconnect Express) - interface de rede APIC-PCIE-IQ10GC Intel X710 quad Port 10GBase-T, não as placas Cisco VIC.

Verifique no Cisco Integrated Management Controller (CIMC), chassis > Inventory > PCI Adapters.

Confirmou-se que o modo NIC no CIMC é dedicado aos três CIMCs, juntamente com o status do Trusted Platform Module (TPM) habilitado e de propriedade. Todas as outras saídas também parecem bem. Mais tarde, um defeito de software (ID de bug Cisco CSCwd21587) foi arquivado para fazer troubleshooting adicional do problema.

Verificou-se que:

Placa de rede Intel X710-T4 Quad-port 10GBase-T, tem o esquema de numeração de porta começando na porta direita e aumentando indo em direção à porta esquerda.

Geralmente, as conexões em qualquer configuração de estrutura são feitas com a suposição de que a numeração começa a partir da esquerda, o que não é aplicável aqui.

As portas recebem números da direita para a esquerda desta maneira:

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

Com esse esquema de numeração em mente, o APIC está detectando as portas corretas e mostrando as portas na GUI conforme esperado.

Ele também foi atualizado no documento: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf.

Pontos a lembrar:

• O APIC-PCIE-IQ10GC ou o UCSC-PCIE-IQ10GC sempre devem ser instalados no slot 1 do PCIe para APIC M3/L3.
• O APIC-PCIE-IQ10GC ou o UCSC-PCIE-IQ10GC podem usar qualquer porta ou qualquer par de portas para se conectar a um nó folha.
• APIC-PCIE-IQ10GC ou UCSC-PCIE-IQ10GC têm numeração de porta na ordem | eth2-4 | eth2-3 | eth2-2 | eth2-1 | e a numeração no chassi não é válida.
• A partir da versão 4.2(5), a placa de interface de rede UCSC-PCIE-IQ10GC Intel X710 Quad Port 10GBase- é suportada para conectividade 10GBast-T com nós leaf da Cisco ACI.

3. A GUI do APIC mostra o mesmo endereço MAC para todas as interfaces (eth2-1, eth2-2, eth2-3, eth2-4)

Observou-se que a GUI do APIC não estava mostrando o endereço MAC correto para cada interface. Todos os endereços MAC eram os mesmos.

Lembre-se sempre de que há um agrupamento ativo/de backup entre as interfaces, portanto, você deve sempre ver o endereço MAC da interface ativa que pode ser atribuído à interface bond0 e, portanto, você vê o mesmo endereço MAC.

Aqui, você está vendo o endereço MAC da interface inativa conforme a saída:

Este é um defeito de software que está documentado sob o bug da Cisco ID CSCwd21587.

Idealmente, você deve ver o endereço MAC de eth2-2 que é o ativo e eth2-4 é o backup aqui.

Este é um problema de back-end, pois a lista na interface do usuário é feita com base no moquery cnwPhysIf. Isso moquery cnwPhysIf também mostra o endereço MAC da interface inativa eth2-1.

A solução é usar o comandocat /proc/net/bonding/bond0 no APIC para verificar os endereços MAC corretos. Para uma correção permanente, verifique a página de defeitos do software.