Contents

Introdução

Pré-requisitos

Requisitos

Componentes Utilizados

Informações de Apoio

Entendendo o problema

Cenário de teste

Coletando informações

Rastreando endereços MAC nos FIs

Determinando qual servidor está hospedando a máquina virtual

Coletando informações sobre os Switches Upstream

Summary

Definindo o fluxo de tráfego

Testando apenas a rede UCSN

Endereços MAC não aprendidos nas interconexões em malha

Informações Relacionadas

Introdução

Este documento descreve como solucionar problemas básicos de conectividade de rede em máquinas virtuais.

Pré-requisitos

Requisitos

A Cisco recomenda que você tenha conhecimento destes tópicos:

- Domínio do Unified Computing System Manager (UCSM)

- Interface de linha de comando (CLI) do Cisco Unified Computing System Manager (UCSM)

- Cisco UCS B-Series e C-Series Servers

- Conceitos básicos de rede

- ESXi

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software:

- Cisco UCS Manager versão 2.x e posterior

- Interconexão de estrutura Cisco UCS 6200, 6300, 6400 e 6500 Series

- Módulo de E/S do extensor de estrutura Cisco UCS 2200, 2300 e 2400 Series

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

Um cenário comum para administradores de infraestrutura implantarem alterações de rede ou configuração é perder a conectividade de rede em suas máquinas virtuais. Este documento tem como objetivo fornecer orientação sobre o processo de identificação e solução de problemas para identificar os problemas mais comuns.

Entendendo o problema

O problema mais comum é perder o ping entre máquinas virtuais. Para obter o panorama completo, podemos começar a perguntar:

- As duas máquinas virtuais estão hospedadas em servidores UCS?

- As duas máquinas virtuais estão no mesmo domínio UCSM?

- As máquinas virtuais estão tentando se comunicar na mesma VLAN?

- Que tipo de configuração de rede estamos usando no lado do hipervisor? (Switch distribuído ESXi, agrupamento de NIC e assim por diante.)

- Qual é o modelo dos switches upstream?

Cenário de teste

Duas novas máquinas virtuais foram provisionadas e configuradas para usar a VLAN 70; no entanto, elas não podem fazer ping entre si ou entre seus gateways padrão.

Máquinas virtuais

- IMM-Transition-4,0,1

- Linux Alma 9

Hipervisor

- VMware ESXi, 7.0.3, 20842708

Coletando informações

Endereços MAC e IP de ambas as máquinas virtuais:

- IMM-Transition-4,0,1

- MAC: 00:50:56:ba:28:53

- IP: 192.168.70.23

- IP do host: 10.31.123.38

- Linux Alma 9

- MAC: 00:50:56:ba:46:96

- IP: 192.168.70.24

- IP do host: 10.31.123.40

Rastreando endereços MAC nos FIs

FI-A # connect nxos

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected

FI-B # connect nxos

FI-B(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected

Determinando qual servidor está hospedando a máquina virtual

FI-A(nxos)# show running-config interface vethernet725

!Command: show running-config interface Vethernet725

!Time: Thu Feb 1 11:59:39 2024

version 5.0(3)N2(4.13k)

interface Vethernet725

description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1

switchport mode trunk

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

switchport trunk allowed vlan 69-70,72,470

bind interface port-channel1287 channel 725

service-policy type queuing input org-root/ep-qos-BestEffort

no shutdown

FI-B(nxos)# show running-config interface vethernet 688

!Command: show running-config interface Vethernet688

!Time: Thu Feb 1 12:06:44 2024

version 5.0(3)N2(4.13k)

interface Vethernet688

description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1

switchport mode trunk

switchport trunk allowed vlan 69-70,72,470

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

service-policy type queuing input org-root/ep-qos-BestEffort

bind interface port-channel1282 channel 688

no shutdown

Coletando informações sobre os Switches Upstream

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0        140       R S I    WS-C3650-12X4  Gig1/0/35

Nexus-1

Eth1/1       158       R S I s  N5K-C5672UP-1  Eth1/3

Nexus-2

Eth1/2       133       R S I s  N5K-C5672UP-1  Eth1/3

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce   Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0           139        R S I    WS-C3650-12X4 Gig1/0/36

Nexus-1

Eth1/1           167        R S I s  N5K-C5672UP-1 Eth1/4

Nexus-2

Eth1/2           132        R S I s  N5K-C5672UP-1 Eth1/4

Summary

- Os endereços MAC da máquina virtual são aprendidos no FI-A e no FI-B, respectivamente, e na VLAN 70.

- As máquinas virtuais são hospedadas em diferentes servidores UCS, mas no mesmo domínio UCSM.

- Os switches upstream são N5K-C5672UP-1 e se conectam às interfaces ethernet1-2 em ambas as interconexões de estrutura.

Definindo o fluxo de tráfego

- Se a origem e o destino estiverem na mesma sub-rede ou VLAN, o tráfego será encaminhado no mesmo domínio de broadcast.

- Se a origem e o destino estiverem em uma sub-rede ou vlan diferente, o tráfego será encaminhado para outro domínio de broadcast.

- Se a origem e o destino são aprendidos na mesma interconexão de estrutura, o tráfego é comutado localmente pela interconexão de estrutura.

- Se a origem e o destino são aprendidos em uma interconexão de estrutura diferente, o tráfego é encaminhado upstream.

Para este cenário específico:

- A origem e o destino estão no mesmo domínio de broadcast, mas são aprendidos em interconexões de estrutura diferentes, de modo que o tráfego é enviado para a rede upstream.

Testando apenas a rede UCS

Para testar a comutação local da interconexão de estrutura, portanto, sem envolver a rede upstream no fluxo de tráfego, um failover pode ser forçado para que ambas as máquinas virtuais sejam aprendidas na mesma interconexão de estrutura. Neste exemplo, a VM IMM-Transition-4.0.1 será movida para o FI-A.

- Da solução de problemas anterior:

- O VM Alma Linux 9 é hospedado no Servidor 1/3, aprendido no FI-A e usando veth725, que é vnic_a1.

- A VM IMM-Transition-4.0.1 é hospedada no Servidor 1/5, aprendida no FI-B e usando veth688, que é vnic_b1.

- No UCSM:

- O servidor 1/5 tem 2 vNICs no FI-A e 2 no FI-B

- Para forçar o repinning para o FI-A, desative as vNICs no lado B, começando com a vNIC usada pela VM, para esse cenário vnic_b0 e vnic_b1 foram desativadas.

- Com todas as vNICs no FI-B desabilitadas, a VM IMM-Transition-4.0.1 agora é aprendida no FI-A, junto com a VM Alma Linux 9.

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9

* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1

- Com todo o resto no lado do UCS configurado como esperado, o ping funciona agora enquanto o tráfego está sendo comutado localmente pelo FI-A. Por conseguinte, a investigação deve prosseguir na rede a montante.

Endereços MAC não aprendidos nas interconexões em malha

- Verifique se a VLAN está configurada corretamente nas vNICs.

- Verifique se a VLAN está configurada corretamente nos uplinks.

FI-A(nxos)# show running-config interface port-channel 1

!Command: show running-config interface port-channel1

!Time: Fri Feb 2 13:05:59 2024

version 5.0(3)N2(4.13k)

interface port-channel1

description U: Uplink

switchport mode trunk

pinning border

switchport trunk allowed vlan 1,69-70,72,470

speed 1000

- Verifique se a VLAN está configurada corretamente no ESXi.

- Valide a vmnic usada pela máquina virtual no host ESXi. Use a opção esxtop withnpara obter a vinculação.

- As máquinas virtuais estão usando vmnic1 e vmnic2 no host 1/3.

- Mapeamento de endereços MAC de vmnics ESXi para vNICs UCS

[root@esx38:~] esxcfg-nics -l

Name PCI Driver Link Speed Duplex MAC Address MTU Description

vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

- O SO está encaminhando o quadro? (Confirme com uma captura de pacote.)

- adaptador VIC

- IOM (HIFs e NIFs)

Informações Relacionadas

- Suporte técnico e downloads da Cisco