Contenido

Introducción

Prerequisites

Requirements

Componentes Utilizados

Antecedentes

Comprensión del problema

Escenario de prueba

Recopilación de información

Seguimiento de direcciones MAC en los FI

Determinación del servidor que aloja la máquina virtual

Recopilación de Información sobre los Switches Ascendentes

Summary

Definición del flujo de tráfico

Prueba solo de UCSNetworking

Direcciones MAC no aprendidas en las Fabric Interconnects

Información Relacionada

Introducción

Este documento describe cómo resolver problemas básicos de conectividad de red en máquinas virtuales.

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

- Dominio de Unified Computing System Manager (UCSM)

- Interfaz de línea de comandos (CLI) de Cisco Unified Computing System Manager (UCSM)

- Servidores de las series B y C de Cisco UCS

- Conceptos básicos de redes

- ESXi

Componentes Utilizados

La información que contiene este documento se basa en estas versiones de software:

- Cisco UCS Manager versión 2.x y posterior

- Fabric Interconnect Cisco UCS series 6200, 6300, 6400 y 6500

- Módulo de E/S del Fabric Extender de las series Cisco UCS 2200, 2300 y 2400

La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Antecedentes

Un escenario común para los administradores de infraestructura que implementan cambios en la red o la configuración es perder la conectividad de red en sus máquinas virtuales. Este documento tiene como objetivo proporcionar orientación sobre el proceso de resolución de problemas para identificar los problemas más habituales.

Comprensión del problema

El problema más común es perder el ping entre las máquinas virtuales. Para obtener una imagen completa, podemos empezar a preguntar:

- ¿Ambas máquinas virtuales están alojadas en servidores UCS?

- ¿Están ambas máquinas virtuales en el mismo dominio UCSM?

- ¿Las máquinas virtuales están intentando comunicarse en la misma VLAN?

- ¿Qué tipo de configuración de red utilizamos en el hipervisor? (Switch distribuido ESXi, agrupación de NIC, etc.)

- ¿Cuál es el modelo de los switches ascendentes?

Escenario de prueba

Se aprovisionaron y configuraron dos nuevas máquinas virtuales para utilizar VLAN 70; sin embargo, no pueden realizar ping entre ellas ni con su gateway predeterminado.

Máquinas virtuales

- IMM-Transition-4.0.1

- Linux 9 de Alma

Hipervisor

- VMware ESXi, 7.0.3, 20842708

Recopilación de información

Direcciones MAC e IP de ambas máquinas virtuales:

- IMM-Transition-4.0.1

- MAC: 00:50:56:ba:28:53

- IP: 192.168.70.23

- IP de host: 10.31.123.38

- Linux 9 de Alma

- MAC: 00:50:56:ba:46:96

- IP: 192.168.70.24

- IP de host: 10.31.123.40

Seguimiento de direcciones MAC en los FI

FI-A # connect nxos

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected

FI-B # connect nxos

FI-B(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected

Determinación del servidor que aloja la máquina virtual

FI-A(nxos)# show running-config interface vethernet725

!Command: show running-config interface Vethernet725

!Time: Thu Feb 1 11:59:39 2024

version 5.0(3)N2(4.13k)

interface Vethernet725

description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1

switchport mode trunk

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

switchport trunk allowed vlan 69-70,72,470

bind interface port-channel1287 channel 725

service-policy type queuing input org-root/ep-qos-BestEffort

no shutdown

FI-B(nxos)# show running-config interface vethernet 688

!Command: show running-config interface Vethernet688

!Time: Thu Feb 1 12:06:44 2024

version 5.0(3)N2(4.13k)

interface Vethernet688

description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1

switchport mode trunk

switchport trunk allowed vlan 69-70,72,470

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

service-policy type queuing input org-root/ep-qos-BestEffort

bind interface port-channel1282 channel 688

no shutdown

Recopilación de Información sobre los Switches Ascendentes

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0        140       R S I    WS-C3650-12X4  Gig1/0/35

Nexus-1

Eth1/1       158       R S I s  N5K-C5672UP-1  Eth1/3

Nexus-2

Eth1/2       133       R S I s  N5K-C5672UP-1  Eth1/3

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce   Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0           139        R S I    WS-C3650-12X4 Gig1/0/36

Nexus-1

Eth1/1           167        R S I s  N5K-C5672UP-1 Eth1/4

Nexus-2

Eth1/2           132        R S I s  N5K-C5672UP-1 Eth1/4

Summary

- Las direcciones MAC de la máquina virtual se aprenden en FI-A y FI-B respectivamente y en VLAN 70.

- Las máquinas virtuales se alojan en diferentes servidores UCS, pero en el mismo dominio UCSM.

- Los switches ascendentes son N5K-C5672UP-1 y se conectan a las interfaces ethernet1-2 en ambas Fabric Interconnects.

Definición del flujo de tráfico

- Si el origen y el destino están en la misma subred o VLAN, el tráfico se reenvía en el mismo dominio de difusión.

- Si el origen y el destino están en una subred o vlan diferente, el tráfico se reenvía a otro dominio de difusión.

- Si el origen y el destino se aprenden en el mismo Fabric Interconnect, el tráfico es conmutado localmente por el Fabric Interconnect.

- Si el origen y el destino se aprenden en un Fabric Interconnect diferente, el tráfico se reenvía en sentido ascendente.

Para este escenario en particular:

- El origen y el destino se encuentran en el mismo dominio de difusión, pero se detectan en diferentes Fabric Interconnects, por lo que el tráfico se envía a la red ascendente.

Prueba solo de la red UCS

Por lo tanto, para probar el switching local de la fabric interconectada sin que la red ascendente esté involucrada en el flujo de tráfico, se puede forzar una conmutación por error para que ambas máquinas virtuales se aprendan en la misma fabric interconectada. En este ejemplo, VM IMM-Transition-4.0.1 se va a mover a FI-A.

- De la resolución de problemas anterior:

- VM Alma Linux 9 se aloja en el servidor 1/3, se aprende en FI-A y utiliza veth725, que es vnic_a1.

- VM IMM-Transition-4.0.1 se aloja en el servidor 1/5, se detecta en FI-B y se utiliza veth688, que es vnic_b1.

- En UCSM:

- El servidor 1/5 tiene 2 vNIC en FI-A y 2 en FI-B

- Para forzar el reinicio a FI-A, inhabilite las vNICs en el lado B, comenzando con la vNIC utilizada por la VM, para este escenario vnic_b0 y vnic_b1 fueron inhabilitadas.

- Con todas las vNIC en FI-B desactivadas, VM IMM-Transition-4.0.1 se aprende ahora en FI-A, junto con VM Alma Linux 9.

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9

* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1

- Con todo lo demás en el lado de UCS configurado como se esperaba, el ping funciona ahora ya que el tráfico está siendo conmutado localmente por FI-A. Por lo tanto, la investigación debe continuar en la red ascendente.

Direcciones MAC no aprendidas en las Fabric Interconnects

- Verifique si la VLAN está configurada correctamente en las vNIC.

- Verifique si la VLAN está configurada correctamente en los links ascendentes.

FI-A(nxos)# show running-config interface port-channel 1

!Command: show running-config interface port-channel1

!Time: Fri Feb 2 13:05:59 2024

version 5.0(3)N2(4.13k)

interface port-channel1

description U: Uplink

switchport mode trunk

pinning border

switchport trunk allowed vlan 1,69-70,72,470

speed 1000

- Verifique si la VLAN está configurada correctamente en ESXi.

- Valide el vmnic utilizado por la máquina virtual en el host de ESXi. Utilice la opción esxtop withnpara obtener el enlace.

- Las máquinas virtuales están utilizando vmnic1 y vmnic2 en el host 1/3.

- Asignación de direcciones MAC de vmnic de ESXi a vNIC de UCS

[root@esx38:~] esxcfg-nics -l

Name PCI Driver Link Speed Duplex MAC Address MTU Description

vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

- ¿El sistema operativo está reenviando la trama? (Confirme con una captura de paquetes.)

- adaptador VIC

- OIM (HIF y NIF)

Información Relacionada

- Soporte técnico y descargas de Cisco