Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Premesse

Comprensione del problema

Scenario di test

Raccolta di informazioni

Analisi degli indirizzi MAC negli FI

Determinazione del server che ospita la macchina virtuale

Raccolta di informazioni sugli switch a monte

Riepilogo

Definizione del flusso del traffico

Test solo di UCSetworking

Indirizzi MAC non appresi sulle interconnessioni fabric

Informazioni correlate

Introduzione

In questo documento viene descritto come risolvere i problemi di connettività di rete di base nelle macchine virtuali.

Prerequisiti

Requisiti

Cisco raccomanda la conoscenza dei seguenti argomenti:

- Dominio UCSM (Unified Computing System Manager Domain)

- Interfaccia della riga di comando (CLI) di Cisco Unified Computing System Manager (UCSM)

- Cisco UCS serie B e C server

- Nozioni di base sulla rete

- Eseguibile

Componenti usati

Le informazioni fornite in questo documento si basano sulle seguenti versioni software:

- Cisco UCS Manager versione 2.x e successive

- Cisco UCS serie 6200, 6300, 6400 e 6500 Fabric Interconnect

- Cisco UCS serie 2200, 2300 e 2400 Fabric extender I/O Module

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Premesse

Uno scenario comune per gli amministratori dell'infrastruttura che implementano modifiche alla rete o alla configurazione consiste nel perdere la connettività di rete nelle macchine virtuali. Questo documento ha lo scopo di fornire linee guida sul processo di risoluzione dei problemi per identificare i problemi più comuni.

Comprensione del problema

Il problema più comune è quello di perdere il ping tra le macchine virtuali. Per avere un quadro completo, possiamo iniziare a chiedere:

- Le due macchine virtuali sono ospitate in server UCS?

- Entrambe le macchine virtuali si trovano nello stesso dominio UCSM?

- Le macchine virtuali stanno tentando di comunicare sulla stessa VLAN?

- Che tipo di configurazione di rete stiamo utilizzando sul lato dell'hypervisor? (switch distribuito ESXi, raggruppamento NIC e così via).

- Qual è il modello degli switch a monte?

Scenario di test

Sono stati eseguiti il provisioning di due nuove macchine virtuali configurate per l'utilizzo della VLAN 70. Tuttavia, non è possibile eseguire il ping tra loro o sul gateway predefinito.

Macchine virtuali

- IMM-Transition-4.0.1

- Alma Linux 9

Hypervisor

- VMware ESXi, 7.0.3, 20842708

Raccolta di informazioni

Indirizzi MAC e IP di entrambe le macchine virtuali:

- IMM-Transition-4.0.1

- MAC: 00:50:56:ba:28:53

- IP: 192 168 70 23

- IP host: 10.31.123.38

- Alma Linux 9

- MAC: 00:50:56:ba:46:96

- IP: 192 168 70 24

- IP host: 10.31.123.40

Analisi degli indirizzi MAC negli FI

FI-A # connect nxos

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected

FI-B # connect nxos

FI-B(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected

Determinazione del server che ospita la macchina virtuale

FI-A(nxos)# show running-config interface vethernet725

!Command: show running-config interface Vethernet725

!Time: Thu Feb 1 11:59:39 2024

version 5.0(3)N2(4.13k)

interface Vethernet725

description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1

switchport mode trunk

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

switchport trunk allowed vlan 69-70,72,470

bind interface port-channel1287 channel 725

service-policy type queuing input org-root/ep-qos-BestEffort

no shutdown

FI-B(nxos)# show running-config interface vethernet 688

!Command: show running-config interface Vethernet688

!Time: Thu Feb 1 12:06:44 2024

version 5.0(3)N2(4.13k)

interface Vethernet688

description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1

switchport mode trunk

switchport trunk allowed vlan 69-70,72,470

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

service-policy type queuing input org-root/ep-qos-BestEffort

bind interface port-channel1282 channel 688

no shutdown

Raccolta di informazioni sugli switch a monte

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0        140       R S I    WS-C3650-12X4  Gig1/0/35

Nexus-1

Eth1/1       158       R S I s  N5K-C5672UP-1  Eth1/3

Nexus-2

Eth1/2       133       R S I s  N5K-C5672UP-1  Eth1/3

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce   Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0           139        R S I    WS-C3650-12X4 Gig1/0/36

Nexus-1

Eth1/1           167        R S I s  N5K-C5672UP-1 Eth1/4

Nexus-2

Eth1/2           132        R S I s  N5K-C5672UP-1 Eth1/4

Riepilogo

- Gli indirizzi MAC delle macchine virtuali vengono appresi rispettivamente su FI-A e FI-B e sulla VLAN 70.

- Le macchine virtuali sono ospitate in server UCS diversi ma nello stesso dominio UCSM.

- Gli switch upstream sono N5K-C5672UP-1 e si connettono alle interfacce ethernet1-2 in entrambe le interconnessioni fabric.

Definizione del flusso del traffico

- Se l'origine e la destinazione si trovano sulla stessa subnet o VLAN, il traffico viene inoltrato sullo stesso dominio di broadcast.

- Se l'origine e la destinazione si trovano su una subnet o su una vlan diversa, il traffico viene inoltrato a un altro dominio di broadcast.

- Se l'origine e la destinazione vengono apprese nella stessa interconnessione Fabric, il traffico viene commutato localmente dall'interconnessione Fabric.

- Se l'origine e la destinazione vengono apprese in un'interconnessione fabric diversa, il traffico viene inoltrato a monte.

Per questo particolare scenario:

- L'origine e la destinazione si trovano sullo stesso dominio di broadcast, ma vengono apprese su interconnessioni fabric diverse, in modo che il traffico venga inviato alla rete upstream.

Test solo della rete UCS

Per verificare la commutazione locale dell'interconnessione fabric, pertanto, senza coinvolgere la rete upstream nel flusso del traffico, è possibile forzare un failover per entrambe le macchine virtuali da apprendere nella stessa interconnessione fabric. In questo esempio, VM IMM-Transition-4.0.1 verrà spostato in FI-A.

- Dalla precedente risoluzione dei problemi:

- VM Alma Linux 9 è ospitato sul server 1/3, appreso su FI-A e utilizzando veth725, che è vnic_a1.

- VM IMM-Transition-4.0.1 è ospitato sul server 1/5, appreso su FI-B e utilizzando veth688, che è vnic_b1.

- Su UCSM:

- Il server 1/5 dispone di 2 vNIC su FI-A e 2 su FI-B

- Per forzare l'aggiunta a FI-A, disabilitare le vNIC sul lato B, a partire dalla vNIC utilizzata dalla VM, per questo scenario vnic_b0 e vnic_b1 sono state disabilitate.

- Con tutte le vNIC disattivate su FI-B, VM IMM-Transition-4.0.1 viene ora appreso su FI-A, insieme a VM Alma Linux 9.

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9

* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1

- Con tutto il resto sul lato UCS configurato come previsto, il ping funziona ora mentre il traffico viene commutato localmente da FI-A. L'indagine deve quindi proseguire sulla rete a monte.

Indirizzi MAC non appresi sulle interconnessioni fabric

- Verificare che la VLAN sia configurata correttamente sulle vNIC.

- Verificare che la VLAN sia configurata correttamente sugli uplink.

FI-A(nxos)# show running-config interface port-channel 1

!Command: show running-config interface port-channel1

!Time: Fri Feb 2 13:05:59 2024

version 5.0(3)N2(4.13k)

interface port-channel1

description U: Uplink

switchport mode trunk

pinning border

switchport trunk allowed vlan 1,69-70,72,470

speed 1000

- Verificare la corretta configurazione della VLAN su ESXi.

- Convalidare la vmnic utilizzata dalla macchina virtuale sull'host ESXi. Utilizzare l'opzione esxtop withnper ottenere l'associazione.

- Le macchine virtuali utilizzano vmnic1 e vmnic2 sull'host 1/3.

- Mappatura degli indirizzi MAC dalle vlan ESXi alle vNIC UCS

[root@esx38:~] esxcfg-nics -l

Name PCI Driver Link Speed Duplex MAC Address MTU Description

vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

- Il sistema operativo sta inoltrando il frame? Confermare con l'acquisizione di un pacchetto.

- Scheda VIC

- IOM (HIF e NIF)

Informazioni correlate

- Supporto tecnico Cisco e download