内容

はじめに

前提条件

要件

使用するコンポーネント

背景説明

問題の理解

テスト シナリオ

情報の収集

FI上のMACアドレスのトレース

仮想マシンをホストしているサーバの判別

アップストリームスイッチに関する情報の収集

要約

トラフィックフローの定義

UCSNetworkingのみのテスト

ファブリックインターコネクトで学習されないMACアドレス

関連情報

はじめに

このドキュメントでは、仮想マシンの基本的なネットワーク接続の問題をトラブルシューティングする方法について説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

- Unified Computing System(UCS)Managerドメイン(UCSM)

- Cisco Unified Computing System Manager(UCSM)コマンドラインインターフェイス(CLI)

- Cisco UCS BシリーズおよびCシリーズサーバ

- ネットワーキングの基本概念

- ESXi

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアのバージョンに基づいています。

- Cisco UCS Managerバージョン2.x以降

- Cisco UCS 6200、6300、6400、および6500シリーズファブリックインターコネクト

- Cisco UCS 2200、2300、および2400シリーズファブリックエクステンダI/Oモジュール

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

インフラストラクチャ管理者がネットワークまたは設定変更を導入する際の一般的なシナリオは、仮想マシンのネットワーク接続を失うことです。このドキュメントの目的は、最も一般的な問題を特定するためのトラブルシューティングプロセスに関するガイダンスを提供することです。

問題の理解

最も一般的な問題は、仮想マシン間のpingが失われることです。全体像を把握するために、次の質問を開始できます。

- 両方の仮想マシンがUCSサーバでホストされていますか。

- 両方の仮想マシンが同じUCSMドメインにありますか。

- 仮想マシンは同じVLAN上で通信を試みていますか。

- ハイパーバイザ側ではどのようなネットワーク構成を使用していますか。（ESXi分散スイッチ、NICチーミングなど）。

- アップストリームスイッチのモデルは何ですか。

テスト シナリオ

2台の新しい仮想マシンがプロビジョニングされ、VLAN 70を使用するように設定されましたが、互いまたはデフォルトゲートウェイにpingを実行できません。

仮想マシン

- IMM移行–4.0.1

- アルマLinux 9

ハイパーバイザ

- VMware ESXi、7.0.3、20842708

情報の収集

両方の仮想マシンのMACアドレスとIPアドレス：

- IMM移行–4.0.1

- MAC:00:50:56:ba:28:53

- IP:192.168.70.23

- ホストIP:10.31.123.38

- アルマLinux 9

- MAC:00:50:56:ba:46:96

- IP:192.168.70.24

- ホストIP:10.31.123.40

FI上のMACアドレスのトレース

FI-A # connect nxos

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected

FI-B # connect nxos

FI-B(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected

仮想マシンをホストしているサーバの判別

FI-A(nxos)# show running-config interface vethernet725

!Command: show running-config interface Vethernet725

!Time: Thu Feb 1 11:59:39 2024

version 5.0(3)N2(4.13k)

interface Vethernet725

description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1

switchport mode trunk

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

switchport trunk allowed vlan 69-70,72,470

bind interface port-channel1287 channel 725

service-policy type queuing input org-root/ep-qos-BestEffort

no shutdown

FI-B(nxos)# show running-config interface vethernet 688

!Command: show running-config interface Vethernet688

!Time: Thu Feb 1 12:06:44 2024

version 5.0(3)N2(4.13k)

interface Vethernet688

description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1

switchport mode trunk

switchport trunk allowed vlan 69-70,72,470

no lldp transmit

no lldp receive

no pinning server sticky

pinning server pinning-failure link-down

no cdp enable

service-policy type queuing input org-root/ep-qos-BestEffort

bind interface port-channel1282 channel 688

no shutdown

アップストリームスイッチに関する情報の収集

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0        140       R S I    WS-C3650-12X4  Gig1/0/35

Nexus-1

Eth1/1       158       R S I s  N5K-C5672UP-1  Eth1/3

Nexus-2

Eth1/2       133       R S I s  N5K-C5672UP-1  Eth1/3

FI-A(nxos)# show cdp neighbors

Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge

S - Switch, H - Host, I - IGMP, r - Repeater,

V - VoIP-Phone, D - Remotely-Managed-Device,

s - Supports-STP-Dispute

Device-ID                    Local Intrfce   Hldtme   Capability   Platform   Port ID

MGMT-SWITCH

mgmt0           139        R S I    WS-C3650-12X4 Gig1/0/36

Nexus-1

Eth1/1           167        R S I s  N5K-C5672UP-1 Eth1/4

Nexus-2

Eth1/2           132        R S I s  N5K-C5672UP-1 Eth1/4

要約

- 仮想マシンのMACアドレスは、FI-AとFI-B、およびVLAN 70でそれぞれ学習されます。

- 仮想マシンは異なるUCSサーバでホストされますが、同じUCSMドメイン内にあります。

- アップストリームスイッチはN5K-C5672UP-1であり、両方のファブリックインターコネクトのインターフェイスethernet1-2に接続されます。

トラフィックフローの定義

- 送信元と宛先が同じサブネットまたはVLANにある場合、トラフィックは同じブロードキャストドメインに転送されます。

- 送信元と宛先が異なるサブネットまたはVLANにある場合、トラフィックは別のブロードキャストドメインに転送されます。

- 送信元と宛先が同じファブリックインターコネクトで学習された場合、トラフィックはファブリックインターコネクトによってローカルにスイッチングされます。

- 送信元と宛先が異なるFabric Interconnectで学習された場合、トラフィックはアップストリームに転送されます。

この特定のシナリオの場合：

- 送信元と宛先は同じブロードキャストドメイン上にありますが、異なるファブリックインターコネクトで学習されているため、トラフィックはアップストリームネットワークに送信されます。

UCSネットワーキングのみのテスト

したがって、トラフィックフローにアップストリームネットワークを含めずに、Fabric Interconnectのローカルスイッチングをテストするには、両方の仮想マシンが同じFabric Interconnect内で学習されるように、フェールオーバーを強制的に実行できます。この例では、VM IMM-Transition-4.0.1をFI-Aに移動します。

- 以前のトラブルシューティングから：

- VM Alma Linux 9はサーバ1/3でホストされ、FI-Aで学習され、vnic_a1であるveth725を使用します。

- VM IMM-Transition-4.0.1はサーバ1/5でホストされ、FI-Bで学習され、veth688(vnic_b1)を使用します。

- UCSMで次を実行します。

- サーバ1/5のFI-Aには2つのvNICがあり、FI-Bには2つのvNICがある

- FI-Aへの再ピニングを強制するには、VMによって使用されるvNICから始めて、B側のvNICを無効にします。このシナリオでは、vnic_b0とvnic_b1が無効になっています。

- FI-BのすべてのvNICが無効になっているため、VM IMM-Transition-4.0.1がVM Alma Linux 9とともにFI-Aで学習されます。

FI-A(nxos)# show mac address-table vlan 70

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9

* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1

- UCS側の他のすべての要素が期待どおりに設定された状態で、トラフィックがFI-Aによってローカルにスイッチングされているため、pingは機能します。したがって、調査はアップストリームネットワークで続行する必要があります。

ファブリックインターコネクトで学習されないMACアドレス

- VLANがvNICで正しく設定されているかどうかを確認します。

- VLANがアップリンクで正しく設定されているかどうかを確認します。

FI-A(nxos)# show running-config interface port-channel 1

!Command: show running-config interface port-channel1

!Time: Fri Feb 2 13:05:59 2024

version 5.0(3)N2(4.13k)

interface port-channel1

description U: Uplink

switchport mode trunk

pinning border

switchport trunk allowed vlan 1,69-70,72,470

speed 1000

- VLANがESXiで正しく設定されているかどうかを確認します。

- ESXiホスト上の仮想マシンによって使用されるvmnicを検証します。バインドを取得するには、esxtop withオプションnを使用します。

- 仮想マシンは、ホスト1/3でvmnic1とvmnic2を使用しています。

- ESXi vmnicからUCS vNICへのMACアドレスのマッピング

[root@esx38:~] esxcfg-nics -l

Name PCI Driver Link Speed Duplex MAC Address MTU Description

vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

- OSはフレームを転送していますか。（パケットキャプチャで確認します）。

- VICアダプタ

- IOM（HIFおよびNIF）

関連情報

- シスコのテクニカルサポートとダウンロード