ACI VMM統合のトラブルシューティング
内容
概要
このドキュメントでは、ACI Virtual Machine Manager(VM)統合(VMM)の理解とトラブルシューティングの手順について説明します。
背景説明
このドキュメントの内容は、『Troubleshooting Cisco Application Centric Infrastructure, Second Edition』マニュアル、具体的には『VMM Integration - Overview, VMM Integration - vCenter Connectivity, VMM Integration - Host Dynamic Discovery』および『VMM Integration - Hypervisor Uplink Load Balancing』の章から抜粋しています。
Virtual Machine Managerの概要
ACIコントローラは、サードパーティの仮想マシンマネージャ(VMM)と統合できます。
これは、ファブリックとそれに接続するワークロードのエンドツーエンドネットワーキング設定の操作を簡素化および自動化する、ACIの重要な機能の1つです。ACIは、仮想マシン、ベアメタルサーバ、コンテナなど、複数のワークロードタイプに拡張可能な単一のオーバーレイポリシーモデルを提供します。
この章では、特にVMware vCenter VMMの統合に関連する一般的なトラブルシューティングシナリオに焦点を当てます。
この文書の読者は次の点を確認します。
- vCenter通信の障害に関する調査
- ホストおよびVMの動的検出プロセスと障害シナリオ。
- ハイパーバイザロードバランシングアルゴリズム。
vCenter接続
ロールベースアクセスコントロール(RBAC)
APICがvCenter Controllerとインターフェイスできるメカニズムは、特定のVMMドメインに関連付けられたユーザアカウントによって異なります。VMMドメインに関連付けられたvCenterユーザがvCenter上でAPICが操作を正常に実行できるようにするための特定の要件の概要を示します。この要件は、vCenterがインベントリと設定のプッシュと取得を行うときでも、管理対象インベントリ関連のイベントのモニタリングとリスニングを行うときでも同様です。
このような要件に関する懸念を取り除く最も簡単な方法は、フルアクセス権を持つ管理者vCenterアカウントを使用することです。ただし、この種の自由はACI管理者が常に利用できるとは限りません。
ACIバージョン4.2の時点でのカスタムユーザアカウントの最小権限は、次のとおりです。
- アラーム
- APICはフォルダに2つのアラームを作成します。1つはDVS用で、もう1つはポートグループ用です。APICでEPGまたはVMMドメインポリシーが削除されるとアラームが発生しますが、VMが接続されているため、vCenterは対応するポートグループまたはDVSを削除できません。
- 分散スイッチ
- dvPortグループ
- フォルダ
- Network
- APICは、ポートグループの追加または削除、ホスト/DVS MTUの設定、LLDP/CDP、LACPなどのネットワーク設定を管理します。
- ホスト
- 上記に加えてAVSを使用する場合、APICがDVSを作成するデータセンターに対するホスト権限が必要です。
- ホスト。構成。詳細設定
- ホスト。ローカル操作。仮想マシンの再構成
- Host.Configuration.Network設定
- これは、AVSと、仮想レイヤ4 ～レイヤ7サービスVMの自動配置機能に必要です。AVSの場合、APICはVMKインターフェイスを作成し、OpFlexに使用されるVTEPポートグループに配置します。
- 仮想マシン
- サービスグラフを使用している場合は、仮想アプライアンスに対する仮想マシン権限も必要です。
- 仮想マシン。構成。デバイス設定の変更
- 仮想マシン。構成。設定
RBAC関連の問題のトラブルシューティング
RBACの問題は、VMMドメインの初期セットアップ中に最も頻繁に発生しますが、初期セットアップの実行後にvCenter管理者がVMMドメインに関連付けられたユーザーアカウントのアクセス許可を変更した場合に発生することがあります。
症状は次のように現れます。
- 新しいサービスを展開できない部分または完全な障害（DVSの作成、ポートグループの作成、一部のオブジェクトは正常に展開されるが、すべてではない）。
- 運用インベントリが不完全であるか、ACI管理者ビューに表示されない。
- サポートされていないvCenterの動作または上記のいずれかのシナリオで発生した障害（ポートグループの導入の失敗など）。
- vCenterコントローラはオフラインとして報告され、障害は接続またはクレデンシャルに関連する問題があることを示します。
RBAC関連の問題のソリューション
上記のすべての権限が、VMMドメインで設定されているvCenterユーザに付与されていることを確認します。
もう1つの方法は、VMMドメイン設定で定義されたものと同じクレデンシャルを使用してvCenterに直接ログインし、同様の操作（ポートグループの作成など）を試みることです。ユーザがvCenterに直接ログインしている間に同じ操作を実行できない場合、正しい権限がユーザに付与されないことは明らかです。
接続のトラブルシューティング
VMMの接続に関連する問題のトラブルシューティングを行う際には、ACIがvCenterと通信する方法の基本的な動作の一部に注意することが重要です。
1つ目の最も関連性のある動作は、クラスタ内の1つのAPICのみが設定を送信し、任意の時点でインベントリを収集することです。このAPICは、このVMMドメインのシャードリーダーと呼ばれます。ただし、複数のAPICは、シャードリーダーが何らかの理由でイベントを見逃したシナリオを考慮して、vCenterイベントをリッスンしています。APICの同じ分散アーキテクチャに従って、特定のVMMドメインには、プライマリデータと機能を処理する1つのAPIC（この場合は共有リーダー）、および2つのレプリカ(VMMの場合はフォロワー)があります。APIC間でVMMの通信と機能の処理を分散するために、任意の2つのVMMドメインに同じ共有リーダーまたは異なる共有リーダーを設定できます。
vCenterの接続状態は、GUIで対象のVMMコントローラに移動するか、以下に示すCLIコマンドを使用して確認できます。
VMWare VMMドメイン – vCenterの接続状態
apic2# show vmware domain name VDS_Site1 vcenter 10.48.176.69
Name : bdsol-aci37-vc
Type : vCenter
Hostname or IP : 10.48.176.69
Datacenter : Site1
DVS Version : 6.0
Status : online
Last Inventory Sync : 2019-10-02 09:27:23
Last Event Seen : 1970-01-01 00:00:00
Username : administrator@vsphere.local
Number of ESX Servers : 2
Number of VMs : 2
Faults by Severity : 0, 0, 0, 0
Leader : bdsol-aci37-apic1
Managed Hosts:
ESX VMs Adjacency Interfaces
--------------- -------- ---------- ------------------------------------------------
10.48.176.66 1 Direct leaf-101 eth1/11, leaf-102 eth1/11
10.48.176.67 1 Direct leaf-301 eth1/11, leaf-302 eth1/11
VMMコントローラがオフラインであると示された場合、次のようなエラーがスローされます。
Fault fltCompCtrlrConnectFailed
Rule ID:130
Explanation:
This fault is raised when the VMM Controller is marked offline. Recovery is in process.
Code: F0130
Message: Connection to VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName is failing repeatedly with error: [remoteErrMsg]. Please verify network connectivity of VMM controller hostOrIp and check VMM controller user credentials are valid.
VCとAPIC間の接続の問題をトラブルシューティングするには、次の手順を使用できます。
1.シャードリーダーの特定
APICとvCenter間の接続の問題をトラブルシューティングする最初の手順は、特定のVMMドメインの共有リーダーであるAPICを理解することです。この情報を確認する最も簡単な方法は、任意のAPICで「show vmware domain name <domain>」コマンドを実行することです。
apic1# show vmware domain name VDS_Site1
Domain Name : VDS_Site1
Virtual Switch Mode : VMware Distributed Switch
Vlan Domain : VDS_Site1 (1001-1100)
Physical Interfaces : leaf-102 eth1/11, leaf-301 eth1/11, leaf-302 eth1/11,
leaf-101 eth1/11
Number of EPGs : 2
Faults by Severity : 0, 0, 0, 0
LLDP override : RX: enabled, TX: enabled
CDP override : no
Channel Mode override : mac-pinning
NetFlow Exporter Policy : no
Health Monitoring : no
vCenters:
Faults: Grouped by severity (Critical, Major, Minor, Warning)
vCenter Type Datacenter Status ESXs VMs Faults
-------------------- -------- -------------------- -------- ----- ----- ---------------
10.48.176.69 vCenter Site1 online 2 2 0,0,0,0
APIC Owner:
Controller APIC Ownership
------------ -------- ---------------
bdsol- apic1 Leader
aci37-vc
bdsol- apic2 NonLeader
aci37-vc
bdsol- apic3 NonLeader
aci37-vc
2. vCenterへの接続の確認
vCenterとアクティブに通信しているAPICを特定した後、pingなどのツールを使用してIP接続を確認します。
apic1# ping 10.48.176.69
PING 10.48.176.69 (10.48.176.69) 56(84) bytes of data.
64 bytes from 10.48.176.69: icmp_seq=1 ttl=64 time=0.217 ms
64 bytes from 10.48.176.69: icmp_seq=2 ttl=64 time=0.274 ms
64 bytes from 10.48.176.69: icmp_seq=3 ttl=64 time=0.346 ms
64 bytes from 10.48.176.69: icmp_seq=4 ttl=64 time=0.264 ms
64 bytes from 10.48.176.69: icmp_seq=5 ttl=64 time=0.350 ms
^C
--- 10.48.176.69 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4084ms
rtt min/avg/max/mdev = 0.217/0.290/0.350/0.052 ms
vCenterがIPアドレスではなくFQDNを使用して設定されている場合は、nslookupコマンドを使用して名前解決を確認できます。
apic1:~> nslookup bdsol-aci37-vc
Server: 10.48.37.150
Address: 10.48.37.150#53
Non-authoritative answer:
Name: bdsol-aci37-vc.cisco.com
Address: 10.48.176.69
3. OOBまたはINBが使用されているかどうかを確認します
APICルーティングテーブルを確認して、アウトオブバンドまたはインバンドのどちらが接続に適しているか、およびどのゲートウェイが使用されているかを確認します。
apic1# bash
admin@apic1:~> route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 10.48.176.1 0.0.0.0 UG 16 0 0 oobmgmt
4.すべてのAPICとvCenterの間（通信パス内のファイアウォールを含む）でポート443が許可されていることを確認します。
vCenter <-> APIC - HTTPS （TCPポート443） – 通信
APICからvCenterへの一般的なHTTPS到達可能性は、curlを使用してテストできます。
apic2# curl -v -k https://10.48.176.69
* Rebuilt URL to: https://10.48.176.69/* Trying 10.48.176.69...
* TCP_NODELAY set
* Connected to 10.48.176.69 (10.48.176.69) port 443 (#0)
...
共有リーダーがnetstatコマンドを使用してポート443でTCP接続を確立していることを確認します。
apic1:~> netstat -tulaen | grep 10.48.176.69
tcp 0 0 10.48.176.57:40806 10.48.176.69:443 ESTABLISHED 600 13062800
5.パケットキャプチャの実行
可能であれば、トラフィックがどちらのデバイスでも送受信されているかどうかを識別するために、共有リーダーとvCenterの間のパスに沿ってパケットキャプチャを実行します。
VMwareインベントリ
次の表に、VMWare VDSパラメータのリストを示し、APICでこれらを設定できるかどうかを指定します。
APICによって管理されるVMware VDSパラメータ
| VMware VDS |
デフォルト値 |
Cisco APICポリシーを使用して設定できますか。 |
| [名前(Name)] |
VMMドメイン名 |
あり（ドメインから取得） |
| 説明 |
「APIC仮想スイッチ」 |
いいえ |
| フォルダ名 |
VMMドメイン名 |
あり（ドメインから取得） |
| バージョン |
vCenterによる最高のサポート |
Yes |
| 検出プロトコル |
LLDP |
Yes |
| アップリンクポートとアップリンク名 |
8 |
あり(Cisco APICリリース4.2(1)以降) |
| アップリンク名プレフィクス |
アップリンク |
あり(Cisco APICリリース4.2(1)以降) |
| 最大MTU |
9000 |
Yes |
| LACPポリシー |
無効 |
Yes |
| ポート ミラーリング |
0セッション |
Yes |
| アラーム |
2つのアラームがフォルダレベルで追加されました。 |
いいえ |
次の表に、VMWare VDSポートグループのパラメータの一覧を示し、APICでこれらのパラメータを設定できるかどうかを指定します。
APICによって管理されるVMWare VDSポートグループのパラメーター
| VMware VDSポートグループ |
デフォルト値 |
APICポリシーを使用して設定可能 |
| [名前(Name)] |
テナント名 | アプリケーションプロファイル名 | EPG名 |
あり（EPGから派生） |
| ポートバインディング |
静的バインド |
いいえ |
| VLAN |
VLANプールから選択 |
Yes |
| ロードバランシングアルゴリズム |
APICのポートチャネルポリシーに基づいて取得 |
Yes |
| 混合モード |
Disabled |
Yes |
| 偽造された送信 |
Disabled |
Yes |
| MACの変更 |
Disabled |
Yes |
| すべてのポートをブロック |
FALSE |
いいえ |
VMwareインベントリのトラブルシューティング
インベントリ同期イベントは、APICがポリシーの動的な更新を必要とする可能性があるvCenterイベントをAPICが認識できるようにするために発生します。vCenterとAPICの間で発生するインベントリ同期イベントには、完全なインベントリ同期とイベントベースのインベントリ同期の2種類があります。APICとvCenterの間の完全なインベントリ同期のデフォルトスケジュールは24時間ごとですが、手動でトリガーすることもできます。イベントベースのインベントリ同期は通常、vMotionなどのトリガーされたタスクに関連付けられます。このシナリオでは、仮想マシンがあるホストから別のホストに移動し、それらのホストが2つの異なるリーフスイッチに接続されている場合、APICはVM移行イベントをリッスンし、オンデマンド展開の即時性のシナリオでは、ソースリーフのEPGをアンプログラムし、宛先リーフのEPGをプログラムします。
VMMドメインに関連付けられたEPGの導入の即時性によっては、vCenterからインベントリを取得できない場合に望ましくない結果が生じる可能性があります。インベントリが完了しなかったり、部分的であったりするシナリオでは、障害の原因となったオブジェクトを示すエラーが常に発生します。
シナリオ1 – バッキングが無効な仮想マシン：
仮想マシンがあるvCenterから別のvCenterに移動された場合、または仮想マシンに無効なバッキング（古い/削除されたDVSへのポートグループの接続など）があると判断された場合、vNICに動作上の問題があることが報告されます。
Fault fltCompVNicOperationalIssues
Rule ID:2842
Explanation:
This fault is raised when ACI controller failed to update the properties of a VNIC (e.g., it can not find the EPG that the VNIC attached to).
Code: F2842
Message: Operational issues detected for VNic name on VM name in VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName due to error: issues.
Resolution:
Remediate the virtual machines indicated in the fault by assigning a valid port group on the affected vNIC of the VM.
シナリオ2:vCenter管理者がvCenterでVMM管理対象オブジェクトを変更した。
vCenterからAPICによって管理されるオブジェクトの変更はサポートされていません。サポートされていない操作をvCenterで実行すると、次のエラーが表示されます。
Fault fltCompCtrlrUnsupportedOperation
Rule ID:133
Explanation:
This fault is raised when deployment of given configuration fails for a Controller.
Code: F0133
Message: Unsupported remote operation on controller: hostOrIp with name name in datacenter rootContName in domain domName detected, error: [deployIssues]
Resolution:
If this scenario is encountered, try to undo the unsupported change in vCenter and then trigger an 'inventory sync' manually.
VMWare VMMドメイン – vCenterコントローラ – インベントリ同期のトリガー
VMware DVSバージョン
VMMドメインの一部として新しいvCenterコントローラを作成する場合、DVSバージョンのデフォルト設定は「vCenterデフォルト」を使用します。これを選択すると、DVSバージョンがvCenterのバージョンで作成されます。
VMWare VMMドメイン – vCenterコントローラの作成
つまり、6.5を実行するvCenterと6.0を実行するESXiサーバの例では、APICがバージョン6.5のDVSを作成するため、vCenter管理者は6.0を実行するESXiサーバをACI DVSに追加できません。
APICマネージドDVS - vCenterホストの追加 – 空のリスト
APICマネージドDVS:vCenterホストの追加 – 互換性のないホスト
そのため、VMMドメインを作成するときは、必要なESXiサーバをDVSに追加できるように、正しい「DVSバージョン」を選択してください。
ホストの動的検出
ホスト/VM検出プロセス
ACIでのVMM統合は、ファブリックがホストと適用可能な仮想マシンが接続されている場所を動的に検出してポリシーを効率的に展開できるという点で、手動プロビジョニングとは異なります。この動的なプロセスを通じて、VLAN、SVI、ゾーニングルールなどがノードに導入されるリーフスイッチのハードウェアリソースの使用率をACIが最適化できるのは、ポリシーを必要とするエンドポイントが接続されている場合だけです。使いやすさの観点から見たネットワーク管理者にとっての利点は、VMが接続されているVLAN/ポリシーをACIが自動的にプロビジョニングすることです。ポリシーをどこに展開する必要があるかを判断するために、APICは複数のソースからの情報を使用します。次の図は、DVSベースのVMMドメインを使用する際のホスト検出プロセスの基本手順の概要を示しています。
VMWare VMMドメイン – 導入ワークフロー
要するに、次の重要なステップは、次の場合に発生します。
- LLDPまたはCDPは、ハイパーバイザスイッチとリーフスイッチ間で交換されます。
- ホストは隣接関係の情報をvCenterに報告します。
- vCenterがAPICに隣接情報を通知：
- APICはインベントリ同期を通じてホストを認識します。
- APICがリーフポートにポリシーをプッシュ：
- これらの条件の詳細については、このセクションの「解決の即時性」サブセクションを参照してください。
- vCenter隣接関係情報が失われた場合、APICはポリシーを削除できます。
このように、CDP/LLDPは検出プロセスで重要な役割を果たします。CDP/LLDPが正しく設定され、両側で同じプロトコルが使用されていることを確認することが重要です。
ファブリックLooseNode/中間スイッチ – 使用例
ブレードシャーシを使用し、リーフスイッチとハイパーバイザの間に中間スイッチを配置する導入では、APICが隣接関係を「つなぎ合わせる」必要があります。このシナリオでは、中間スイッチがホストとは異なるプロトコル要件を持つ可能性があるため、複数の検出プロトコルを使用できます。
ブレードサーバと中間スイッチ（ブレードシャーシスイッチなど）を使用したセットアップでは、ACIは中間スイッチを検出し、その背後にあるハイパーバイザをマッピングする必要があります。ACIでは、中間スイッチはLooseNodeまたは「アンマネージドファブリックノード」と呼ばれます。検出されたLooseNodesは、「Fabric」>「Inventory」>「Fabric Membership」>「Unmanaged Fabric Nodes」で確認できます。GUIでこれらのタイプのサーバのいずれかに移動すると、ユーザはリーフから中間スイッチを経由するホストへのパスを表示できます。
APIC UI：アンマネージドファブリックノード(LooseNodes)
LLDPまたはCDP検出が実施されている場合、ACIはこのようなLooseNodeのトポロジを決定できます。これは、中間スイッチのハイパーバイザダウンストリームがVMM統合によって管理され、リーフ自体がダウンストリームから中間スイッチに隣接関係を持つためです。
この概念を次の図に示します。
APIC UI – アンマネージドファブリックノードパス
解決の即時性
vCenter/ESXiへの管理接続など、重要なサービスがVMM統合DVSを利用するシナリオでは、解決前の緊急性を使用することが賢明です。この設定では、ダイナミックホストディスカバリのメカニズムが削除され、代わりにポリシー/VLANがホストに面するインターフェイスに静的にプログラムされます。この構成では、VMM VLANは、VMMドメインが参照するAEPに関連付けられたすべてのインターフェイスに常に展開されます。これにより、検出プロトコル関連の隣接関係イベントが原因で、重要なVLAN（管理など）がポートから削除される可能性がなくなります。
次の図を参照してください。
プロビジョニング前の導入例
ACI_VDS1 VMMドメインのEPGに事前プロビジョニングが設定されている場合、VLANはServer1のリンクに展開されますが、Server2のAEPにはACI_VDS1 VMMドメインが含まれないため、Server2のリンクには展開されません。
解決の即時性の設定をまとめるには、次の手順に従います。
- オンデマンド：ポリシーは、リーフとホスト、およびポートグループに接続されたVMの間で隣接関係が確立されたときに展開されます。
- Immediate：リーフとホストの間に隣接関係が確立されると、ポリシーが展開されます。
- 事前プロビジョニング：ポリシーは、VMMドメインが含まれているAEPを使用してすべてのポートに展開されます。隣接関係は必要ありません。
トラブルシューティングのシナリオ
VMがデフォルトゲートウェイのARPを解決できない
このシナリオでは、VMM統合が設定され、DVSがハイパーバイザに追加されていますが、VMはACIのゲートウェイのARPを解決できません。VMのネットワーク接続を確立するには、アジャセンシー関係が確立され、VLANが展開されていることを確認します。
まず、選択したプロトコルに応じて、リーフで「show lldp neighbors」または「show cdp neighbors」を使用して、リーフがホストを検出したことを確認できます。
Leaf101# show lldp neighbors
Capability codes:
(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID Local Intf Hold-time Capability Port ID
bdsol-aci37-apic1 Eth1/1 120 eth2-1
bdsol-aci37-apic2 Eth1/2 120 eth2-1
bdsol-aci37-os1 Eth1/11 180 B 0050.565a.55a7
S1P1-Spine201 Eth1/49 120 BR Eth1/1
S1P1-Spine202 Eth1/50 120 BR Eth1/1
Total entries displayed: 5
トラブルシューティングの観点から必要な場合は、CLIとGUIの両方でESXi側から確認できます。
[root@host:~] esxcli network vswitch dvs vmware list
VDS_Site1
Name: VDS_Site1
...
Uplinks: vmnic7, vmnic6
VMware Branded: true
DVPort:
Client: vmnic6
DVPortgroup ID: dvportgroup-122
In Use: true
Port ID: 0
Client: vmnic7
DVPortgroup ID: dvportgroup-122
In Use: true
Port ID: 1
[root@host:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic6 0000:09:00.0 enic Up 10000Mbps Full 4c:77:6d:49:cf:30 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic7 0000:0a:00.0 enic Up 10000Mbps Full 4c:77:6d:49:cf:31 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
[root@host:~] vim-cmd hostsvc/net/query_networkhint --pnic-name=vmnic6 | grep -A2 "System Name"
key = "System Name",
value = "Leaf101"
}
vCenter Webクライアント：ホスト – vmnic LLDP/CDP隣接関係の詳細
リーフLLDP隣接関係がESXiホストから見えない場合、ESXi OSの代わりにLLDPDUを生成するように設定されたネットワークアダプタを使用していることが原因である場合があります。ネットワークアダプタでLLDPが有効になっているかどうかと、すべてのLLDP情報が消費されているかどうかを確認してください。この場合は、アダプタ自体でLLDPを無効にして、vSwitchポリシーによって制御されるようにします。
別の原因として、リーフとESXiハイパーバイザの間で使用される検出プロトコル間に不一致が存在する可能性があります。両端で同じディスカバリプロトコルを使用していることを確認します。
APIC UIでCDP/LLDP設定がACIとDVS間で一致しているかどうかを確認するには、[仮想ネットワーキング] > [VMMドメイン] > [VMWare] > [ポリシー] > [vSwitchポリシー]に移動します。LLDPポリシーとCDPポリシーは相互に排他的であるため、どちらか一方のみを有効にしてください。
APIC UI - VMWare VMMドメイン – vSwitchポリシー
vCenterで、「Networking」>「VDS」>「Configure」の順に選択します。
vCenter WebクライアントUI - VDSのプロパティ
必要に応じてLLDP/CDP設定を修正します。
次に、APICがESXiホストのLLDP/CDPネイバーシップをUIのリーフスイッチに対して、[仮想ネットワーキング(Virtual Networking)] > [VMMドメイン(VMM Domains)] > [VMWare] > [ポリシー(Policy)] > [コントローラ(Controller)] > [ハイパーバイザ(Hypervisor)] > [全般(General)]の順に確認することを検証します。
APIC UI:VMWare VMMドメイン：ハイパーバイザの詳細
これが期待値を示している場合、ユーザはホストに向かうポートにVLANが存在することを確認できます。
S1P1-Leaf101# show vlan encap-id 1035
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
12 Ecommerce:Electronics:APP active Eth1/11
VLAN Type Vlan-mode
---- ----- ----------
12 enet CE
APICプッシュDVSに接続されたvCenter/ESXi管理VMK
vCenterまたはESXiの管理トラフィックでVMM統合DVSを利用する必要があるシナリオでは、ダイナミックな隣接関係のアクティブ化と必要なVLANのアクティブ化が行き詰まらないように、細心の注意を払うことが重要です。
vCenterは通常、VMM統合が設定される前に構築されるため、物理ドメインとスタティックパスを使用して、vCenter VMのカプセル化VLANが常にリーフスイッチでプログラムされ、VMM統合が完全に設定される前に使用できるようにすることが重要です。VMM統合をセットアップした後でも、このEPGが常に利用可能であることを保証するために、このスタティックパスを残しておくことをお勧めします。
ESXiハイパーバイザの場合、Cisco.comの『Cisco ACI Virtualization Guide』に従って、vDSに移行する際には、VMKインターフェイスが接続されるEPGが、Pre-provisionに設定されたResolution Immediacyで導入されていることを確認することが重要です。これにより、ESXiホストのLLDP/CDP検出に依存することなく、リーフスイッチでVLANが常にプログラムされるようになります。
LooseNodeの背後でホストの隣接関係が検出されない
LooseNode検出の問題の一般的な原因は次のとおりです。
- CDP/LLDPが有効になっていない
- CDP/LLDPは、中間スイッチ、リーフスイッチ、およびESXiホスト間で交換する必要があります
- Cisco UCSの場合、これはvNICのネットワーク制御ポリシーによって実現されます
- LLDP/CDPネイバーの管理IPを変更すると、接続が切断されます
- vCenterはLLDP/CDP隣接関係で新しい管理IPを認識しますが、APICは更新しません
- インベントリの手動同期をトリガーして、
- VMM VLANが中間スイッチに追加されていない
- APICはサードパーティ製のブレード/中間スイッチをプログラムしません。
- 4.1(1)リリースで使用可能なCisco UCSM統合アプリケーション(ExternalSwitch)
- ACIリーフノードに接続されたアップリンクとホストに接続されたダウンリンクに対して、VLANを設定し、トランキングする必要があります
F606391 – ホスト上の物理アダプタの隣接関係が欠落している
次のエラーが表示される場合：
Affected Object: comp/prov-VMware/ctrlr-[DVS-DC1-ACI-LAB]-DVS1/hv-host-104
Fault delegate: [FSM:FAILED]: Get LLDP/CDP adjacency information for the physical adapters on the host: bdsol-aci20-os3 (TASK:ifc:vmmmgr:CompHvGetHpNicAdj)
「VMがデフォルトゲートウェイのARPを解決できない」の項のワークフローを確認してください。これは、CDP/LLDP隣接関係が存在しないことを意味します。これらの隣接関係は、エンドツーエンドで確認する必要があります。
ハイパーバイザアップリンクロードバランシング
ESXiなどのハイパーバイザをACIファブリックに接続する場合、通常は複数のアップリンクで接続されます。実際には、ESXiホストを少なくとも2つのリーフスイッチに接続することをお勧めします。これにより、障害シナリオやアップグレードの影響を最小限に抑えることができます。
ハイパーバイザ上で実行されるワークロードによるアップリンクの使用方法を最適化するために、VMware vCenterの構成では、ハイパーバイザのアップリンクに向けてVMによって生成されたトラフィックに対して複数のロードバランシングアルゴリズムを構成できます。
正しい接続を確立するには、すべてのハイパーバイザとACIファブリックを同じロードバランシングアルゴリズム設定に合わせることが重要です。そうしないと、ACIファブリックで断続的なトラフィックフローのドロップとエンドポイントの移動が発生する可能性があります。
これは、次のような過剰なアラートによってACIファブリックで発生する可能性があります。
F3083 fault
ACI has detected multiple MACs using the same IP address 172.16.202.237.
MACs: Context: 2981888. fvCEps:
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:55:B2;
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:B7:01;
or
[F1197][raised][bd-limits-exceeded][major][sys/ctx-[vxlan-2818048]/bd-[vxlan-16252885]/fault-F1197]
Learning is disabled on BD Ecommerce:BD01
この章では、ACIへのVMWare ESXiホスト接続について説明しますが、ほとんどのハイパーバイザに適用できます。
ラックサーバ
ESXiホストがACIファブリックに接続するさまざまな方法を見ると、それらは2つのグループ、スイッチ依存、およびスイッチ独立のロードバランシングアルゴリズムに分けられます。
スイッチに依存しないロードバランシングアルゴリズムは、特定のスイッチ設定が必要ない場合に接続する方法です。スイッチに依存するロードバランシングでは、スイッチ固有の設定が必要です。
vSwitchポリシーが、次の表に示す「ACIアクセスポリシーグループ」の要件に従っているかどうかを確認してください。
チーミングおよびACI vSwitchポリシー
| VMwareチーミングおよびフェイルオーバーモード |
ACI vSwitchポリシー |
説明 |
ACIアクセスポリシーグループ – ポートチャネルが必要 |
| 発信仮想ポートに基づくルート |
MACピニング |
スイッチの仮想ポートIDに基づいてアップリンクを選択します。仮想スイッチは、仮想マシンまたはVMKernelアダプタのアップリンクを選択すると、この仮想マシンまたはVMKernelアダプタの同じアップリンクを介してトラフィックを常に転送します。 |
いいえ |
| 送信元MACハッシュに基づくルート |
適用外 |
送信元MACアドレスのハッシュに基づいてアップリンクを選択する |
適用外 |
| 明示的なフェールオーバー順序 |
明示的なフェールオーバーモードの使用 |
アクティブなアダプタのリストから、フェールオーバー検出基準を通過する最も高い順序のアップリンクを常に使用してください。このオプションでは、実際のロードバランシングは実行されません。 |
いいえ |
| リンク集約(LAG):IPハッシュベース |
静的チャネル – モードオン |
各パケットの送信元IPアドレスと宛先IPアドレスのハッシュに基づいてアップリンクを選択します。非IPパケットの場合、スイッチはこれらのフィールドのデータを使用してハッシュを計算します。IPベースのチーミングでは、ACI側でポートチャネル/VPCが「mode on」に設定されている必要があります。 |
はい（チャネルモードを「on」に設定） |
| リンク集約(LAG):LACP |
LACPアクティブ/パッシブ |
選択したハッシュに基づいてアップリンクを選択します（20種類のハッシュオプションを使用できます）。LACPベースのチーミングでは、ACI側でLACPを有効にしてポートチャネル/VPCを設定する必要があります。ACIで拡張Lagポリシーを作成し、それをVSwitchポリシーに適用します。 |
Yes（チャネルモードを「LACP Active/Passive」に設定） |
| 物理NIC負荷(LBT)に基づくルート |
MACピニング：物理NICロード |
分散ポートグループまたは分散ポートで使用できます。ポートグループまたはポートに接続されている物理ネットワークアダプタの現在の負荷に基づいてアップリンクを選択します。アップリンクが75 %以上で30秒間ビジー状態が続くと、ホストのvSwitchは仮想マシントラフィックの一部を空き容量のある物理アダプタに移動します。 |
いいえ |
vSwitchポリシーの一部としてポートチャネルポリシーを検証する方法については、次のスクリーンショットを参照してください。
ACI vSwitchポリシー：ポートチャネルポリシー
注：VMwareネットワーキング機能の詳細については、https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.networking.doc/GUID-D34B1ADD-B8A7-43CD-AA7E-2832A0F7EE76.htmlでvSphere Networkingを参照してください。
Cisco UCS Bシリーズ使用例
Cisco UCS Bシリーズサーバを使用する際は、シャーシ内でユニファイドデータプレーンを持たないUCSファブリックインターコネクト(FI)に接続することに注意してください。この使用例は、同様のトポロジを採用している他のベンダーにも同様に適用されます。このため、ACIリーフスイッチ側とvSwitch側で使用されるロードバランシング方式が異なる場合があります。
ACIを使用したUCS FIトポロジを次に示します。
Cisco UCS FIとACIリーフスイッチ – トポロジ
注意すべき主な事項：
- 各Cisco UCS FIには、ACIリーフスイッチへのポートチャネルがあります。
- UCS FIはハートビートの目的でのみ直接相互接続されます（データプレーンには使用されません）。
- 各ブレードサーバのvNICは、特定のUCS FIに固定されるか、UCSファブリックフェールオーバー（アクティブ – スタンバイ）を使用してFIの1つに向かうパスを使用します。
- ESXiホストのvSwitchでIPハッシュアルゴリズムを使用すると、UCS FIでMACフラップが発生します。
これを正しく設定するには、次の手順を実行します。
MACピニングがACIのvSwitchポリシーの一部としてポートチャネルポリシーで設定されている場合、これは「発信仮想ポートに基づくルート」としてVDSのポートグループのチーミング設定を示します。
ACI:vSwitchポリシーの一部としてのポートチャネルポリシー
上記の例で使用されているポートチャネルポリシーは、ウィザードによって自動的に命名されるため、モード「MACピニング」を使用していますが、「CDS_lacpLagPol」と呼ばれます。
VMWare vCenter — ACI VDS – ポートグループ – ロードバランシング設定
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
05-Aug-2022 |
初版 |
フィードバック