Hyperflexクラスタでの独立したレイヤ2の設定
概要
このドキュメントでは、UCS Manager(UCSM)とESXiの観点から、HXクラスタに分離レイヤ2(DL2)設定を実装する方法について説明します。
前提条件
要件
次の項目に関する知識があることが推奨されます。
- DL2構成の基本的な知識
- Hyperflexクラスタに関する基礎知識
- vNIC、サービスプロファイル、テンプレートに関する推奨されるUCSMの知識
その他の要件は次のとおりです。
- 各ファブリックインターコネクトで少なくとも1つの使用可能なリンクと、アップストリームスイッチで使用可能な2つのリンク。
- ファブリックインターコネクトとアップストリームスイッチ間のリンクはアップ状態である必要があり、アップリンクとして設定する必要があります。設定されていない場合は、UCSMで設定するためにこのシステム設定：ポートの設定を確認します。
- 使用するVLANがUCSMにすでに作成されている必要があります。そうでない場合は、次の手順を実行します。ネットワーク設定 – 名前付きVLANの設定。
- 使用するVLANは、アップストリームスイッチですでに作成されている必要があります。
- 使用するVLANは、サービスプロファイル上の他の仮想NIC(vNIC)には存在できません。
使用するコンポーネント
このドキュメントの内容は、特定のソフトウェアやハードウェアのバージョンに限定されるものではありません。
- UCS-FI-6248UP X 2
- N5K-C5548UP X 2
- UCSMバージョン4.2(1f)
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
ネットワーク図
コンフィギュレーション
DL2設定は、アップストリームデバイスへの特定のアップリンク上のトラフィックを分離するために使用されるため、VLANトラフィックは混在しません。
新しいvNICの設定
ステップ 1：UCSMにログインし、左側のパネルでLANタブをクリックします。
Policies > root > Sub-organizations > Sub-organization name > vNIC templatesの順に移動します。これを右クリックし、Create vNIC Templateをクリックします。
ステップ 2：テンプレートに名前を付け、Fabric Aを選択したままにして下にスクロールし、新しいリンクに適切なVLANを選択します。残りの設定は必要に応じて設定できます。
次に、同じプロセスを繰り返しますが、今回はFabric Bを選択します。
ステップ 3：LANタブから、 Policies > root > Sub-organizations > Sub-organization name > LAN Connectivity Policies > Hyperflex. 
ステップ 4：Addをクリックし、vNICに名前を付けて、ドロップダウンメニューからMACプールを選択します。
Use vNIC TemplateボックスとRedundancy Pairボックスにチェックマークを入れます。vNIC Templateドロップダウンから新しいテンプレートを選択し、その横に ピア名。
目的のAdapter Policyを選択して、OKをクリックします。 
ステップ 5：vNICリストで、作成したピアのピアを探して選択し、 変更.
Use vNIC Templateボックスをクリックし、ドロップダウンから作成されたもう1つのテンプレートを選択します。
最下部のSave Changesをクリックすると、関連するサーバのPending Activitiesがトリガーされます。
保留中のアクティビティの確認
ステップ 1：HX Connectにログインし、System Information > Nodesの順に移動し、いずれかのノードをクリックしてから、Enter HX Maintenance Modeをクリックし、タスクが完了するまで待ちます。 
ステップ 2：vCenterから、ノードがメンテナンス中であることを確認します。
ステップ 3：ノードのメンテナンスが完了したら、UCSMに戻り、右上隅にあるベルアイコンをクリックして、Reboot Nowの下に移動します。
現在メンテナンス中のサーバと一致するボックスにチェックマークを入れて、OKをクリックします。 
ステップ 4：サーバが起動したら、Servers > Service Profiles > root > Sub-Organizations > Sub-organization name > Service Profile nameの順に移動して、新しいvNICが存在することを確認します。
Networkをクリックして下にスクロールすると、新しいvNICが表示されます。
ステップ 5：HX Connect UIからサーバをメンテナンスモードから外します。
Exit HX Maintenance Modeをクリックします。
サーバのメンテナンスが終了すると、ストレージコントローラ仮想マシン(SCVM)が起動し、クラスタが修復プロセスを開始します。
修復プロセスを監視するには、Hyperflex(HX)Cluster Manager IPにSSH接続し、次のコマンドを実行します。
sysmtool --ns cluster --cmd healthdetailCluster Health Detail:
---------------------:
State: ONLINE
HealthState: HEALTHY
Policy Compliance: COMPLIANT
Creation Time: Tue May 30 04:48:45 2023
Uptime: 7 weeks, 1 days, 15 hours, 50 mins, 17 secs
Cluster Resiliency Detail:
-------------------------:
Health State Reason: Storage cluster is healthy.
# of nodes failure tolerable for cluster to be fully available: 1
# of node failures before cluster goes into readonly: NA
# of node failures before cluster goes to be crticial and partially available: 3
# of node failures before cluster goes to enospace warn trying to move the existing data: NA
# of persistent devices failures tolerable for cluster to be fully available: 2
# of persistent devices failures before cluster goes into readonly: NA
# of persistent devices failures before cluster goes to be critical and partially available: 3
# of caching devices failures tolerable for cluster to be fully available: 2
# of caching failures before cluster goes into readonly: NA
# of caching failures before cluster goes to be critical and partially available: 3
Current ensemble size: 3
Minimum data copies available for some user data: 3
Minimum cache copies remaining: 3
Minimum metadata copies available for cluster metadata: 3
Current healing status:
Time remaining before current healing operation finishes:
# of unavailable nodes: 0手順 6： クラスタが正常になったら、手順1 ～ 6を繰り返します。すべてのサーバに新しいvNICが取り付けられるまで、次の手順を続行しないでください。
VLANの設定
ステップ 1：UCSMから、LAN > VLANs > VLAN Groupsの順に移動し、Addをクリックします。
ステップ 2：VLANグループに名前を付け、下で適切なVLANを選択してNextをクリックし、ウィザードのステップ2に進んで単一のアップリンクポートを追加するか、ステップ3に進んでポートチャネルを追加します。
ステップ 3：アップリンクポートまたはポートチャネルをクリックし、>>アイコンをクリックして追加します。下部にあるFinishをクリックします。
ESXiの設定
ステップ 1：ESXiホストのvSphereにログインし、Networking > Virtual Switchesの順に移動して、 標準仮想スイッチを追加します。
ステップ 2：vSwitchに名前を付け、新しいvmnicの1つがすでに存在している場合は、Add uplinkをクリックして2番目のvmnicを追加します。[Add] をクリックします。 
ステップ 3：Networking > Port groupsの順に移動し、Add port groupをクリックします
ステップ 4：ポートグループに名前を付け、目的のVLANを入力し、ドロップダウンから新しい仮想スイッチを選択します。 
ステップ 5：新しいリンクを通過する各VLANについて、ステップ4を繰り返します。
手順 6：クラスタの一部である各サーバについて、手順1 ～ 5を繰り返します。
確認
UCSMの検証
Equipment > Rack-Mounts > Servers > Server # > VIF Pathsの順に選択し、Path AまたはBの順に展開して、vNIC列の下でDL2 vNICに一致し、Virtual Circuit（VC；仮想回線）が最近設定したFabric Interconnect(FI)アップリンクまたはポートチャネルにピン接続されている必要をを探します。
CLI を使用した確認
仮想インターフェイス(VIF)パス
ファブリックインターコネクトへのSSHセッションで、次のコマンドを実行します。
show service-profile circuit server <server-number>
このコマンドは、VIFパス、対応するvNIC、およびそれらが固定されているインターフェイスを表示します。
Fabric ID: A
Path ID: 1
VIF vNIC Link State Oper State Prot State Prot Role Admin Pin Oper Pin Transport
---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------
966 hv-mgmt-a Up Active No Protection Unprotected 0/0/0 0/0/1 Ether
967 storage-data-a Up Active No Protection Unprotected 0/0/0 0/0/1 Ether
968 vm-network-a Up Active No Protection Unprotected 0/0/0 0/0/1 Ether
969 hv-vmotion-a Up Active No Protection Unprotected 0/0/0 0/0/1 Ether
990 network-DL2-a Up Active No Protection Unprotected 0/0/0 1/0/14 Ether
Oper Pin列には、DL2 vNICと同じ行に最近設定されたFIアップリンクまたはポートチャネルが表示されている必要があります。
この出力では、vm-network-DL2-b vNICに対応するVIF 990がインターフェイス1/0/14にピン接続されています。
アップリンクでのピン接続
Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show pinning border-interfaces
--------------------+---------+----------------------------------------
Border Interface Status SIFs
--------------------+---------+----------------------------------------
Eth1/14 Active sup-eth2 Veth990 Veth992 Veth994この出力では、Veth番号が前の出力に示されたVIF番号と一致し、正しいアップリンクインターフェイスと同じ回線上にある必要があります。
指定レシーバ:
Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show platform software enm internal info vlandb id <VLAN-ID>
vlan_id 469
-------------
Designated receiver: Eth1/14
Membership:
Eth1/14
この出力では、正しいアップリンクが表示されている必要があります。
アップストリームスイッチ
アップストリームスイッチへのSSHセッションでは、MACアドレステーブルを確認でき、このVLAN上の任意の仮想マシン(VM)のMACアドレスを表示する必要があります。
Nexus-5K# show mac address-table vlan 469
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 469 0000.0c07.ac45 static 0 F F Router
* 469 002a.6a58.e3bc static 0 F F Po1
* 469 0050.569b.048c dynamic 50 F F Eth1/14
* 469 547f.ee6a.8041 static 0 F F Router
この設定例では、VLAN 469は分離VLANであり、MACアドレス0050:569B:048CはvSwitch vswitch-hx-DL2およびポートグループDL2-vm-network-469に割り当てられたLinux VMに属し、Fabric Interconnectに接続されたアップストリームスイッチのインターフェイスであるインターフェイスイーサネット1/14444444444444に4が正表示されます。
同じセッションから上流に位置するスイッチに対して、VLAN設定を確認できます。
Nexus-5K# show vlan brief
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
1 default active Eth1/5, Eth1/8, Eth1/9, Eth1/10
Eth1/11, Eth1/12, Eth1/13
Eth1/15, Eth1/16, Eth1/17
Eth1/19, Eth1/20, Eth1/21
Eth1/22, Eth1/23, Eth1/24
Eth1/25, Eth1/26
469 DMZ active Po1, Eth1/14, Eth1/31, Eth1/32
この出力では、インターフェイスEthernet 1/14がVLAN 469に正しく割り当てられています。
トラブルシュート
UCSM設定エラー
エラー：「Failed to find any operational uplink port that carriing all VLANs of the vNIC(s).vNICがシャットダウンされ、vNIC上の既存のすべてのVLANでトラフィックが中断されます」
このエラーは、新しいトラフィックを伝送する新しいアップリンクがないことを意味し、インターフェイス上のレイヤ1およびレイヤ2の問題を廃棄して、再試行します。
エラー：「ENM source pinning failed」
このエラーは、アップリンクで見つからないvNICの関連VLANに関連しています。
不正な動作の可能性
以前のアップリンクでは、新しいVLANがすでにvNIC上に存在し、新しいアップリンクにピン接続されているため、データフローが停止します。
以前のvNICテンプレートで重複しているVLANを削除します。Policies > root > Sub-organizations > Sub-organization name > vNIC templatesの順に移動し、vm-network vNICテンプレートからVLANを削除します。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
25-Jul-2023 |
初版 |
フィードバック