コンバージド イーサネット（RoCE）v2 上の RDMA の構成

Windows での RoCEv2 を使用した SMB ダイレクトの設定

Cisco Intersight でのモード 1 の設定

Cisco Intersight で RoCE v2 モード 1 インターフェイスを構成するには、次の手順に従います。

RDMA パケット ドロップの可能性を回避するには、ネットワーク全体で同じ非ドロップ COS が構成されていることを確認してください。次の手順に従えば、システム QoS ポリシーで非ドロップ クラスを構成して、RDMA でサポートされているインターフェイス用に使用できます。

Cisco UCS M8 C シリーズまたは X シリーズ サーバでは、 VIC 15000 シリーズがサポートされますが、Cisco UCS VIC 1400 シリーズ、14000 シリーズは M8 サーバと互換性がありません。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS ドメイン（UCS Domain）] プラットフォーム タイプを選択し、[システム QoS（System QoS）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

[全般（General）] ページでポリシー名を入力し、[次へ（Next）] をクリックします。 次に、[ポリシーの詳細（Policy Details）] ページで、次のようにシステム QoS ポリシーのプロパティ設定を構成します。

ステップ 3

[作成（Create）] をクリックします。

ステップ 4

システムの QoS ポリシーをドメイン プロファイルに関連付け、 展開します。

（注）  

 

詳細については、「ドメイン ポリシーの構成」の「システム QoS ポリシーの作成」および「ドメイン プロファイルの構成」を参照してください。

システム QoS ポリシーが正常に作成され、ドメイン プロファイルに展開されます。

次のタスク

LAN 接続ポリシーで RoCE v2 vNIC 設定を使用してサーバ プロファイルを構成します。

LAN 接続ポリシーで RoCE 設定を有効化する

モード 1 で RoCE v2 vNIC を構成するには、次の手順を実行します。Cisco Intersight LAN 接続ポリシーでは、次のようにモード 1 構成のイーサネット QoS ポリシーとイーサネット アダプタ ポリシーの RoCE 設定を有効にできます。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS サーバ（UCS Server）] プラットフォーム タイプを選択し、[LAN 接続ポリシー（LAN Connectivity policy）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

ポリシーの [全般（General）] ページで、ポリシー名を入力し、[ターゲット プラットフォーム（Target Platform）] として [UCS サーバ（スタンドアロン）（UCS Server（Standalone））] または [UCS サーバ（FI アタッチ）（UCS Server（FI-Attached）））] を選択し、[次へ（Next）] をクリックします。

ステップ 3

[ポリシーの詳細（Policy Details）] ページで、[vNIC の追加（Add vNIC）] をクリックして新しい vNIC を作成します。

ステップ 4

[vNIC の追加（Add vNIC）] ページで、構成パラメータに従って RoCE vNIC 設定を有効にします。

  • [全般（General）] セクションで、仮想イーサネット インターフェイスの名前を入力します。

  • スタンドアロン サーバの [Consistent Device Naming（CDN）] セクションまたは FI アタッチ サーバの [フェールオーバー（Failover）] セクションで、次の手順を実行します。

    • [イーサネット QoS（Etehrnet QoS）] の下にある [ポリシーの選択（Seletct Policy）] リンクをクリックします。[新規作成（Create New）] ボタンを使用して、次のプロパティ設定で新しいイーサネット QoS ポリシーを作成します。

      • [MTU] で、1500、4096、または 9000 を選択するか、入力します。

      • [優先順位（Priority）] で、[プラチナ（Platinum）] または 任意の no-drop を選択します。

      • [サービスクラス（Class of Service）] で、 5 を選択するか、入力します。

        （注）  

         

        このプロパティは、スタンドアロン サーバでのみ使用できます。

      • [トラスト ホスト CoS を有効にする（Enable Trust Host CoS）] トグルボタンをスライドします。

        （注）  

         

        このプロパティは、Intersight 管理モードのサーバでのみ使用できます。

    • [イーサネット アダプタ（Ethernet Adapter）] の下の [ポリシーの選択（Select Policy）] リンクをクリックします。[イーサネット アダプタ ポリシーの作成（Create an Ethernet Adapter Policy）] をクリックして、次を実行します。

      • [デフォルト設定の活用（Use the Default Configuration）]：[新規作成（Create New）] をクリックして、新しいポリシーを作成します。[全般（General）] ページでポリシーの名前を入力し、[イーサネット アダプタのデフォルト構成（Ethernet Adapter Default Configuration）] の下で [デフォルト構成の選択（Select Default Configuration）] をクリックし、事前定義されたイーサネットアダプタのデフォルト構成である [Win-HPN-SMBd] を検索して選択します。[ 次へ（Next）] をクリックし、[作成（Create）] をクリックします。

      • [ポリシーでの RoCE 設定の構成（Configure RoCE Settings in the policy）]：[新規作成（Create New）] をクリックして、新しいポリシーを作成します。[全般（General）] ページで、ポリシーの名前を入力します。右側のペインの [ポリシーの詳細（Policy Details）] ページで、次のプロパティ設定を使用し、[次へ（Next）]、[作成（Create）] の順にクリックします。「」に設定されます。

        • [コンパージド イーサネット上の RDMA を有効にする（Enable RDMA over Converged Ethernet）] をスライドして、有効にします。

        • [キュー ペア（Queue Pairs）] で、256 を選択するか、入力します。

        • [メモリ領域（Memory Regions）] で、 131072 を選択するか、入力します。

        • [リソース グループ（Resource Groups）] で、2 を選択するか、入力します。

        • [バージョン（Version）] で、[バージョン 2（Version 2）] を選択します。

    • [追加 （Add）] をクリックして新しい vNIC 設定を追加し、保存します。

（注）  

 

LAN 接続ポリシーを作成するには、* が付いたすべてのフィールドが必須です。それらのフィールドが入力されていること、または適切なポリシーが選択されていることを確認します。

ステップ 5

[作成（Create）] をクリックし、RoCE v2 プロパティ設定によって LAN 接続ポリシーを完成させます。

ステップ 6

LAN 接続ポリシーをサーバ プロファイルに関連付け、展開します。

（注）  

 

詳細については、UCS サーバ ポリシーおよびUCS サーバ プロファイルの LAN 接続ポリシー、イーサネット QoS ポリシーの作成、およびイーサネット アダプタ ポリシーの作成を参照してください。

イーサネット QoS ポリシーとイーサネット アダプタ ポリシーの vNIC 設定を含む LAN 接続ポリシーが正常に作成され、RoCE v2 構成を有効にするためのサーバ プロファイルが展開されます。

次のタスク

RoCE v2 のポリシー構成が完了したら、続いて、BIOS ポリシーで IOMMU を有効にします。

ホスト システムでの SMB ダイレクト モード 1 の設定

2 個のホスト インターフェイスで smb クライアントと smb サーバ間の接続を設定します。これらのサーバのそれぞれについて、smb クライアントおよび smb サーバで、次の説明に従って RoCE v2 対応 vNIC を設定します。

始める前に

Cisco Intersight で RoCE v2 をモード 1 に構成します。

手順

ステップ 1

Windows ホストで、[デバイス マネージャ (Device Manager)] に移動し、適切な Cisco VIC インターネット インターフェイスを選択します。

ステップ 2

[ツール (Tools)] > [コンピュータ管理 (Computer Management)] > [デバイス マネージャ (Device Manager)] > [ネットワーク アダプタ (Network Adapter)] > [VIC ネットワーク アダプタ (VIC Network Adapter)] > [プロパティ (Properties)] > [アドバンスト (Advanced)] > [ネットワーク ダイレクト機能 (Network Direct Functionality)] に移動します。smb サーバと smb クライアント両方の vNICs に対してこの操作を実行します。

ステップ 3

PowerShell を使用して、ホスト オペレーティング システムで RoCE が有効になっていることを確認します。

Get-NetOffloadGlobalSetting コマンドは、NetworkDirect が有効になっていることを示します。 

PS C:\Users\Administrator> Get-NetOffloadGlobalSetting
 
ReceiveSideScaling           : Enabled
ReceiveSegmentCoalescing     : Enabled
Chimney                      : Disabled
TaskOffload                  : Enabled
NetworkDirect                : Enabled
NetworkDirectAcrossIPSubnets : Blocked
PacketCoalescingFilter       : Disabled

（注）  

 

NetworkDirect 設定が無効と表示されている場合は、コマンド Set-NetOffloadGlobalSetting -NetworkDirect enabled を使用して有効にします。

ステップ 4

Powershell を起動し、次のコマンドを入力します。 

get-SmbClientNetworkInterface

ステップ 5

enable - netadapterrdma [-name] ["Ethernetname"] と入力します

ステップ 6

次の手順に従って、ホストで全体的な RoCE v2 モード 1 の構成を確認します。

  1. Powershell コマンド netstat-xan を使用して、smb クライアントと smb サーバ Windows ホストの両方のリスナーを確認します。リスナーはコマンド出力に表示されます。

  2. smb-client サーバ ファイル共有に移動し、I/O 操作を開始します。

  3. パフォーマンス モニタに移動し、RDMA アクティビティが表示されていることを確認します。

ステップ 7

Powershell コマンド ウィンドウで、 netstat-xan 出力コマンドを使用して接続エントリをチェックして、表示されていることを確認します。コマンド プロンプトから netstat-xan を実行することもできます。netstat-xan 出力に接続エントリが表示されている場合は、クライアントとサーバの間で RoCE v2 モード 1 接続が正しく確立されています。

（注）  

 

IP 値は代表のみです。

ステップ 8

デフォルトでは、Microsoft の SMB ダイレクトは RDMA インターフェイスごとに 2 個の RDMA 接続を確立します。RDMA インターフェイスごとに RDMA 接続数を 1 個または複数の接続数に変更できます。

たとえば、RDMA 接続の数を 4 個に増やすには、PowerShell で次のコマンドを入力します。

PS C:\Users\Administrator> Set-ItemProperty -Path ` "HKLM:\SYSTEM\CurrentControlSet\Services\LanmanWorkstation\Parameters" ConnectionCountPerRdmaNetworkInterface -Type DWORD -Value 4 –Force

Cisco Intersight でのモード 2 の設定

モード 2 で RoCE v2 ポリシーを設定するには、次の手順に従います。Cisco Intersight LAN 接続ポリシーでは、次のようにして、 イーサネット QoS ポリシーとイーサネット アダプタ ポリシーの RoCE 設定、およびモード 2 構成の VMMQ アダプタ ポリシーを有効にできます。

VMQ 接続ポリシーは vmmq として適用されます。

始める前に

モード 1 で RoCE v2 ポリシーを構成します。

事前定義されたデフォルトのアダプタ ポリシー「MQ-SMBd」を使用するか、または次の推奨される RoCE 固有のパラメータを使用してユーザー定義のイーサネット アダプタ ポリシーを設定します。

  • RoCE：有効

  • バージョン 1：無効

  • バージョン 2：有効

  • キュー ペア：256

  • メモリ領域：65536

  • リソース グループ：2

  • 優先順位：プラチナ

次の値を使用して VMQ 接続ポリシーを作成します。

  • マルチ キュー：有効

  • サブ vNIC の数：16

  • VMMQ アダプタ ポリシー：MQ-SMBd

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS サーバ（UCS Server）] プラットフォーム タイプを選択し、[LAN 接続ポリシー（LAN Connectivity policy）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

ポリシーの [全般（General）] ページで、ポリシー名を入力し、[ターゲット プラットフォーム（Target Platform）] として [UCS サーバ（スタンドアロン）（UCS Server（Standalone））] または [UCS サーバ（FI アタッチ）（UCS Server（FI-Attached）））] を選択し、[次へ（Next）] をクリックします。

ステップ 3

[ポリシーの詳細（Policy Details）] ページで、[vNIC の追加（Add vNIC）] をクリックして新しい vNIC を作成します。

ステップ 4

[vNIC の追加（Add vNIC）] ページで、構成パラメータに従って RoCE vNIC 設定を有効にします。

  1. [全般（General）] セクションで、仮想イーサネット インターフェイスの名前を入力します。

  2. スタンドアロン サーバの [Consistent Device Naming（CDN）] セクションまたは FI アタッチ サーバの [フェールオーバー（Failover）] セクションで、次の手順を実行します。

    • [イーサネット QoS（Etehrnet QoS）] の下にある [ポリシーの選択（Seletct Policy）] リンクをクリックします。[新規作成（Create New）] ボタンを使用して、次のプロパティ設定で新しいイーサネット QoS ポリシーを作成します。

      • MTU：仮想インターフェイスが受け入れる最大伝送ユニット（MTU） またはパケット サイズ。[MTU] で、1500、4096、または 9000 を選択するか、入力します。

      • レート制限、Mbps：仮想インターフェースのデータ転送速度を制限するために使用する値（Mbps単位。アダプターのモデルに応じて0～10G/40G/100G）。

      • サービスのクラス：仮想インターフェイス上のトラフィックに関連付けられるサービス クラス。

      • バースト：vNIC で許可されるバースト トラフィック。

      • [優先順位（Priority）] で、[ベストエフォート（Best-effort）] を選択するか、入力します。

      • [トラスト ホスト CoS を有効にする（Enable Trust Host CoS）] をスライドして、有効にします。

    • [イーサネット アダプタ（Ethernet Adapter）] の下の [ポリシーの選択（Select Policy）] リンクをクリックします。[新規作成（Create New）] ボタンを使用して、次のプロパティ設定で新しいイーサネット アダプタ ポリシーを作成します。

      • [コンパージド イーサネット上の RDMA を有効にする（Enable RDMA over Converged Ethernet）] をスライドして、有効にします。

      • [キュー ペア (Queue Pairs)] で、256 を選択するか、入力します。

      • [メモリー リージョン（Memory Regions）]で、65536 を選択するか、入力します。

      • [リソース グループ（Resource Groups）] で、2 を選択するか、入力します。

      • [バージョン（Version）] で、[バージョン 2（Version 2）] を選択します。

      • [サービスクラス（Class of Service）] で、 5 を選択するか、入力します。

    • [接続（Connection）] セクションで、VMQ 接続の次のプロパティ設定を使用し、VMMQ アダプタ ポリシーを作成します。

      • 接続については、[VMQ] を選択します。

      • スライダボタンで、[仮想マシン マルチキューを有効にする（Enable Virtual Machine Multi-Queue ）] を有効にします。

      • [サブ vNIC 数（Number of Sub vNICs）]で、 4を選択するか、入力します。

      • [VMMQ アダプタ ポリシー（VMMQ Adapter Policy）] については、[VMMQ アダプタ ポリシー（VMMQ Adapter Policy）] の下にある、[ポリシーの選択（Select Policy）] リンクをクリックし、次の手順を実行します。

        • 新しい SIG ポリシーを作成するには、[新規作成（Create New）] をクリックします。[全般（General）] ページで、ポリシーの名前を入力して [デフォルト構成の選択（Select Default Configuration）] をクリックして検索し、事前定義された VMMQ アダプタのデフォルト構成である [MQ-SMBd] を選択します。

          注目

           

          [ポリシーの詳細（Policy Details）] ページでは、デフォルト設定を保持します。事前定義されたパラメータを変更しないでください。

        • [ 次へ（Next）] をクリックし、[作成（Create）] をクリックします。

    • [追加 （Add）] をクリックして新しい vNIC 設定を追加し、保存します。

    （注）  

     

    * が付いているすべてのフィールドは必須です。適切なポリシーに従って入力または選択されていることを確認してください。

ステップ 5

[作成（Create）] をクリックし、RoCE v2 プロパティ設定によって LAN 接続ポリシーを完成させます。

ステップ 6

LAN 接続ポリシーをサーバ プロファイルに関連付けます。

（注）  

 

イーサネット QoS の作成、 イーサネット アダプタ ポリシー、および VMMQ アダプタ ポリシーの詳細については、UCS サーバ ポリシーの構成 および UCS サーバ プロファイルの構成を参照してください。

イーサネット QoS ポリシー、イーサネット アダプタ ポリシー、および VMMQ アダプタ ポリシーを使用した LAN 接続ポリシーが正常に作成および展開され、RoCE v2 構成が有効になります。

次のタスク

RoCE v2 のポリシー構成が完了したら、サーバを再起動し、ホストオペレーティング システムで RoCE v2 モード 2 の構成を続行します。

ホスト システムでのモード 2 の設定

このタスクでは、Windows Server 2019 および Windows Server 2022 と互換性のある Hyper-V 仮想化ソフトウェアを使用します。

RoCEv2 モード 2 用にホスト オペレーティング システムを構成するには、次の手順に従います。

始める前に

  • Cisco Intersight とホストの両方に対して、モード 1 の接続を構成して確認します。

  • Cisco Intersightでモード 2 を構成します。

手順

ステップ 1

Hyper-V スイッチ マネージャに移動します。

ステップ 2

RoCE v2 対応イーサネット インターフェイスの新しい仮想ネットワーク スイッチ (vswitch) を作成します。

  1. [外部ネットワーク (External Network)] を選択し、[VIC イーサネット インターフェイス 2 (VIC Ethernet Interface 2)] および [管理オペレーティング システムでこのネットワーク アダプタの共有を許可する (Allow management operating system to share this network adapter)] を選択します。

  2. [OK] をクリックして、仮想スイッチを作成します。

Powershell インターフェイスを起動します。

ステップ 3

デフォルト以外の vPort を設定し、次の Powershell コマンドを使用して RDMA を有効にします。

add-vmNetworkAdapter -switchname vswitch -name vp1 -managementOS
enable-netAdapterRdma -name "vEthernet (vp1)"

  1. 次の Powershell コマンドを使用して、設定スイッチを設定します。

    new-vmswitch -name setswitch -netAdapterName “Ethernet x” -enableEmbeddedTeam $true

    これにより、スイッチが作成されます。インターフェイスを表示するには、次を使用します。

    get-netadapterrdma
    add-vmNetworkAdapter -switchname setswtch -name svp1
    再度入力すると、新しい vport が表示されます。 
    get-netadapterrdma

  2. vport を追加します。

    add-vmNetworkAdapter -switchname setswtch -name svp1
    再度入力すると、新しい vport が表示されます。 
    get-netadapterrdma

  3. vport で RDMA を有効にします。

    enable-netAdapterRdma -name “vEthernet (svp1)”

ステップ 4

両方のサーバの RDMA 対応 vport で IPV4 アドレスを設定します。

ステップ 5

smb サーバで共有を作成し、smb クライアントで共有をマッピングします。

  1. ホスト システムの smb クライアントおよび smb サーバ用に、前述の方法で RoCE v2 対応 vNIC を構成します。

  2. 両方のサーバに同じ IP サブネットと同じ固有の vlan を使用して、両方のサーバでプライマリ ファブリックとサブ vNICs の IPV4 アドレスを設定します。

  3. smb サーバで共有を作成し、smb クライアントで共有をマッピングします。

ステップ 6

モード 2 設定を確認します。

  1. Powershell コマンド netstat-xan を使用して、リスナーとそれらに関連付けられている IP アドレスを表示します。

  2. smb クライアントのファイル共有で RDMA I/O を開始します。

  3. Netstat-xan コマンドを再度発行し、接続エントリが表示されていることを確認します。

次のタスク

必要に応じて、すべての項目のトラブルシューティングを行います。

Cisco Intersight の RoCE v2 インターフェイスの削除

RoCE v2 インターフェイスを削除するには、次の手順を実行します。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[フィルタの追加（Add Filter）] フィールドで、[タイプ：LAN 接続（Type: LAN Connectivity）] を選択します。

ステップ 2

RoCE V2 構成用に作成された適切な LAN 接続ポリシーを選択し、ポリシー リストの上部または下部にある削除アイコンを使用します。

ステップ 3

ポリシーを削除するには、[削除（Delete）] をクリックします。

ステップ 4

RoCE v2 構成を削除したら、サーバ プロファイルを再展開し、サーバを再起動します。

Linux での RoCE v2 を使用したファブリック（NVMeoF）上の NVMe の構成

Cisco Intersight での RoCE v2 for NVMeoF の構成

Cisco Intersight で RoCE v2 インターフェイスを構成するには、次の手順に従います。

RDMA パケット ドロップの可能性を回避するには、ネットワーク全体で同じ非ドロップ COS が構成されていることを確認してください。次の手順に従えば、システム QoS ポリシーで非ドロップ クラスを構成して、RDMA でサポートされているインターフェイス用に使用できます。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS ドメイン（UCS Domain）] プラットフォーム タイプを選択し、[システム QoS（System QoS）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

[全般（General）] ページでポリシー名を入力し、[次へ（Next）] をクリックします。 次に、[ポリシーの詳細（Policy Details）] ページで、次のようにシステム QoS ポリシーのプロパティ設定を構成します。

  • [優先順位（Priority）] で、[プラチナ（Platinum）] を選択します。

  • [パケットドロップを許可（Allow Packet Drops）] チェックボックスをオフにします。

  • [MTU] については、値を 9216 に設定します。

ステップ 3

[作成（Create）] をクリックします。

ステップ 4

システム QoS ポリシーをドメイン プロファイルに関連付けます。

（注）  

 

詳細については、「ドメイン ポリシーの構成」の「システム QoS ポリシーの作成」および「ドメイン プロファイルの構成」を参照してください。

システム QoS ポリシーが正常に作成され、ドメイン プロファイルに展開されます。

次のタスク

LAN 接続ポリシーで RoCE v2 vNIC 設定を使用してサーバ プロファイルを構成します。

LAN 接続ポリシーで RoCE 設定を有効化する

モード 1 で RoCE v2 vNIC を構成するには、次の手順を実行します。Cisco Intersight LAN 接続ポリシーでは、次のようにモード 1 構成のイーサネット QoS ポリシーとイーサネット アダプタ ポリシーの RoCE 設定を有効にできます。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS サーバ（UCS Server）] プラットフォーム タイプを選択し、[LAN 接続ポリシー（LAN Connectivity policy）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

ポリシーの [全般（General）] ページで、ポリシー名を入力し、[ターゲット プラットフォーム（Target Platform）] として [UCS サーバ（スタンドアロン）（UCS Server（Standalone））] または [UCS サーバ（FI アタッチ）（UCS Server（FI-Attached）））] を選択し、[次へ（Next）] をクリックします。

ステップ 3

[ポリシーの詳細（Policy Details）] ページで、[vNIC の追加（Add vNIC）] をクリックして新しい vNIC を作成します。

ステップ 4

[vNIC の追加（Add vNIC）] ページで、構成パラメータに従って RoCE vNIC 設定を有効にします。

  • [全般（General）] セクションで、仮想イーサネット インターフェイスの名前を入力します。

  • スタンドアロン サーバの [Consistent Device Naming（CDN）] セクションまたは FI アタッチ サーバの [フェールオーバー（Failover）] セクションで、次の手順を実行します。

    • [イーサネット QoS（Etehrnet QoS）] の下にある [ポリシーの選択（Seletct Policy）] リンクをクリックします。[新規作成（Create New）] ボタンを使用して、次のプロパティ設定で新しいイーサネット QoS ポリシーを作成します。

      • [MTU] で、1500、4096、または 9000 を選択するか、入力します。

      • [優先順位（Priority）] で、[プラチナ（Platinum）] または 任意の no-drop を選択します。

      • [サービスクラス（Class of Service）] で、 5 を選択するか、入力します。

        （注）  

         

        このプロパティは、スタンドアロン サーバでのみ使用できます。

      • [トラスト ホスト CoS を有効にする（Enable Trust Host CoS）] トグルボタンをスライドします。

        （注）  

         

        このプロパティは、Intersight 管理モードのサーバでのみ使用できます。

    • [イーサネット アダプタ（Ethernet Adapter）] の下の [ポリシーの選択（Select Policy）] リンクをクリックします。[イーサネット アダプタ ポリシーの作成（Create an Ethernet Adapter Policy）] をクリックして、次を実行します。

      • [デフォルト設定の活用（Use the Default Configuration）]：[新規作成（Create New）] をクリックして、新しいポリシーを作成します。[全般（General）] ページでポリシーの名前を入力し、[イーサネット アダプタのデフォルト構成（Ethernet Adapter Default Configuration）] の下で [デフォルト構成の選択（Select Default Configuration）] をクリックし、事前定義されたイーサネットアダプタのデフォルト構成である [Win-HPN-SMBd] を検索して選択します。[ 次へ（Next）] をクリックし、[作成（Create）] をクリックします。

      • [ポリシーでの RoCE 設定の構成（Configure RoCE Settings in the policy）]：[新規作成（Create New）] をクリックして、新しいポリシーを作成します。[全般（General）] ページで、ポリシーの名前を入力します。右側のペインの [ポリシーの詳細（Policy Details）] ページで、次のプロパティ設定を使用し、[次へ（Next）]、[作成（Create）] の順にクリックします。「」に設定されます。

        • [コンパージド イーサネット上の RDMA を有効にする（Enable RDMA over Converged Ethernet）] をスライドして、有効にします。

        • [キュー ペア（Queue Pairs）] で、256 を選択するか、入力します。

        • [メモリ領域（Memory Regions）] で、 131072 を選択するか、入力します。

        • [リソース グループ（Resource Groups）] で、2 を選択するか、入力します。

        • [バージョン（Version）] で、[バージョン 2（Version 2）] を選択します。

    • [追加 （Add）] をクリックして新しい vNIC 設定を追加し、保存します。

（注）  

 

LAN 接続ポリシーを作成するには、* が付いたすべてのフィールドが必須です。それらのフィールドが入力されていること、または適切なポリシーが選択されていることを確認します。

ステップ 5

[作成（Create）] をクリックし、RoCE v2 プロパティ設定によって LAN 接続ポリシーを完成させます。

ステップ 6

LAN 接続ポリシーをサーバ プロファイルに関連付け、展開します。

（注）  

 

詳細については、UCS サーバ ポリシーおよびUCS サーバ プロファイルの LAN 接続ポリシー、イーサネット QoS ポリシーの作成、およびイーサネット アダプタ ポリシーの作成を参照してください。

イーサネット QoS ポリシーとイーサネット アダプタ ポリシーの vNIC 設定を含む LAN 接続ポリシーが正常に作成され、RoCE v2 構成を有効にするためのサーバ プロファイルが展開されます。

次のタスク

RoCE v2 のポリシー構成が完了したら、続いて、BIOS ポリシーで IOMMU を有効にします。

IOMMU BIOS 設定の有効化

Linux カーネルで IOMMU を有効にする前に、次の手順を実行して、RoCE v2 vNIC を使用するようサーバのサービス プロファイルを構成し、IOMMU BIOS ポリシーを有効にします。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS サーバ（UCS Server）] プラットフォーム タイプを選択し、[BIOS] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

[全般（General）] ページで、ポリシーの名前を入力し、[次へ（Next）] をクリックします。

ステップ 3

[ポリシーの詳細（Policy Details）] ページで、次の BIOS を構成します。

  1. [すべてのプラットフォーム（All Platforms）] を選択します。

  2. Intel CPUを搭載したサーバの場合、 [Intel DirectedI/O] ドロップダウンリストで [Intel VT for Directed I/O] を有効にし、 [プロセッサ（Processor）] ドロップダウン リストで [Intel(R) VT] を有効にします。

  3. AMD CPUを搭載したサーバの場合は、 [メモリ（Memory）] ドロップダウン リストで [IOMMU] を有効にし、 [プロセッサ（Processor）] ドロップダウン リストで [SVM モード（SVM Mode）] を有効にします。

ステップ 4

[作成（Create）] をクリックします。

ステップ 5

BIOS ポリシーをサーバ プロファイルに関連付け、サーバを再起動します。

（注）  

 

詳細については、「サーバ ポリシーの構成」の「BIOS ポリシーの作成」および「サーバ プロファイルの構成」を参照してください。

BIOS ポリシーが正常に作成され、サーバ プロファイルに展開されます。

次のタスク

ホスト システムで RoCE v2 for NVMeoF を構成します。

ホスト システムでの NVMeoF の RoCE v2 の構成

始める前に

IOMMU 対応 BIOS ポリシーを使用して、RoCE v2 vNIC を使用するサーバのサービス プロファイルを設定します。

手順

ステップ 1

編集のために /etc/default/grub ファイルを開きます。

ステップ 2

GRUB_CMDLINE_LINUX の末尾に intel_iommu=onを追加します。 

sample /etc/default/grub configuration file after adding intel_iommu=on:
# cat /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap biosdevname=1 rhgb quiet intel_iommu=on
GRUB_DISABLE_RECOVERY="true"

ステップ 3

ファイルを保存した後、新しい grub.cfg ファイルを生成します。

レガシー ブートの場合：

# grub2-mkconfig -o /boot/grub2/grub.cfg

UEFI ブートの場合：

# grub2-mkconfig -o /boot/grub2/efi/EFI/redhat/grub.cfg

ステップ 4

サーバをリブートします。IOMMU を有効にした後で、変更を反映するためにサーバを再起動します。

ステップ 5

サーバが intel_iommu=on オプションを使用して起動されていることを確認します。 

cat /proc/cmdline | grep iommu

出力の最後に含まれることに注意してください。

次のタスク

enic および enic_rdma ドライバをダウンロードします。

Cisco enic および enic_rdma ドライバのインストール

enic_rdma ドライバには enic ドライバが必要です。enic および enic_rdma ドライバをインストールする場合は、Cisco.com で一致する enic および enic_rdma ドライバのセットをダウンロードして使用してください。inbox enic ドライバを使用して Cisco.com からダウンロードしたバイナリ enic_rdma ドライバを使用しようとしても、機能しません。

手順

ステップ 1

enic および enic_rdma rpm パッケージをインストールします。

# rpm -ivh kmod-enic-<version>.x86_64.rpm kmod-enic rdma-<version>.x86_64.rpm

（注）  

 

enic_rdma のインストール中に、enic_rdmalibnvdimm モジュールは、RHEL 7.7 へのインストールに失敗することがあります。nvdimm-security.conf dracut モジュールは add_drivers 値にスペースを必要とするためです。回避策については、次のリンクの指示に従ってください。

https://access.redhat.com/solutions/4386041

https://bugzilla.redhat.com/show_bug.cgi?id=1740383

ステップ 2

enic_edma ドライバはインストールされていますが、動作中のカーネルでロードされません。サーバを再起動して、実行中のカーネルに enic_rdma ドライバをロードします。

ステップ 3

enic_rdma ドライバと RoCE v2 インターフェイスのインストールを確認します。

ステップ 4

vme-rdma カーネル モジュールをロードします。

# modprobe nvme-rdma
サーバの再起動後に、nvme-rdma カーネル モジュールがアンロードされます。サーバの再起動ごとに nvme-rdma カーネルモジュールをロードするには、次を使用して nvme_rdma conf ファイルを作成します。
# echo nvme_rdma > /etc/modules-load.d/nvme_rdma.conf

（注）  

 

インストール後の enic_rdma の詳細については、 rpm -q -l kmod-enic_rdma コマンドを使用して README ファイルを抽出します。

次のタスク

ターゲットを検出し、NVMe ネームスペースに接続します。システムでストレージへのマルチパス アクセスが必要な場合は、デバイス マッパー マルチパスの設定 についてのセクションを参照してください。

NVMe ターゲットの検出

NVMe のターゲットを検出し、NVMe ネームスペースを接続するには、次の手順を使用します。

始める前に

まだインストールされていない場合は、 nvme cli バージョン 1.6 以降をインストールします。

RoCEv2 インターフェイスで IP アドレスを設定し、インターフェイスがターゲット IP に対して ping を実行できることを確認します。

手順

ステップ 1

/etc で nvme フォルダを作成し、ホスト nqn を手動で生成します。

# mkdir /etc/nvme
# nvme gen-hostnqn > /etc/nvme/hostnqn

ステップ 2

settos.sh ファイルを作成し、IB フレームでプライオリティ フロー制御 (PFC) を設定するスクリプトを実行します。

（注）  

 

NVMeoF トラフィックの送信に失敗しないようにするには、サーバを再起動するごとににこのスクリプトを作成して実行する必要があります。 

# cat settos.sh
#!/bin/bash
for f in `ls /sys/class/infiniband`;
do
        echo "setting TOS for IB interface:" $f
        mkdir -p /sys/kernel/config/rdma_cm/$f/ports/1
        echo 186 > /sys/kernel/config/rdma_cm/$f/ports/1/default_roce_tos
done

ステップ 3

次のコマンドを入力して、NVMe ターゲットを検出します。

nvme discover --transport=rdma --traddr=<IP address of transport target port>
例えば、50.2.85.200 でターゲットを検出するには、次のようにします。
# nvme discover --transport=rdma --traddr=50.2.85.200

Discovery Log Number of Records 1, Generation counter 2
=====Discovery Log Entry 0======
trtype:  rdma
adrfam:  ipv4
subtype: nvme subsystem
treq:    not required
portid:  3
trsvcid: 4420
subnqn:  nqn.2010-06.com.purestorage:flasharray.9a703295ee2954e
traddr:  50.2.85.200
rdma_prtype: roce-v2
rdma_qptype: connected
rdma_cms:    rdma-cm
rdma_pkey: 0x0000

（注）  

 

IPv6 を使用して NVMe ターゲットを検出するには、 traddr オプションの次に IPv6 ターゲット アドレスを指定します。

ステップ 4

次のコマンドを入力して、検出された NVMe ターゲットに接続します 。

nvme connect --transport=rdma --traddr=<IP address of transport target port>> -n <subnqn value from nvme discover>
例えば、50.2.85.200 のターゲットと上記の subnqn 値を検出するには、次の手順を実行します。
# nvme connect --transport=rdma --traddr=50.2.85.200 -n nqn.2010-06.com.purestorage:flasharray.9a703295ee2954e

（注）  

 

IPv6 を使用して検出した NVMe ターゲットに接続するには、 traddr オプションの次に IPv6 ターゲット アドレスを指定します。

ステップ 5

nvme list コマンドを使用して、マッピングされたネームスペースを確認します。 

# nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     09A703295EE2954E     Pure Storage FlashArray                  72656       4.29  GB /   4.29  GB    512   B +  0 B   99.9.9
/dev/nvme0n2     09A703295EE2954E     Pure Storage FlashArray                  72657       5.37  GB /   5.37  GB    512   B +  0 B   99.9.9

デバイス マッパー マルチパスの設定

システムがデバイス マッパー マルチパス (DM マルチパス) を使用して構成されている場合は、次の手順に従ってデバイス マッパー マルチパスをセットアップします。

手順

ステップ 1

まだインストールされていない場合は、device-mapper-multipath パッケージをインストールします。

ステップ 2

Multipathd を有効にして開始します。

# mpathconf --enable --with_multipathd y

ステップ 3

etc/multipath.conf ファイルを編集して、次の値を使用します。

ステップ 4

更新されたマルチパス デバイス マップを使用してフラッシュします。

# multipath -F

ステップ 5

マルチパス サービスを再起動します。

# systemctl restart multipathd.service

ステップ 6

マルチパス デバイスを再スキャンします。

# multipath -v2

ステップ 7

マルチパス ステータスを確認します。

# multipath -ll

Cisco Intersight の RoCE v2 インターフェイスの削除

RoCE v2 インターフェイスを削除するには、次の手順を実行します。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[フィルタの追加（Add Filter）] フィールドで、[タイプ：LAN 接続（Type: LAN Connectivity）] を選択します。

ステップ 2

RoCE V2 構成用に作成された適切な LAN 接続ポリシーを選択し、ポリシー リストの上部または下部にある削除アイコンを使用します。

ステップ 3

ポリシーを削除するには、[削除（Delete）] をクリックします。

ステップ 4

RoCE v2 構成を削除したら、サーバ プロファイルを再展開し、サーバを再起動します。

ESXi での RoCEv2 を使用した NVMe の構成

Cisco Intersight での RoCE v2 for NVMeoF の構成

Cisco Intersight で RoCE v2 インターフェイスを構成するには、次の手順に従います。

RDMA パケット ドロップの可能性を回避するには、ネットワーク全体で同じ非ドロップ COS が構成されていることを確認してください。次の手順に従えば、システム QoS ポリシーで非ドロップ クラスを構成して、RDMA でサポートされているインターフェイス用に使用できます。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS ドメイン（UCS Domain）] プラットフォーム タイプを選択し、[システム QoS（System QoS）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

[全般（General）] ページでポリシー名を入力し、[次へ（Next）] をクリックします。 次に、[ポリシーの詳細（Policy Details）] ページで、次のようにシステム QoS ポリシーのプロパティ設定を構成します。

  • [優先順位（Priority）] で、[プラチナ（Platinum）] を選択します。

  • [パケットドロップを許可（Allow Packet Drops）] チェックボックスをオフにします。

  • [MTU] については、値を 9216 に設定します。

ステップ 3

[作成（Create）] をクリックします。

ステップ 4

システム QoS ポリシーをドメイン プロファイルに関連付けます。

（注）  

 

詳細については、「ドメイン ポリシーの構成」の「システム QoS ポリシーの作成」および「ドメイン プロファイルの構成」を参照してください。

システム QoS ポリシーが正常に作成され、ドメイン プロファイルに展開されます。

次のタスク

LAN 接続ポリシーで RoCE v2 vNIC 設定を使用してサーバ プロファイルを構成します。

LAN 接続ポリシーで RoCE 設定を有効化する

RoCE v2 vNIC を構成するには、次の手順に従います。Cisco Intersight LAN 接続ポリシーでは、次のように Linux 構成向けのイーサネット アダプタ ポリシーの RoCE 設定を有効にできます。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[ポリシーの作成（Create Policy）] をクリックし、[UCS サーバ（UCS Server）] プラットフォーム タイプを選択し、[LAN 接続ポリシー（LAN Connectivity policy）] を検索または選択して、[Start（開始）] をクリックします。

ステップ 2

ポリシーの [全般（General）] ページで、ポリシー名を入力し、[ターゲット プラットフォーム（Target Platform）] として [UCS サーバ（スタンドアロン）（UCS Server（Standalone））] または [UCS サーバ（FI アタッチ）（UCS Server（FI-Attached）））] を選択し、[次へ（Next）] をクリックします。

ステップ 3

[ポリシーの詳細（Policy Details）] ページで、[vNIC の追加（Add vNIC）] をクリックして新しい vNIC を作成します。

ステップ 4

[vNIC の追加（Add vNIC）] ページで、構成パラメータに従って RoCE v2 vNIC を有効にします。

  1. [全般（General）] セクションで、仮想イーサネット インターフェイスの名前を入力します。

  2. スタンドアロン サーバの場合は、[Consistent Device Naming（CDN）] をクリックするか、FI アタッチ サーバの [フェールオーバー（Failover）] をクリックして、次の手順を実行します。

    • [イーサネット アダプタ（Ethernet Adapter）] の下で、[ポリシーの選択（Select Policy）] をクリックします。

    • [ポリシーの選択（Select Policy）]ウィンドウで、[新規作成（Create New）] をクリックして、イーサネット アダプタ ポリシーを作成します。

    • イーサネット アダプタ ポリシーの [全般（General）] ページで、ポリシーの名前を入力し、[次へ（Next）] をクリックします。

    • イーサネットアダプタ ポリシーの [ポリシーの詳細（Policy Details）] ページで、次のプロパティ設定を変更します。

      • [RoCE の設定（RoCE Settings）]

        • [コンパージド イーサネット上の RDMA を有効にする（Enable RDMA over Converged Ethernet）] をスライドして有効にし、この仮想インターフェイスの RoCE を設定します。

        • [キュー ペア (Queue Pairs)] で、1024 を選択するか、入力します。

        • [メモリー リージョン（Memory Regions）]で、131072 を選択するか、入力します。

        • [リソース グループ（Resource Groups）] で、8 を選択するか、入力します。

        • [バージョン（Version）] で、[バージョン 2（Version 2）] を選択します。

        • [サービスクラス（Class of Service）] で、5 を選択します。

      • [割り込み設定（Interrupt Settings）]

        • [割り込み（Interrupts）] で、256 を選択するか、入力します。

        • [割り込みモード（Interrupt mode）] で、[MSIx] を選択します。

        • [割り込みタイマー（Interrupt Timer）] で、125 を選択します。

        • [割り込み調停タイプ（Interrupt Coalescing Type）] で、[最小（Min）] を選択します。

      • [受信（Receive）] の設定

        • [受信キュー数（Receive Queue Count）] で、1 を選択するか、入力します。

        • [受信リングサイズ（Receiving Ring Size）] で、512 を選択するか、入力します。

      • [送信（Transmit）]の設定

        • [送信キュー数（Transmit Queue Count）] で、1 を選択するか、入力します。

        • [送信リングサイズ（Transmit Ring Size）] で、256 を選択するか、入力します。

      • [完了（Completion）] の設定

        • [完了キュー カウント（Completion Queue Count）] で、2 を選択するか、入力します。

        • [完了リング サイズ（Completion Ring Size）] で、1 を選択するか、入力します。

        • [アップリンク フェールバック タイムアウト（秒）（Uplink Failback Timeout）] で、5 を選択するか、入力します。

    • [作成（Create）] をクリックして、上記で定義した設定でイーサネット アダプタ ポリシーを作成します。

    • [追加 （Add）] をクリックして設定を保存し、新しい vNIC を追加します。

      （注）  

       

      * が付いているすべてのフィールドは必須です。適切なポリシーに従って入力または選択されていることを確認してください。

ステップ 5

[作成（Create）] をクリックし、RoCE v2 設定によって LAN 接続ポリシーを完成させます。

ステップ 6

LAN 接続ポリシーをサーバ プロファイルに関連付けます。

（注）  

 

詳細については、「UCS サーバ ポリシーの構成」の「LAN 接続ポリシーの作成」および「イーサネット アダプタ ポリシーの作成」および「UCS サーバ プロファイルの構成」を参照してください。

イーサネット アダプタ ポリシーの vNIC 設定を含む LAN 接続ポリシーが正常に作成および展開され、RoCE v2 設定が有効になります。

次のタスク

RoCE v2 のポリシー構成が完了したら、ホスト システムで NVMeoF の RoCE v2 を構成します。

NENIC ドライバのインストール

始める前に

イーサネット ネットワーク インターフェイス カード（eNIC）のリモート ダイレクト メモリ アクセス（RDMA）ドライバには、nenic ドライバが必要です。

手順

ステップ 1

eNIC vSphere インストール バンドル（VIB）またはオフライン バンドルを ESXi サーバにコピーします。

ステップ 2

次のコマンドを使用して、nenic ドライバをインストールします。

esxcli software vib install -v {VIBFILE}
or
esxcli software vib install -d {OFFLINE_BUNDLE}

例:

esxcli software vib install -v /tmp/nenic-2.0.4.0-1OEM.700.1.0.15843807.x86_64.vib

（注）  

 
VIB の署名に使用されている証明書によっては、ホスト許容レベルの変更が必要になる場合があります。これを行うには、次のコマンドを使用します。
esxcli software acceptance set --level=<level>

インストールされている VIB のタイプによっては、ESX をメンテナンス モードにする必要があります。これは、クライアントを介して実行するか、上記の esxcli に --maintenance-mode オプションを追加することで実行できます。

次のタスク

ESXi NVMe RDMA のホスト側を構成します。

ESXi NVMe RDMA のホスト側の構成

NENIC RDMA の機能

Linux と ESXi の RDMA の主な違いの 1 つを以下に示します。

  • ESXi では、物理インターフェイス（vmnic）の MAC は RoCEv2 トラフィックに使用されません。代わりに、VMkernelポート（vmk）の MACが使用されます。

    発信 RoCE パケットはイーサネット送信元 MAC フィールドの vmrk MAC を使用します。着信 RoCE パケットは、イーサネット接続先 mac フィールドの vmk MAC を使用します。vmk MAC アドレスは、作成時に vmk インターフェイスに割り当てられるVMware MAC アドレスです。

  • Linux では、物理インターフェイス MAC が ROCE パケットの送信元 MAC アドレス フィールドで使用されます。この Linux MACは通常、UCS Manager を使用して VNIC に構成された Cisco MAC アドレスです。

ホストに ssh で接続し、esxcli network ip interface list コマンドを使用すると、 MAC アドレスを確認できます。

ホスト、仮想マシンにネットワーク接続を提供し、VMkernelトラフィックを処理するには、 vSphere 標準スイッチを作成する必要があります。作成する接続タイプに応じて、VMkernel アダプタを使用して新しい vSphere 標準スイッチを作成するか、物理ネットワーク アダプタのみを新しいスイッチに接続するか、または仮想マシン ポート グループを使用してスイッチを作成することができます。

ネットワーク接続スイッチの作成

次の手順に従って、ホスト、仮想マシンにネットワーク接続を提供し、VMkernel トラフィックを処理するための vSphere 標準スイッチを作成します。

始める前に

nenic ドライバがあることを確認します。以下の手順に進む前に、nenic ドライバをダウンロードしてインストールします。

手順

ステップ 1

vSphere Web Client で、ホストに移動します。

ステップ 2

[構成（Configure）] タブで、[ネットワーキング（Networking）] を展開し、[仮想スイッチ（Virtual Switches）] を選択します。

ステップ 3

[ネットワーキングの追加（Add Networking）] をクリックします。

使用可能なネットワーク アダプタの接続タイプは次のとおりです。

  • Vmkernel ネットワーク アダプタ

    ホスト管理トラフィックを処理する新しい VMkernel アダプタを作成します。

  • 物理ネットワーク アダプタ

    物理ネットワーク アダプタを新しい、または既存の標準スイッチに追加します。

  • 標準スイッチの仮想マシン ポート グループ

    仮想マシン ネットワーキング用の新しいポート グループを作成します。

ステップ 4

接続タイプ [Vmkernel ネットワーク アダプタ（Vmkernel Network Adapter）] を選択します。

ステップ 5

[新しい標準スイッチ（New standard switch）] を選択し、[次へ（Next）] をクリックします。

ステップ 6

物理ネットワーク アダプタを新しい標準スイッチに追加します。

  1. [割り当て済みアダプタ（Assigned Adapters）] で、[新しいアダプタ（New Adapters）] を選択します。

  2. リストから 1 つ以上のアダプタをセレクトし、[OK] をクリックします。スループットの向上を促し、冗長性を得るため、[アクティブ（Active）] リストで少なくとも 2 つの物理ネットワーク アダプタを追加してください。

  3. （オプション）上矢印キーと下矢印キーで、[割り当て済みアダプタ（Assigned Adapters）] リスト内のアダプタの位置を変更します。

  4. [次へ（Next）] をクリックします。

ステップ 7

VMadapter またはポートグループ用に作成した新しい標準スイッチに対し、アダプタまたはポートグループの接続設定を入力します。

  1. VMkernel アダプタのトラフィック タイプを表すラベルを入力します。

  2. ネットワーク トラフィックのルーティングで VMkernel が使用する VLAN を識別するための、VLAN ID を設定します。

  3. [IPv4]、[IPv6]、またはその両方を選択します。

  4. ドロップダウン メニューから MTU サイズを選択します。特定の MTU サイズを入力する場合は、[カスタム（Custom）] を選択します。最大 MTU サイズは 9000 バイトです。

    （注）  

     

    1500 より大きい MTU を設定すれば、ジャンボ フレームを有効にすることができます。

  5. VMkernel アダプタの TCP/IP スタックを設定した後、 TCP/IP スタックを選択します。

    デフォルトの TCP/IP スタックを使用するには、使用可能なサービスから選択します。

    （注）  

     

    VMkernel アダプタの TCP/IP スタックは、後から変更できないことに注意してください。

  6. IPV4 または IPV6 設定、あるいはその両方を構成します。

ステップ 8

[完了の準備] ページで、[完了（Finish）] をクリックします。

ステップ 9

次の結果に示すように、vSphere クライアントで NVMe RDMA を使用して VM アダプタまたはポート グループの VMkernel ポートを確認します。

NVMe RDMA を使用する VM アダプタまたはポート グループの VMkernel ポートは、以下のようになります。

NVMeRDMA がサポートされている vmnic で作成された VRDMA ポート グループは、次のように表示されます。

次のタスク

vmrdma ポートの上に vmhba ポートを作成します。

ESXi での VMVHBA ポートの作成

vmrdma アダプタ ポートの上に vmhba ポートを作成するには、次の手順に従います。

始める前に

ストレージ接続用のアダプタ ポートを作成します。

手順

ステップ 1

ESXi ホストが接続されている vCenter に移動します。

ステップ 2

[ホスト（Host）] > [構成（Configure）] > [ストレージ アダプタ（Storage adapters）] の順にクリックします。

ステップ 3

[+ ソフトウェア アダプタの追加（Add Software Adapter）] をクリックします。次のダイアログ ボックスが表示されます。

ステップ 4

[RDMA アダプタ上にソフトウェア NVMe を追加（Add software NVMe over RDMA adapter）] と、使用する vmrdma ポートを選択します。

ステップ 5

[OK] をクリックします。

RDMA ストレージ アダプタ上の VMware NVMe の vmhba ポートは、次の例のように表示されます。

vmnic および vmrdma インターフェイスの表示

ESXi は、ホストに構成された各 nenic VNIC に対して vmnicインターフェイスを作成します。

始める前に

ネットワーク アダプタと VHBA ポートを作成します。

手順

ステップ 1

ssh を使用してホスト システムにアクセスします。

ステップ 2

esxcfg-nics -l と入力して、 ESXi 上の vmnic を一覧表示します。

esxcli network nic list

ステップ 3

esxcli rdma device list を使用して、vmrdma デバイスを一覧表示します。enic ドライバが RDMA 対応 VNIC の RDMA デバイスを ESXi に登録すると、 ESXi は vmrdma デバイスを作成し、対応する vmnic にリンクします。

ステップ 4

esxcli rdma device protocol list を使用して、vmrdma インターフェイスでサポートされているプロトコルを確認します。

enic の場合、RoCE v2 がサポートされている唯一のプロトコルであることがリストから分かります。このコマンドの出力は、VNIC の RoCEv2 設定と一致しているはずです。

ステップ 5

esxcli nvme adapter list を使用して、NVMe アダプタと、それが構成されている vmrdma および vmnic インターフェイスを一覧表示します。

ステップ 6

esxcli storage core adapter list を使用して、システム内のすべての vmhbas を一覧表示できます。RDMA を介して構成された vmhba。

（注）  

 
vmhba64 および vmhba65 の場合、ドライバのリンク状態に Online ではなく link-n/a と表示されることがあります。これは、 ESXi 7.0 Update 3 の既知の問題です。詳細については、既知の問題 - ESXi を参照してください。

NVMe ファブリックと名前空間の検出

このプロセスは、 ESXi コマンド ライン インターフェイスを使用して実行します。

始める前に

イーサネット アダプタ ポリシーを作成し、構成します。

手順

ステップ 1

vmrdma デバイスの Nonvolatile Memory Express（NVMe）をチェックして有効にします。NVMe が有効な場合は、システムによって次のメッセージが返されます。

例:

esxcli nvme fabrics enable -p RDMA -d vmrdma0

ステップ 2

次のコマンドを入力して、アレイ上の NVMe を検出します。

esxcli nvme fabrics discover -a vmhba64 -l transport_address figure with esxcli nvme fabrics discover -a vmhba64 -l 50.2.84.100
NVMe コントローラは、トランスポート タイプ、アドレス ファミリ、サブシステム タイプ、コントローラ ID、管理キュー、最大サイズ、トランスポート アドレス、トランスポート サービス ID、およびサブシステム NQN を含む出力を表示します。

NVMe コントローラに出力が表示されます。

ステップ 3

NVMe ファブリック インターコネクトを実行します。

esxcli nvme fabrics discover -a vmhba64 -l transport_address p Transport Service
ID -s Subsystem NQN

ステップ 4

NVMe コントローラ は、NVMe に接続されているコントローラのリストを表示します。NVMe 名前空間リストには、検出されたすべての NVMe ドライバが表示されます。

esxcli nvme fabrics discover -a vmhba64 -l transport_address p Transport Service
ID -s Subsystem NQN

次の例は、サーバ上で実行された esxcli discovery コマンドを示しています。

例:

[root@ESXiUCSA:~] esxcli nvme fabrics enable -p RDMA -d vmrdma0
NVMe already enabled on vmrdma0 [root@ESXiUCSA:~] esxcli nvme fabrics discover -a vmhba64 -l 50.2.84.100
Transport Type Address Family Subsystem Type Controller ID Admin Queue Max Size Transport
Address Transport Service ID Subsystem NQN
-------------- -------------- -------------- ------------- --------------------
----------------- -------------------- -------------
RDMA IPV4 NVM 65535 31 50.2.84.100
4420 nq.210-06.com.purestorage:flasharray:2dp1239anjkl484
[root@ESXiUCSA:~] esxcli nvme fabrics discover -a vmhba64 -l 50.2.84.100 p 4420 -s
nq.210-06.com.purestorage:flasharray:2dp1239anjkl484
Controller already connected

Cisco Intersight の RoCE v2 インターフェイスの削除

RoCE v2 インターフェイスを削除するには、次の手順を実行します。

手順

ステップ 1

[構成（CONFIGURE）] > [ポリシー（Policies）] に移動します。[フィルタの追加（Add Filter）] フィールドで、[タイプ：LAN 接続（Type: LAN Connectivity）] を選択します。

ステップ 2

RoCE V2 構成用に作成された適切な LAN 接続ポリシーを選択し、ポリシー リストの上部または下部にある削除アイコンを使用します。

ステップ 3

ポリシーを削除するには、[削除（Delete）] をクリックします。

ステップ 4

RoCE v2 構成を削除したら、サーバ プロファイルを再展開し、サーバを再起動します。

既知の問題

Windows

症状

条件（Conditions）

回避策

VIC 1400 シリーズ アダプタでは、Windows 2019 用の neNICドライバを Windows 2016 にインストールすること、そして Windows 2016 のドライバを Windows 2019 にインストールすることができます。ただし、これはサポートされていない構成です。

ケース 1：Windows 2019 nenic ドライバの Windows 2016 へのインストールは成功しますが、Windows 2016 では RDMA はサポートされません。

ケース 2：Windows 2016 nenic ドライバの Windows 2019 へのインストールは成功しますが、Windows 2019 では RDMA が有効状態ではなく、デフォルトの無効状態になります。

Windows 2016 および Windows 2019 のドライバ バイナリは、それに対応した名前のフォルダにあります。ビルド/アップグレードするプラットフォームに正しいバイナリをインストールしてください。

Linux

症状

条件（Conditions）

回避策

一部の Cisco Nexus 9000 スイッチで高帯域幅の NVMe トラフィックを送信すると、ストレージに接続されたスイッチポートが最大 PFC ピークに達し、バッファが自動的にクリアされないことがあります。Nexus 9000 スイッチでは、nxosコマンド「show hardware internal buffer info pkt-stats input peak」により、ポートの Peak_cell または PeakQos 値が 1000 を超えたかどうかが表示されます。

NVMeトラフィックはドロップされます。

このエラー モードからスイッチを回復します。

  1. スイッチにログインします。

  2. ストレージに接続されているポートを特定し、「shutdown」コマンドを使用してポートをシャットダウンします。

  3. 以下のコマンドを順に実行します。

    # clear counters
# clear counter buffers module 1
# clear qos statistics

  4. シャットダウンしたポートで no shutdown を実行します。

ESXi

症状

条件（Conditions）

回避策

esxcli storage core adapter list コマンドを使用して vmhba を一覧表示すると、vmhba64 および vmhba65 rdma ポートのドライバのリンク状態に、[Online] ではなく [Link-n/a] と表示されます。

（注）  

 

VMware Developer Center Partner Network（DCPN）ケース ID - 00113157

これは、 ESXi 7.0 Update 3 の既知の問題です。

なし