一般的なガイドラインと制限事項

• Cisco Intersight 管理モードは、Microsoft Windows Server 2019 以降で、Microsoft SMB Direct with RoCE v2 をサポートします。Windows Server リリースに対し、Microsoft からのすべての KB 更新を使用することを推奨します。

  （注）	RoCE v2 は Microsoft Windows サーバ 2016 ではサポートされていません。 サポートされている特定のオペレーティングシステム（OS）については、Windows の要件を参照してください。

• Microsoft SMB Direct with RoCE v2は、Cisco UCS VIC 1400 シリーズと VIC 14000、VIC 15000 シリーズ アダプタでのみサポートされています。UCS VIC 1200 シリーズおよび VIC 1300 シリーズ アダプタではサポートされていません。RoCE v2 を使用した SMB ダイレクトは、すべての UCS ファブリック インターコネクトでサポートされています。

  （注）	RoCE v1 は、Cisco UCS VIC 1400 シリーズ、VIC 14000 シリーズ、および VIC 15000 シリーズ アダプタではサポートされていません。

• Cisco のアダプタ間では、RoCE v2 設定がサポートされています。シスコのアダプタとサードパーティ製のアダプタ間の相互運用性はサポートされていません。

• RoCE v2 は、アダプタごとに 2 個の RoCE v2 対応 vNIC と、アダプタ インターフェイスごとに 4 個の仮想ポートをサポートします。これは、セット スイッチ設定とは無関係です。

• RoCE v2 対応の vNIC インターフェイスでは、Cisco Intersight Managed Mode ドメイン プロファイルで no-drop QoS システム クラスが有効になっている必要があります。

• RoCE プロパティのキュー ペア設定は、少なくとも 4 組のキュー ペア用である必要があります。アダプタあたりのキュー ペアの最大数は 2048 です。

• QoS No Drop クラス設定は、Cisco Nexus 9000 シリーズ スイッチなどのアップストリーム スイッチで適切に設定する必要があります。QoS の設定は、異なるアップストリーム スイッチ間で異なります。

• RNIC インターフェイスあたりのメモリ領域の最大数は 131072 です。

• SMB Direct with RoCE v2 は、IPv4 と IPv6 でサポートされています。

• RoCE v2 は、NVGRE、NetFlow、および VMQ 機能と同じ vNIC インターフェイスでは使用できません。

• RoCE v2 は usNIC では使用できません。

• RoCE v2 は、GENEVE オフロードでは使用できません。

MTU プロパティ：

• VIC ドライバの古いバージョンでは、MTU はスタンドアロン モードの Ciso Intersight サービス プロファイルまたは Cisco IMC vNIC MTU 設定のいずれかから導出されていました。この動作は、Cisco UCS VIC 1400 シリーズ、VIC 14000 シリーズ、および VIC 15000 シリーズでは異なっています。MTU は Windows OS ジャンボ パケットの詳細プロパティから制御されます。

• RoCE v2 の MTU 値は常に 2 の累乗で、最大制限は 4096 です。

• RoCE v2 MTU は、イーサネット MTU から導出されます。

• RoCE v2 MTU は、イーサネット MTU よりも小さい最も高い電力量です。次に例を示します。

  • イーサネット値が 1500 の場合、RoCE v2 の MTU 値は 1024 です。

  • イーサネット値が 4096 の場合、RoCE v2 の MTU 値は 4096 です。

  • イーサネット値が 9000 の場合、RoCE v2 の MTU 値は 4096 です。

Windows NDPKI の動作モード：

• Cisco のネットワーク ダイレクト カーネル プロバイダ インターフェイス (NDPKI) の実装では、モード 1 とモード 2 の 2 つの動作モードがサポートされています。Network Direct Kernel Provider Interface（NDKPI）の実装は、動作がモード 1 か モード 2 かで異なっています。モード 1 はネイティブ RDMA で、モード 2 には RDMA を使用する仮想ポートの構成が関係しています。Cisco は NDPKI Mode 3 の動作をサポートしていません。

• RoCE v2 モード 1 の推奨されるデフォルトのアダプタ ポリシーは、Win-HPN-SMBd です。

• RoCE v2 モード 2 の推奨されるデフォルトのアダプタ ポリシーは、MQ-SMBd です。

• モード 2 操作用の RoCE v2 対応 vNIC では、QoS ホスト制御ポリシーがフルに設定されている必要があります。

• モード 2 にはモード 1 が含まれています。モード 2 を動作させるには、モード 1 を有効にする必要があります。

• Windows の場合、RoCE v2 インターフェイスは、MSI および MSIx 割り込みモードを両方サポートします。デフォルトの割り込みモードは MSIx です。RoCE v2 のプロパティを使用してインターフェイスが構成されている場合、Cisco では割り込みモードを変更しないことを推奨します。

ダウングレードに関する制限事項：

• Cisco では、サポートされていないファーウェア リリースにダウングレードする前に、RoCE v2 の設定を削除することを推奨しています。設定が削除または無効になっていない場合、ダウングレードは失敗します。

Windows サーバで RoCE v2 向けコンバージド イーサネットを介した RDMA の構成と使用には、次のものが必要です。

• 最新の Microsoft 更新を適用した Windows 2019 または Windows Server 2022 または Windows 2025

• VIC ドライバ バージョン 5.4.0 以降

• Cisco UCS 1400 シリーズ アダプタを搭載した Cisco UCS M5 B シリーズおよび C シリーズ。

• Cisco UCS VIC 1400、VIC 14000、または VIC 15000 シリーズ アダプタを搭載した Cisco UCS M6 B シリーズ、C シリーズ、または X シリーズ サーバ。

• Cisco UCS VIC 1400、VIC 14000、または VIC 15000 シリーズ アダプタを搭載した Cisco UCS M7 C シリーズ、または X シリーズ サーバ。

• Cisco VIC 15000 シリーズ アダプタを搭載した Cisco UCS M8 C シリーズ、または X シリーズ サーバ。

（注）	すべての Powershell コマンドまたは詳細プロパティの構成は、明示的に説明されていない限り、Windows 2019 および 2022 全体で共通です。

一般的なガイドラインと制限事項

• Cisco では、UCS ハードウェアとソフトウェアの互換性をチェックして、NVMeoF のサポートを判断することを推奨します。NVMeoF は、Cisco UCS B シリーズ、C シリーズ、および X シリーズのサーバでサポートされています。

• RoCE v2 を使用した RDMA 上の NVMe は、Cisco UCS VIC 1400、VIC 14000、および VIC 15000 シリーズのアダプタでサポートされています。

• RoCE v2 インターフェイスを作成する際には、Cisco Intersight が提供する Linux-NVMe-RoCE アダプタ ポリシーを使用します。

• Ethernet Adapter ポリシーでは、キュー ペア、メモリ領域、リソース グループ、および優先度の設定値を、Cisco が提供するデフォルト値以外に変更しないでください。キュー ペア、メモリ領域、リソース グループ、および優先度の設定が異なると、NVMeoF の機能が保証されない可能性があります。

• RoCE v2 インターフェイスを構成する場合は、Cisco.com からダウンロードした enic と enic_rdma の両方のバイナリドライバを使用して、一致する enic と enic_rdma ドライバのセットをインストールします。inbox enic ドライバを使用して Cisco.com からダウンロードしたバイナリ enic_rdma ドライバを使用しようとしても、機能しません。

• RoCE v2 は、アダプタごとに最大 2 つの RoCE v2 対応インターフェイスをサポートします。

• NVMeoF ネームスペースからのブートはサポートされていません。

• RoCEv2 は、GENEVE オフロードでは使用できません。

• RoCEv2 は QinQ では使用できません。

• レイヤ 3 ルーティングはサポートされていません。

• RoCE v2 はボンディングをサポートしていません。

• システム クラッシュ時に crashdump を NVMeoF ネームスペースに保存することはサポートされていません。

• NVMeoF は、usNIC、VxLAN、VMQ、VMMQ、NVGRE、GENEVE オフロード、および DPDK 機能とともに使用することはできません。

• Cisco Intersight は、RoCE v2 対応の vNIC に対してファブリック フェールオーバーをサポートしません。

• Quality of Service（QoS）no drop クラス構成は、Cisco Nexus 9000 シリーズ スイッチなどのアップストリーム スイッチで適切に構成する必要があります。QoS の設定は、異なるアップストリーム スイッチ間で異なります。

• スパニング ツリー プロトコル (STP) によって、フェールオーバまたはフェールバック イベントが発生したときに、ネットワーク接続が一時的に失われる可能性があります。この問題が発生しないようにするには、アップリンクスイッチで STP を無効にします。

Linux での RoCEv2 の設定と使用には、次のものが必要です。

• InfiniBand カーネル API モジュール ib_core

• nvme-cli パッケージ

• IPv6 をサポートするための最小 VIC ファームウェア 5.1(2x) 以降

• Cisco UCS VIC 1400 または、Cisco UCS VIC 15000 シリーズ アダプタを搭載した Cisco UCS B シリーズ、Cisco UCS C シリーズ、および Cisco UCS X シリーズ サーバー

• NVMeoF 接続をサポートするストレージ アレイ

• eNIC ドライバ バージョン 4.0.0.10-802.34 以降および enic_rdma ドライバ バージョン 1.0.0.10-802.34 以降

  （注）	カーネル 6.8.0-51 汎用を搭載した Ubuntu 24.04.1 は、eNIC ドライバ バージョン 4.8.0.0-1128.4 および enic_rdma ドライバ バージョン 1.8.0.0-1128.4 から RoCE v2 のサポートを開始します。

• Red Hat Enterprise Linux 8.x、9.x および 10.x のバージョン

Interrupts

• Linux RoCEv2 インターフェイスは、MSIx 割り込みモードのみをサポートしています。RoCEv2 プロパティを使用してインターフェイスが設定されている場合、Cisco では割り込みモードを変更しないことを推奨します。

• Linux を使用した RoCEv2 を使用するための最小割り込み数は 8 です。

一般的なガイドラインと制限事項

• Cisco では、UCS ハードウェアとソフトウェアの互換性をチェックして、NVMeoF のサポートを判断することを推奨します。NVMeoF は、Cisco UCS B シリーズ、C シリーズ、および X シリーズのサーバでサポートされています。

• RoCE v2 を使用した Nonvolatile Memory Express（NVMe）over RDMA は、現在、Cisco VIC 15000 シリーズ アダプタでのみサポートされています。

• RoCE v2 インターフェイスを作成する際には、Cisco Intersight が提供する VMWareNVMeRoCEv2 アダプタ ポリシーを使用します。

• RoCE v2 インターフェイスを作成する場合は、シスコが推奨するキュー ペア、メモリ リージョン、リソースグループ、およびサービス クラスの設定を使用してください。キュー ペア、メモリ領域、リソース グループ、およびサービス クラスの設定が異なると、NVMeoF の機能が保証されない可能性があります。

• RoCE v2 は、アダプタごとに最大 2 つの RoCE v2 対応インターフェイスをサポートします。

• NVMeoF ネームスペースからのブートはサポートされていません。

• RoCEv2 は、GENEVE オフロードでは使用できません。

• RoCEv2 は QinQ では使用できません。

• SR-IOV は、VXLAN、Geneve Offload、QinQ、VMQ/VMMQ、RoCE または、usNIC を含む同じ vNIC に構成できません。

• レイヤ 3 ルーティングはサポートされていません。

• システム クラッシュ時に crashdump を NVMeoF ネームスペースに保存することはサポートされていません。

• RoCE v2 を使用する NVMeoF は、usNIC、VxLAN、VMQ、VMMQ、NVGRE、GENEVE オフロード、ENS、および DPDK 機能とともに使用することはできません。

• Cisco Intersight は、RoCE v2 対応の vNIC に対してファブリック フェールオーバーをサポートしません。

• Quality of Service（QoS）no drop クラス構成は、Cisco Nexus 9000 シリーズ スイッチなどのアップストリーム スイッチで適切に構成する必要があります。QoS の設定は、異なるアップストリーム スイッチ間で異なります。

• スパニング ツリー プロトコル（STP）を使用している場合、フェールオーバまたはフェールバック イベントが発生したときに、ネットワーク接続が一時的に失われる可能性があります。この接続性の問題が発生しないようにするには、アップリンク スイッチで STP を無効にします。

ESXiでの RoCE v2 の構成と使用には、次のものが必要です。

• VMware ESXi 7.0 U3 および 8.0 以降

• VIC ファームウェア 5.2(3x) 以降のバージョン。

• ドライバ バージョン、nenic-2.0.4.0-1OEM.700.1.0.15843807.x86_64.vib は、標準 eNIC と RDMA の両方のサポートを提供します。

• NVMeoF 接続をサポートするストレージ アレイ。

• Cisco UCS VIC 1400 または、Cisco UCS VIC 15000 シリーズ アダプタを搭載した Cisco UCS M5 以降の B または、C サーバ

• Cisco では、[UCS ハードウェアとソフトウェアの互換性（UCS Hardware and Software Compatibility）]をチェックして、SR-IOV のサポートを判断することを推奨します。

• Cisco UCS AMD®/Intel® ベースの B シリーズ、C シリーズ、および X シリーズで SR-IOV は、サポートされています。

  • 物理 NIC モードで SR-IOV は、サポートされていません。

  • SR-IOV は、SR-IOV アクセス モードをサポートしません。

• 各 vNIC は、最大 64 の仮想機能（VF）をサポートします。各 VF の構成には、最大 8 個の RQ、最大 8 個の WQ、最大 16 個の CQ、および最大 16 個の割り込みが含まれます。

• SR-IOV は、VXLAN、Geneve Offload、QinQ、VMQ/VMMQ、RoCE または、usNIC を含む同じ vNIC に構成できません。

• Cisco IMM は、VF の総数、VF ごとの受信キュー数、VF ごとの送信キュー数、VF ごとの完了キュー数、および VF ごとの割り込み数の値を制限しません。ただし、いずれかのリソースがアダプタの制限を超えると、サーバ プロファイルの展開がリソース エラーで失敗します。この場合、VF の数を減らすか、失敗したリソースの値を適切に調整します。

• vNIC およびVMs上の VF でSR -IOV を使用する ESXi ホストの場合、コールド リブートまたはウォーム リブート中にシステムが PSOD でクラッシュすることがあります。この動作は、環境での VF の処理に関連しています。

• SR-IOV と同時に一部の機能を有効にすると、サーバ プロファイルの展開が失敗します。vNIC にSR-IOV を構成する場合は、次の機能が無効になっていることを確認してください。

  • VMQ

  • usNIC

  • Geneveオフロード

  • RoCE

  • Q-in-Q トンネリング

  • NVGRE

  • VXLAN

  次の機能は SR-IOV でサポートされていません。

  • aRFS

  • iSCSI ブート

  • DPDK（ホストに Linux OS がある場合）

  • 高精度時間プロトコル（PTP）

  （注）	SR-IOV インターフェイスは、MSIx 割り込みモードをサポートしています。

ESXi で SR-IOV を構成して使用するには、次のものが必要です：

• Cisco VIC ファームウェア バージョン 5.3（2.32）以降

• VMware ESXi 7.0 U3、8.0、9.0 以降

• RHEL 8.7、9.0、および 10.0 以降を搭載したVMs

• ESXi 7.0 U3 の場合は Cisco VMware nENIC ドライバ バージョン 2.0.10.0、ESXi 8.0 U3 の場合は 2.0.11.0、ESXI 9.0 以降の場合は 2.0.18.0

• RHEL 8.7 および 9.0 以降の場合は Cisco RHEL ENIC ドライバ バージョン 4.4.0.1-930.10

• RHEL 9.6 および 10.0 以降の Cisco RHEL ENIC ドライババージョン 4.9.0.1-1160.11

（注）	SR-IOV は、Cisco UCS VIC 1200 および Cisco UCS VIC 1300 シリーズ アダプタではサポートされていません。

• Cisco では、[UCS ハードウェアとソフトウェアの互換性（UCS Hardware and Software Compatibility）]をチェックして、SR-IOV のサポートを判断することを推奨します。

• AMD^®/Intel^® ベースの Cisco UCS C シリーズ、 B シリーズ、および X シリーズで SR-IOV は、サポートされています。

• 物理 NIC モードで SR-IOV は、サポートされていません。

• SR-IOV は、SR-IOV アクセス モードをサポートしません。

• SR-IOV は、VXLAN、Geneve Offload、QinQ、VMQ/VMMQ、RoCE または、usNIC を含む同じ vNIC に構成できません。

• SR-IOV VF で aRFS は、サポートされていません。

• SR-IOV VF では iSCSI ブートは、サポートされていません。

• ホストが Linux OS を持つ場合、SRIOV VF 上の DPDK は、サポートされていません。

• SR-IOV インターフェイスは、MSIx 割り込みモードをサポートしています。

• SR-IOV VF では、Precision Time Protocol（PTP）はサポートされません。

• 複数の vNIC が SR-IOV で構成され、 VMs が仮想機能（VF）で列挙される場合、特にコールド ブートまたはウォーム ブートが実行される場合、システムで PSOD が発生することがあります。Linux オペレーティング システムの場合、システムの再起動後、VF は再起動後も保持されないため、再構成する必要があります。

Linux で SR-IOV を構成して使用するには、次のものが必要です：

• ホスト OS：Red Hat Enterprise Linux 8.10、9.4 以降、または 10.0 以降、Ubuntu 22.0.4.2 LTS 以降

• ゲスト OS：Red Hat Enterprise Linux 8.10、9.4 以降、10.0 以降、Ubuntu 22.0.4.2 LTS 以降

• ホストにインストールされている仮想化パッケージ

• eNIC ドライバ バージョン 4.7.0.5-1076.6 以降

• Cisco UCS Manager リリース 4.3（5a）以降

• Cisco VIC ファームウェア 5.3（4.75）以降