Linux での RoCEv2 を使用したファブリック上の NVMe の設定

Linux 上で RoCEv2 を持つファブリック上の NVMe を使用する際のガイドライン

一般的なガイドラインと制限事項

Cisco UCS Manager リリース 4.1.x 以降のリリースでは、Linux Z-Kernel 3.10.0 957.27.2 を使用した Redhat Enterprise Linux 7.6 で RoCEv2 がサポートされています。

（注）

追加の Linux 配信は、以降の UCS Manager 4.1(1x) リリースでサポートされます。

Cisco では、UCS Manager リリースに固有の UCS ハードウェアとソフトウェアの互換性をチェックして、NVMeoF のサポートを確認することを推奨します。NVMeoF は、UCS M5 以降の B シリーズおよび C シリーズサーバでサポートされています。
RoCEv2 を使用した RDMA 上の NVMe は、第 4 世代のCisco UCS VIC 1400 シリーズアダプタでのみサポートされています。RDMA 上の NVMe は、UCS 6324 ファブリックインターコネクトまたは UCS VIC 1200 シリーズおよび 1300 シリーズアダプタではサポートされていません。UCS 6324 ファブリックインターコネクトを除くすべてのファブリックインターコネクトでサポートされています。

RoCEv2 インターフェイスを作成するとき、Cisco UCS Manager 提供 Linux-NVMe-RoCE アダプタポリシーを使用します。

（注）

RoCEv2 では、デフォルトの Linux アダプタポリシーは使用しないでください。RoCEv2 インターフェイスは、OS では作成されません。

RoCEv2 インターフェイスを設定する場合は、Cisco.com からダウンロードした enic と enic_rdma の両方のバイナリドライバを使用して、一致する enic と enic_rdma ドライバのセットをインストールします。inbox enic ドライバを使用して Cisco.com からダウンロードしたバイナリ enic_rdma ドライバを使用しようとしても、機能しません。
RoCEv2 は、アダプタごとに最大 2 個の RoCEv2 対応インターフェイスをサポートします。
NVMeoF ネームスペースからのブートはサポートされていません。
レイヤ 3 ルーティングはサポートされていません。
RoCEv2 は、結合をサポートしていません。
システムクラッシュ時に crashdump を NVMeoF ネームスペースに保存することはサポートされていません。
NVMeoF は、usNIC、VMFEX、VxLAN、VMQ、VMMQ、NVGRE、および DPDK の機能では使用できません。
NetFlow モニタリングは、 RoCEv2 インターフェイスではサポートされません。
Linux-NVMe-RoCE ポリシーでは、キューペア、メモリ領域、リソースグループ、および優先度の設定値を、Cisco が提供するデフォルト値以外に変更しないでください。キューペア、メモリ領域、リソースグループ、および優先度の設定が異なると、NVMeoF の機能が保証されない可能性があります。
QoS No Drop クラス設定は、Cisco Nexus 9000 シリーズスイッチなどのアップストリームスイッチで適切に設定する必要があります。QoS の設定は、異なるアップストリームスイッチ間で異なります。
アップストリームスイッチの VLAN および QoS ポリシーで、MTU サイズを正しく設定します。
スパニングツリープロトコル (STP) によって、フェールオーバまたはフェールバックイベントが発生したときに、ネットワーク接続が一時的に失われる可能性があります。この問題が発生しないようにするには、アップリンクスイッチで STP を無効にします。
UCS Manager は、RoCEv2 対応の vNIC に対してファブリックフェールオーバーをサポートしません。

Interrupts

Linux RoCEv2 インターフェイスは、MSIx 割り込みモードのみをサポートしています。RoCEv2 プロパティを使用してインターフェイスが設定されている場合、Cisco では割り込みモードを変更しないことを推奨します。
Linux を使用した RoCEv2 を使用するための最小割り込み数は 8 です。

ダウングレードに関する制限事項：

Cisco では、サポートされていない RoCEv2 リリースにダウングレードする前に、RoCEv2 の設定を削除することを推奨しています。

Linux の要件

Linux での RoCEv2 の設定と使用には、次のものが必要です。

Z-Kernel 3.10.0-957.27.2 を搭載した Red Hat Enterprise Linux 7.6 以降

（注）

追加の Linux 配信は、以降のリリースでサポートされる予定です。

InfiniBand カーネル API モジュール ib_core
UCS Manager リリース 4.1.1 以降
VIC ファームウェア 5.1(1x) 以降
Cisco UCS VIC 14xx シリーズアダプタを搭載した UCS M5 B シリーズまたは C シリーズサーバ
eNIC ドライババージョン 4.0.0.6-802-21 以降 (4.1.1 リリースパッケージ付属)
enic_rdma ドライババージョン 1.0.0.6-802-21 またはそれ以降 (4.1.1 リリースパッケージに付属)
NVMeoF 接続をサポートするストレージアレイ

UCS Manager での NVMeoF の RoCEv2 設定

UCS Manager で RoCEv2 インターフェイスを設定するには、次の手順を実行します。

手順

ステップ 1	[Navigation] ペインで [Servers] をクリックします。
ステップ 2	[Servers] > [Service Profiles] の順に展開します。
ステップ 3	ポリシーを作成する組織のノードを展開します。システムにマルチテナント機能が備えられていない場合は、[root] ノードを展開します。
ステップ 4	vNICs をクリックして、作業領域の [ネットワーク (Network)] タブに移動します。下の手順に従い vNIC ポリシーを変更します。 [ネットワーク (Network)] タブで、希望の vNIC までスクロールして、[変更 (Modify)] をクリックします。ポップアップダイアログボックスが表示されます。[アダプタパフォーマンスプロファイル (Adapter Performance Profile)] 領域までスクロールし、アダプタポリシーのドロップダウン領域をクリックします。ドロップダウンリストから [Linux-NVMe-RoCE] を選択します。 [OK] をクリックします。
ステップ 5	[Save Changes] をクリックします。
ステップ 6	[Reboot] を選択します。

SRIOV BIOS ポリシーの有効化

Linux カーネルで IOMMU ドライバを有効にする前に、次の手順を実行して、RoCEv2 vNIC を使用してサーバのサービスプロファイルを設定し、SRIOV BIOS ポリシーを有効にします。

手順

ステップ 1	[ナビゲーション (Navigation)] ペインで [サーバ (Servers)] をクリックします。
ステップ 2	[サーバ (Servers)] > [サービスプロファイル (Service Profiles)] を展開します。
ステップ 3	ポリシーを作成する組織のノードを展開します。システムにマルチテナント機能が備えられていない場合は、[root] ノードを展開します。
ステップ 4	SRIOV を有効にするサービスプロファイルノードを選択します。
ステップ 5	[作業 (Work)] ペインで、[ポリシー (Policy)] を選択します。
ステップ 6	[ポリシー (Policies)] 領域で、[BIOS ポリシー (BIOS Policy)] を展開します。
ステップ 7	[BIOS ポリシー (BIOS Policy)] ドロップダウンリストから、デフォルトの SRIOV ポリシーを選択します。
ステップ 8	[Save Changes] をクリックします。

ホストシステムで NVMeoF の RoCEv2 の設定

始める前に

RoCEv2 vNIC および SRIOV 対応 BIOS ポリシーを使用して、サーバのサービスプロファイルを設定します。

手順

ステップ 1	Open the `/etc/default/grub` file for editing.
ステップ 2	次のサンプルファイルに示すように、 `GRUB_CMDLINE_LINUX` の行の末尾に `intel_iommu = on` を追加します。 `sample /etc/default/grub configuration file after adding intel_iommu=on: # cat /etc/default/grub GRUB_TIMEOUT=5 GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)" GRUB_DEFAULT=saved GRUB_DISABLE_SUBMENU=true GRUB_TERMINAL_OUTPUT="console" GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap biosdevname=1 rhgb quiet intel_iommu=on GRUB_DISABLE_RECOVERY="true"`
ステップ 3	ファイルを保存した後、次のコマンドを実行して新しい grub.cfg ファイルを生成します。レガシーブートの場合： `# grub2-mkconfig -o /boot/grub2/grub.cfg` UEFI ブートの場合： `# grub2-mkconfig -o /boot/grub2/efi?EFI/redhat/grub.cfg`
ステップ 4	サーバをリブートします。IOMMU を有効にした後で、変更を反映するためにサーバを再起動します。
ステップ 5	出力ファイルをチェックして、サーバが `intel_iommu = on` オプションで起動していることを確認します。 `cat /proc/cmdline \| grep iommu` 出力の最後に含まれることに注意してください。

次のタスク

enic および enic_rdma ドライバをダウンロードします。

Cisco enic および enic_rdma ドライバのインストール

RHEL 7.6 がインストールされ、サーバがカーネルバージョン 3.10.0-957.27.2 以降および InfiniBand カーネル API モジュール ib_core で更新されている必要があります。

enic_rdma ドライバには enic ドライバが必要です。enic および enic_rdma ドライバをインストールする場合は、Cisco.com で一致する enic および enic_rdma ドライバのセットをダウンロードして使用してください。inbox enic ドライバを使用して Cisco.com からダウンロードしたバイナリ enic_rdma ドライバを使用しようとしても、機能しません。

手順

ステップ 1

enic および enic_rdma rpm パッケージをインストールします。

# rpm -ivh kmod-enic-<version>.x86_64.rpm kmod-enic rdma-<version>.x86_64.rpm

ステップ 2

enic_edma ドライバはインストールされていますが、動作中のカーネルでロードされません。サーバを再起動して、実行中のカーネルに enic_rdma ドライバをロードします。

ステップ 3

enic_rdma ドライバと RoCE v2 インターフェイスのインストールを確認します。

# dmesg | grep enic_rdma
[    4.025979] enic_rdma: Cisco VIC Ethernet NIC RDMA Driver, ver 1.0.0.6-802.21 init
[    4.052792] enic 0000:62:00.1 eth1: enic_rdma: IPv4 RoCEv2 enabled
[    4.081032] enic 0000:62:00.2 eth2: enic_rdma: IPv4 RoCEv2 enabled

ステップ 4

vme-rdma カーネルモジュールをロードします。

# modprobe nvme-rdma

サーバの再起動後に、nvme-rdma カーネルモジュールがアンロードされます。サーバの再起動ごとに nvme-rdma カーネルモジュールをロードするには、次を使用して nvme_rdma conf ファイルを作成します。

# echo nvme_rdma > /etc/modules-load.d/nvme_rdma.conf

（注）

インストール後の enic_rdma の詳細については、 rpm -q -l kmod-enic_rdma コマンドを使用して README ファイルを抽出します。

次のタスク

ターゲットを検出し、NVMe ネームスペースに接続します。システムでストレージへのマルチパスアクセスが必要な場合は、「デバイスマッパーマルチパスの設定」のセクションを参照してください。

NVMe ターゲットの検出

NVMe のターゲットを検出し、NVMe ネームスペースを接続するには、次の手順を使用します。

始める前に

まだインストールされていない場合は、 nvme cli バージョン 1.6 以降をインストールします。

RoCEv2 インターフェイスで IP アドレスを設定し、インターフェイスがターゲット IP に対して ping を実行できることを確認します。

手順

ステップ 1

/etc で nvme フォルダを作成し、ホスト nqn を手動で生成します。

# mkdir /etc/nvme
# nvme gen-hostnqn > /etc/nvme/hostnqn

ステップ 2

settos.sh ファイルを作成し、IB フレームでプライオリティフロー制御 (PFC) を設定するスクリプトを実行します。

（注）

NVMeoF トラフィックの送信に失敗しないようにするには、サーバを再起動するごとににこのスクリプトを作成して実行する必要があります。

# cat settos.sh
#!/bin/bash
for f in `ls /sys/class/infiniband`;
do
        echo "setting TOS for IB interface:" $f
        mkdir -p /sys/kernel/config/rdma_cm/$f/ports/1
        echo 186 > /sys/kernel/config/rdma_cm/$f/ports/1/default_roce_tos
done

ステップ 3

次のコマンドを入力して、NVMe ターゲットを検出します。

nvme discover --transport=rdma --traddr=<IP address of transport target port>

例えば、50.2.85.200 でターゲットを検出するには、次のようにします。

# nvme discover --transport=rdma --traddr=50.2.85.200

Discovery Log Number of Records 1, Generation counter 2
=====Discovery Log Entry 0======
trtype:  rdma
adrfam:  ipv4
subtype: nvme subsystem
treq:    not required
portid:  3
trsvcid: 4420
subnqn:  nqn.2010-06.com.purestorage:flasharray.9a703295ee2954e
traddr:  50.2.85.200
rdma_prtype: roce-v2
rdma_qptype: connected
rdma_cms:    rdma-cm
rdma_pkey: 0x0000

ステップ 4

次のコマンドを入力して、検出された NVMe ターゲットに接続します。

nvme connect --transport=rdma --traddr=<IP address of transport target port>> -n <subnqn value from nvme discover>

例えば、50.2.85.200 のターゲットと上記の subnqn 値を検出するには、次の手順を実行します。

# nvme connect --transport=rdma --traddr=50.2.85.200 -n nqn.2010-06.com.purestorage:flasharray.9a703295ee2954e

ステップ 5

nvme list コマンドを使用して、マッピングされたネームスペースを確認します。

# nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     09A703295EE2954E     Pure Storage FlashArray                  72656       4.29  GB /   4.29  GB    512   B +  0 B   99.9.9
/dev/nvme0n2     09A703295EE2954E     Pure Storage FlashArray                  72657       5.37  GB /   5.37  GB    512   B +  0 B   99.9.9

デバイスマッパーマルチパスの設定

システムが設定済みまたはデバイスマッパーマルチパス (DM マルチパス) を使用して設定されている場合は、次の手順を使用してデバイスマッパーマルチパスを設定します。

手順

ステップ 1	まだインストールされていない場合は、`device-mapper-multipath` パッケージをインストールします。
ステップ 2	Multipathd を有効にして開始します。 `# mpathconf --enable --with_multipathd y`
ステップ 3	etc/multipath.conf ファイルを編集して、次の値を使用します。
ステップ 4	更新されたマルチパスデバイスマップを使用してフラッシュします。 `# multipath -F`
ステップ 5	マルチパスサービスを再起動します。 `# systemctl restart multipathd.service`
ステップ 6	マルチパスデバイスを再スキャンします。 `# multipath -v2`
ステップ 7	マルチパスステータスを確認します。 `# multipath -ll`

UCS Manager を使用した RoCEv2 インターフェイスの削除

RoCE v2 インターフェイスを削除するには、次の手順を実行します。

手順

ステップ 1	[Navigation (ナビゲーション)] ペインで [Servers (サーバ)] をクリックします。
ステップ 2	[サーバ (Servers)] > [サービスプロファイル (Service Profiles)] を展開します。
ステップ 3	ポリシーを作成する組織のノードを展開します。システムにマルチテナント機能が備えられていない場合は、[root] ノードを展開します。
ステップ 4	vNICs をクリックして、作業領域の [ネットワーク (Network)] タブに移動します。下の手順に従い vNIC ポリシーを変更します。 [ネットワーク (Network)] タブで、希望の vNIC までスクロールして、[変更 (Modify)] をクリックします。ポップアップダイアログボックスが表示されます。[アダプタパフォーマンスプロファイル (Adapter Performance Profile)] 領域までスクロールし、アダプタポリシーのドロップダウン領域をクリックします。ドロップダウンリストから、[Linux] を選択します。 [OK] をクリックします。
ステップ 5	[Save Changes] をクリックします。

コンバージドイーサネット (RoCE) バージョン 2 リリース 4.1 上の RDMA の Cisco UCS Manager 設定ガイド

偏向のない言語

翻訳について

Book Title

コンバージドイーサネット (RoCE) バージョン 2 リリース 4.1 上の RDMA の Cisco UCS Manager 設定ガイド

Chapter Title