Cisco Nexus 9000 スイッチを使用した AI インフラストラクチャ

 

NVIDIA HGX^™ H200 および NVIDIA Spectrum^™-X を搭載した Cisco UCS^® C885A M8 ラック サーバを特徴としています

はじめに

Cisco^® エンタープライズ リファレンス アーキテクチャ（ERA）は、オンプレミスの Cisco Nexus Dashboard プラットフォームによって管理されるネットワーキング AI クラスタ用の Cisco Nexus^® 9000 シリーズ スイッチに基づいています。これは、NVIDIA Spectrum-X ネットワーキングを備えた NVIDIA HGXH200 向け NVIDIA エンタープライズ リファレンス アーキテクチャに準拠しています。

Cisco Nexus 9000 シリーズ スイッチは、Cisco Silicon One ^® および Cisco Cloud Scale アーキテクチャを利用して、AI およびハイパフォーマンス コンピューティング（HPC）ワークロードに高速で確定的、低遅延、および電力効率の高い接続を提供します。Cisco NX-OS オペレーティング システムの複数のフォーム ファクタ、オプティクス、および豊富なソフトウェア機能を使用できるため、Nexus 9000 スイッチは、フロントエンド、ストレージ、バックエンド、およびアウトオブバンド（OOB）管理ネットワークに一貫性のあるエクスペリエンスを提供します（図 1 を参照）。

Cisco Nexus Dashboard は、Nexus 9000 スイッチベースのファブリックを管理するための運用および自動化プラットフォームです。組み込みのテンプレートを使用して構成を簡素化することで、Nexus 9000 スイッチのデータ プレーン機能を補完します。輻輳、ビットエラー、トラフィック バーストなどのネットワークの正常性の問題をリアルタイムで検出し、自動的に異常としてフラグを立てます。これらの問題は、一般的に使用されるツール（ServiceNow や Ansible など）との統合を使用してより迅速に解決でき、AI クラスタのネットワークを組織の既存のワークフローと整合させることができます。

Nexus Dashboard シリーズ プラットフォームによって管理される AI クラスタのネットワーク用の Cisco Nexus 9000 スイッチ

ハードウェア

Cisco UCS C885A M8 ラック サーバ

Cisco UCS C885A M8 ラック サーバは、大規模言語モデル（LLM）トレーニング、ファインチューニング、推論、取得拡張生成（RAG）などの　AI ワークロード向けに、大規模でスケーラブルなパフォーマンスを提供する 8RU であり、高密度 GPU サーバ（ノード）です。C-G-N-B 命名規則は、2-8-10-40（C-G-N-B）内の NVIDIA HGX リファレンス アーキテクチャに基づいてが次のように定義されています：

●     C：ノード内の CPU の数

●     G：ノード内の GPU の数

●     N：以下のように分類されているネットワーク アダプタ（NIC）の数

◦    North-south：フロントエンド ネットワークを通してノードと外部システムの間の通信。

◦    East-west：バックエンド ネットワークを通してクラスタ内の通信。

●     B：GPU あたりの平均ネットワーク帯域幅（ギガビット/秒（Gb/s）単位）

サーバ内の 8x NVIDIA H200 SXM GPU は、高速 NVLink インターコネクトを使用してインターコネクトされています。他の物理サーバーへの GPU 接続は、East-West（EW）トラフィックに 8 個の NVIDIA BlueField-3 B3140H SuperNIC を使用して実行されます。North-South（NS）トラフィックでは、1x NVIDIA BlueField-3 B3220 DPU NIC（2x200G モード）を使用できます。各サーバには 2 つの AMD EPYC CPU、最大 3 TB の DDR DRAM、30 TB の NVMe ローカル ストレージ、およびホットスワップ可能なファン トレイと電源が含まれます。サーバの詳細な仕様については、付録 A を参照してください。

NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバ

Cisco UCS C885A M8 ラック サーバが図に使用されますが、この ERA は、2-8-10-400（CGNB）構成の NVIDIA HGX に基づく他のサーバに適用されます。

Cisco Nexus 93108TC-FX3 スイッチ

Cisco Nexus 93108TC-FX3 スイッチ（図 3 を参照）は、48 個の 100 Mbps または 1/10 Gbps 10GBASE-T ポートと、1RU フォームファクタで 6 個の 1/10/25/40/100 Gbps QSFP28 ポートを提供します。このスイッチは、管理ネットワークで使用できます。

Cisco Nexus 93108TC-FX3 スイッチ

Cisco Nexus 9332D-GX2B スイッチ

Cisco Nexus 9332D-GX2B スイッチ（図 4 を参照）は、1RU フォーム ファクタで 32 個の 400G QSFP-DD ポートに 10/25/50/100/200 Gbps ブレークアウト サポートを提供します。このスイッチは、リーフまたはスパイン ロールで使用できます。

Cisco Nexus 9332D-GX2B スイッチ

Cisco Nexus 9364E-SG2 スイッチ

Cisco Nexus 9364E-SG2 スイッチ（図 5 を参照）は、QSFP-DD と OSFP の両方のポート タイプで使用可能な 2RU フォーム ファクタで、64 個の 800G ポートまたは 128 個の 400G ポートを提供します。このスイッチは、リーフまたはスパイン ロールで使用できます。

Cisco Nexus 9364E-SG2 スイッチ

Cisco UCS C225 M8 ラック サーバ

Cisco C225 M8 ラック サーバは 1RU の汎用サーバで、アプリケーション サーバ、サポート サーバ、Kubernetes（K8s）や Slurm の制御ノード、さらにはストレージ プラットフォームなど、さまざまなロールで使用できます。たとえば、これらのサーバは、ストレージ アーキテクチャの項で説明されているように、VAST ストレージ ソリューションを実行するためにも使用されます。

Cisco UCS C225 M8 ラック サーバ

ネットワーキング トポロジ

Cisco Nexus 9000 シリーズ スイッチは、さまざまなタイプのデータセンター ファブリック設計に使用できます。ただし、NVIDIA ERA と密接に連携する設計のみが、このリファレンス アーキテクチャの一部と見なされます。

NVIDIA ARA と同様に、この Cisco ARA では、最大 128 の NVIDIA 8 GPU HGX ノードまで拡張して、合計 1024 H200 GPU をサポートできます。4 ノード スケーラブル ユニット（SU）のモジュラ設計を使用し、最大 32 の SU で 128 ノードに対応します。各 SU は、ネットワーク デバイスのポート アベイラビリティ サイズに接続された個別の計算エンティティです。SU を複製することで、環境の規模をより簡単に調整できます。

以下に示すように、Cisco のデザインの特定の側面に対応するために、マイナーな変更が加えられています：

●     Cisco UCS C885A M8 ラックサーバー x86 管理ポートは、1G ではなく 10G の速度を使用します。

●     VAST ストレージ ソリューションには、ストレージ ネットワークへの少なくとも8x400G リンクが必要です。ただし、この要件は、別の NVIDIA 認定ストレージ パートナーからのソリューションが使用された場合に変わる可能性があります。

●     NVIDIA BlueField-3 SuperNIC の BMC ポートは接続されず、x86 ホストから管理されます。ただし、NVIDIA BlueField-3 DPU の BMC ポートは接続されます。

NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバのトポロジ

図 7 は、NVIDIA HGX を使用した最大 12 台の Cisco UCS C885A M8 ラック サーバーのクラスタ トポロジを、3 つの SU にグループ化して示しています。この小規模では、Cisco Nexus 9364E-SG2 スイッチのペアが、フロントエンド、バックエンド、ストレージ、管理ネットワークを統合するのに十分なポート密度を提供します。このコンバージェンスにより、VLAN を使用した論理的な分離を維持しながら、許容範囲とシンプルさが向上します。

 

NVIDIA HGX を搭載した 12 台の Cisco UCS C885A M8 ラック サーバ用エンタープライズ RA（96 GPU）

表 1 に、NVIDIA HGX を使用した 12 ノード Cisco UCS C885A M8 ラック サーバ クラスタの部品表（BOM）を示します。

表 1.                    NVIDIA HGX （96 GPU）を搭載した 12 ノード Cisco UCS C885A ラック サーバ クラスタの BOM

 

Nexus 9364E-SG2-O スイッチは、800G から 400G 接続用に 2x400G MPO-12 コネクタを備えた OSFP-800G-DR8 ツイストポート トランシーバ（図 8 を参照）を使用します。

Cisco OSFP-800G-DR8 トランシーバ モジュール

各接続は、ブレークアウト ケーブルを必要とせずに独立して 400G をサポートします（図 9 を参照）。

Cisco OSFP-800G-DR8 プラグホール ビュー

図 7 に、NVIDIA HGX を使用した最大 16 の Cisco UCS C885A M8 ラック サーバ のクラスタ トポロジを示します。EW ネットワークは、レール 1 から 4 が左側の EW スパインに、レール 5 から 8 が右側の EW スパインに配置されています。

 

NVIDIA HGX を搭載した 16 台の Cisco UCS C885A M8 ラック サーバ用エンタープライズ RA（128 GPU）

表 2 に、NVIDIA HGX を使用した 16 ノード Cisco UCS C885A M8 ラック サーバ クラスタの BOM を示します。

表 2.                    NVIDIA HGX （128 GPU）を搭載した 16 ノード Cisco UCS C885A M8 ラック サーバ クラスタの BOM

クラスタ サイズが 16 を超える場合、East-West コンピューティング ネットワークはスパイン リーフ ファブリックに拡張されます。クラスタ サイズが最大の場合、128 Cisco UCS C885A M8 ラック サーバ クラスタの図 11 に示すように、north-south ネットワークもスパインリーフになります。E-W ネットワークは、各 EW リーフ 1〜8 にある各レール 1〜8 とレールに沿っています。

 

NVIDIA HGX を搭載した 128 台の Cisco UCS C885A M8 ラック サーバ用エンタープライズ RA（1024 GPU）

クラスタ ファブリックのサイジング テーブル

Cisco UCS C885A M8 ラック サーバでサイジング

表 3 と表 4 は、NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバ、8 EW B3140H NVIDIA BlueField-3 基の SuperNIC と 2 NS B3240 NVIDIA BlueField-3 DPU NIC を使用したさまざまなクラスタ サイズに必要なさまざまなユニットの数量を示しています。

表 3.                    NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバの East-west コンピューティング ファブリック テーブル：スイッチ、トランシーバ、およびケーブル数

表 4.                    NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバの North-south コンピューティング ファブリック テーブル：スイッチ、トランシーバ、およびケーブル数

オプティクスおよびケーブル

第 1 段階では、表 5 に示すオプティクスおよびケーブルをシステム内のさまざまなデバイスで使用します。

表 5.                    さまざまなデバイスでサポートされるオプティクスおよびケーブルのリスト

ストレージ アーキテクチャ

Cisco は VAST Data と協力して、EBox アーキテクチャの Cisco UCS C225 M8 ラック サーバ上にストレージ ソフトウェアをオンボードします。VAST データは、サーバを段階的に追加することでストレージ容量と読み取り/書き込みパフォーマンスを水平方向にスケーリングできる「分散および共有（DASE）アーキテクチャ」をサポートします。AI データ パイプラインのすべてのステージをサポートするために、NFS、S3、および SMB などのすべてのプロトコル サーバが有効になっています。

図 12 は、2 つのストレージ リーフを備えた単一の EBox のストレージ サーバと BOM の全体的なネットワーク接続を示しています。データ パスの場合、各サーバは 2 つの NVIDIA BlueField-3 B3220L 2x200G NICを使用します。NIC0 はサーバ内の内部ネットワークに使用され、他のサーバからストレージ ドライブにアクセスできるようにします。 そして NIC1 は、NFS、S3、および SMB などのクライアント トラフィックをサポートする外部ネットワークに使用されます。注： すべてのサーバがすべてのリーフに接続するため、内部ネットワーク トラフィックはリーフでローカルに切り替えられます（スパインには到達しません）。クライアントが外部トラフィックに面する場合、EBox ごと、スパイン上の最小要件は 11x 200G または 6x 400G です。1G BMC および 10G x86 管理ポートは管理リーフ スイッチに接続されます。

ストレージ サブシステムのブロック図と BOM

クラスタ サイズが大きくなると、ストレージ リーフ スイッチと Ebox の数は、クラスタのサイジング テーブルにあるとおりに直線的に増加します。

VAST データに加えて、他の NVIDIA 認定ストレージ パートナーもこのリファレンス アーキテクチャ内で使用できます。

ソフトウェア

Cisco NX-OS と Nexus Dashboard

前述のように、Cisco NX-OS は Nexus 9000 シリーズ スイッチで実行されるオペレーティング システムですが、Nexus Dashboard はファブリックを管理するための運用および自動化プラットフォームです。

Cisco NX-OS および Nexus Dashboard では、次のことは行いません：

●     何らかの方法でコンピューティングまたはストレージを構成する

●     サーバの BMC またはホスト CPU ソフトウェア ライフサイクルを管理する

●     NVIDIA BlueField-3 NIC でカーネルおよびディストリビューションを管理する

サーバの構成および管理機能は、他の方法で管理する必要があります（Cisco Intersight^® は、オプションです）。これらのツールの展開および使用は、お客様側で全責任を負います。ネットワーク コントローラの適切な範囲であることに加えて、この懸念事項の分離は、ネットワーク運用をコンピューティングとストレージからセグメント化するという主要な運用パラダイムと合致しています。

NVIDIA AI Enterprise

このリファレンス アーキテクチャは、NVIDIA AI Enterprise を含みます。そして、NVIDIA-certified Cisco UCS C885A M8 ラック サーバは、実稼働対応の AI エージェント、生成 AI、コンピュータ ビジョン、音声 AI などの開発と展開を合理化するクラウドネイティブなソフトウェア プラットフォームの NVIDIA HGX NVIDIA AI Enterprise でサポートされています。エンタープライズ レベルのセキュリティ、サポート、および API の安定性により、プロトタイプから実稼働へのスムーズな移行が保証されます。

NVIDIA NIM^™ マイクロサービスは、オープンソース コミュニティ モデル、カスタム モデル、および NVIDIA AI Foundation モデルの実稼働展開のための完全な推論スタックを提供します。スケーラブルで最適化された推論エンジンと使いやすさにより、モデルが加速し、TCO が改善され、実稼働展開が迅速化されます。

コンピューティング サーバ スタック

クラスタ ソリューション全体が、Ubuntu Linux 22.04 LTS および NVIDIA Cloud Native Stack（CNS）バージョン 12.3 を実行しているコンピューティング ノードで検証されています。これには、Kubernetes（K8）環境内の互換性のあるドライバ、GPU、およびネットワーク オペレータが含まれます。Slurm バージョン 24.11.1 は、ワークロード オーケストレーション エンジンとして検証されています。NVIDIA® NGC^™ カタログの下にあるコンテナは、Kubernetes と Slurm の両方で起動できます。

コンピューティング サーバ ソフトウェア スタック

お客様は、NVIDIA が公開している NVIDIA AI Enterprise、ドライバ、および CNS 互換性マトリックスに従って、OS ディストリビューションとソフトウェア バージョンを選択して実行できます。

セキュリティ

Cisco のネットワーク セキュリティおよびオブザーバビリティ サービスは、必要に応じて、クラスタのさまざまな ハードウェア（スイッチ、ホスト、NIC）およびソフトウェア コンポーネントに統合できます。

テスト/認定

管理プレーン、コントロール プレーン、およびコンピューティング、ストレージとネットワーキングを組み合わせたデータ プレーンのあらゆる側面を考慮し、全体的なソリューションを徹底的にテストしています。また、HPC Benchmark、IB PerfTest、NCCL Test、MLCommons Training、Inference ベンチマークなど、多数のベンチマークテストスイートも実行され、パフォーマンスを評価し、調整を支援しています。NVIDIA AI エンタープライズ エコシステムのさまざまな要素とエンティティが投入およびテストされ、微調整、推論、および RAG に関する多数の企業中心のお客様のユース ケースを評価します。ネットワークを使用したシングル ノードおよびマルチ ノードの両方で NVIDIA 認定システム のテスト スイート バージョン 3.5 を実行した結果、Cisco UCS C885A M8 ラック サーバは合格しました。

要約

Cisco Nexus 9000 シリーズ スイッチと Nexus Dashboard プラットフォームは、NVIDIA アクセラレーション コンピューティングを利用した AI インフラストラクチャに、スケーラブルで管理が容易な高パフォーマンスのネットワーキングを提供します。

付録 A：コンピューティング サーバの仕様

表 6 に、この era で GPU ノードとして使用する Cisco UCS C885A M8 ラックサーバーの部品番号 UCSC-885A-M8-H12 の仕様を示します。

表 6.                    Cisco UCS C885A M8 8RU ラック サーバ

付録 B：制御ノード サーバの仕様

汎用性の高い Cisco UCS C225 M8 1RU ラック サーバは、Slurm および Kubernetes（K8）、等のサポート サーバ（制御ノードサーバとも呼ばれます）として使用できます。表 7 は、サーバの最小仕様を表示します。

表 7.                    Cisco UCS C225 M8 1RU ラック サーバ

2 ソケット CPU を使用する展開では、B3220 DPU NIC とともに Cisco UCS C245 M8 2RU ラック サーバ バリアントを使用できます。

参考資料

●     NVIDIA AI エンタープライズ ソフトウェア リファレンス アーキテクチャ：
https://docs.nvidia.com/ai-enterprise/reference-architecture/latest/index.html

●     NVIDIA HGX：https://www.nvidia.com/en-us/data-center/hgx

●     NVIDIA Spectrum-X ネットワーキング: https://www.nvidia.com/en-us/networking/spectrumx/

●     Cisco Nexus 9000 シリーズ スイッチ：
https://www.cisco.com/site/us/en/products/networking/cloud-networking-switches/nexus-9000-switches/index.html

●     Cisco Nexus Dashboard：
https://www.cisco.com/site/jp/ja/products/networking/cloud-networking/nexus-platform/index.html

マニュアルの変更履歴