Cisco Nexus 9000 スイッチを使用した AI インフラストラクチャ

 

はじめに

Cisco^® エンタープライズ リファレンス アーキテクチャ（ERA）は、オンプレミスの Cisco Nexus Dashboard プラットフォームによって管理されるネットワーキング AI クラスタ用の Cisco Nexus^® 9000 シリーズ スイッチに基づいています。これは、NVIDIA Spectrum-X ネットワーキングを備えた NVIDIA HGX H200 向け NVIDIA エンタープライズ リファレンス アーキテクチャに準拠しています。

Cisco N9000 シリーズ スイッチは、Cisco Silicon One ® および Cisco Cloud Scale アーキテクチャを利用して、AI およびハイパフォーマンス コンピューティング（HPC）ワークロードに高速で確定的、低遅延、および電力効率の高い接続を提供します。Cisco NX-OS オペレーティング システムの複数のフォーム ファクタ、オプティクス、および豊富なソフトウェア機能を使用できるため、Nexus 9000 スイッチは、フロントエンド、ストレージ、バックエンド、およびアウトオブバンド（OOB）管理ネットワークに一貫性のあるエクスペリエンスを提供します（図 1 を参照）。

Cisco Nexus Dashboard は、Nexus 9000 スイッチベースのファブリックを管理するための運用および自動化プラットフォームです。組み込みのテンプレートを使用して構成を簡素化することで、Nexus 9000 スイッチのデータ プレーン機能を補完します。輻輳、ビットエラー、トラフィック バーストなどのネットワークの正常性の問題をリアルタイムで検出し、自動的に異常としてフラグを立てます。これらの問題は、一般的に使用されるツール（ServiceNow や Ansible など）との統合を使用してより迅速に解決でき、AI クラスタのネットワークを組織の既存のワークフローと整合させることができます。

Nexus Dashboard シリーズ プラットフォームによって管理される AI クラスタのネットワーク用の Cisco Nexus 9000 スイッチ

ハードウェア

Cisco UCS C885A M8 ラック サーバ

Cisco UCS C885A M8 ラック サーバは、大規模言語モデル（LLM）トレーニング、ファインチューニング、推論、取得拡張生成（RAG）などの　AI ワークロード向けに、大規模でスケーラブルなパフォーマンスを提供する 8RU であり、高密度 GPU サーバ（ノード）です。C-G-N-B 命名規則は、2-8-10-40（C-G-N-B）内の NVIDIA HGX リファレンス アーキテクチャに基づいてが次のように定義されています：

●     C：ノード内の CPU の数

●     G：ノード内の GPU の数

●     N：以下のように分類されているネットワーク アダプタ（NIC）の数

◦    North-south：フロントエンド ネットワークを通してノードと外部システムの間の通信。

◦    East-west：バックエンド ネットワークを通してクラスタ内の通信。

●     B：GPU あたりの平均ネットワーク帯域幅（ギガビット/秒（Gb/s）単位）

サーバ内の 8x NVIDIA H200 SXM GPU は、高速 NVLink インターコネクトを使用してインターコネクトされています。他の物理サーバーへの GPU 接続は、East-West（EW）トラフィックに 8 個の NVIDIA BlueField-3 B3140H SuperNIC を使用して実行されます。North-South（NS）トラフィックでは、1x NVIDIA BlueField-3 B3220 DPU NIC（2x200G モード）を使用できます。各サーバには 2 つの AMD EPYC CPU、最大 3 TB の DDR DRAM、30 TB の NVMe ローカル ストレージ、およびホットスワップ可能なファン トレイと電源が含まれます。サーバの詳細な仕様については、付録 A を参照してください。

NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバ

Cisco UCS C885A M8 ラック サーバが図に使用されますが、この ERA は、2-8-10-400（CGNB）構成の NVIDIA HGX に基づく他のサーバに適用されます。

Cisco N93108TC-FX3

Cisco N93108TC-FX3 スイッチは、1RU フォームファクタで,、48 個の 100 Mbps または 1/10 Gbps 10GBASE-T ポートと、6 個の 1/10/25/40/100 Gbps QSFP28 ポートを提供します。このスイッチは、管理ネットワークで使用できます。

Cisco N93108TC-FX3 スイッチ

Cisco N9332D-GX2B

Cisco N9332D-GX2B スイッチは、1RU フォーム ファクタで、32 個の 400G QSFP-DD ポートがあり、10/25/50/100/200 Gbps ブレークアウトをサポートします。このスイッチは、リーフまたはスパイン ロールで使用できます。

Cisco N9332D-GX2B スイッチ

Cisco N9364E-SG2-O

Cisco N9364E-SG2-O は、Cisco Silicon One NPU ベースの 2RU スイッチで、64 個の 800G OSFP モジュールをサポートし、64 個の 800GE または 128 個の 400GE ポートに対応します。このスイッチは、リーフとスパインの両方のロールで使用されます。

Cisco N9364E-SG2-O スイッチ

Cisco N9164E-NS4-O

Cisco N9164E-NS4-O は、NVIDIA Spectrum-4 NPU ベースの 2RU スイッチで、64 個の 800G OSFP モジュールをサポートし、64 個の 800GE または 128 個の 400GE ポートに対応します。このスイッチは、Cisco N9364E-SG2-O スイッチの代替として、East-West コンピューティング ネットワークのリーフとスパインの両方のロールで使用できます。

Cisco N9164E-NS4-O スイッチ

Cisco UCS C225 M8 ラック サーバ

Cisco C225 M8 ラック サーバは 1RU の汎用サーバで、アプリケーション サーバ、サポート サーバ、Kubernetes（K8s）や Slurm の制御ノード、さらにはストレージ プラットフォームなど、さまざまなロールで使用できます。この RA で、これらのサーバは、「高性能ストレージ」の項で説明されているように、VAST ストレージ ソリューションを実行するためにも使用されます。

Cisco UCS C225 M8 ラック サーバ

ネットワーキング トポロジ

Cisco Nexus 9000 シリーズ スイッチは、さまざまなタイプのデータセンター ファブリック設計に使用できます。ただし、NVIDIA ERA と密接に連携する設計のみが、このリファレンス アーキテクチャの一部と見なされます。

NVIDIA ERA と同様に、この Cisco ERA では、最大 128 の NVIDIA 8 GPU HGX ノードまで拡張して、合計 1024 H200 GPU をサポートできます。4 ノード スケーラブル ユニット（SU）のモジュラ設計を使用し、最大 32 の SU で 128 ノードに対応します。各 SU は、ネットワーク デバイスのポート アベイラビリティ サイズに接続された個別の計算エンティティです。SU を複製することで、環境の規模をより簡単に調整できます。

以下に示すように、Cisco のデザインの特定の側面に対応するために、マイナーな変更が加えられています：

●     Cisco UCS C885A M8 ラックサーバー x86 管理ポートは、1G ではなく 10G の速度を使用します。

●     VAST ストレージ ソリューションには、ストレージ ネットワークへの少なくとも 8x400G リンクが必要です。ただし、この要件は、別の NVIDIA 認定ストレージ パートナーからのソリューションが使用された場合に変わる可能性があります。

●     NVIDIA BlueField-3 SuperNIC の BMC ポートは接続されず、x86 ホストから管理されます。ただし、NVIDIA BlueField-3 DPU の BMC ポートは接続されます。

NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバのトポロジ

図 8 は、NVIDIA HGX を使用した最大 12 台の Cisco UCS C885A M8 ラック サーバーのクラスタ トポロジを、3 つの SU にグループ化して示しています。このように小規模な場合、Cisco N9364E-SG2 スイッチのペアが、フロントエンド、バックエンド、ストレージ、管理ネットワークを統合するのに十分なポート密度を提供します。このコンバージェンスにより、VLAN を使用した論理的な分離を維持しながら、許容範囲とシンプルさが向上します。

 

NVIDIA HGX を搭載した 12 台の Cisco UCS C885A M8 ラック サーバ用エンタープライズ RA（96 GPU）

表 1 に、NVIDIA HGX を使用した 12 ノード Cisco UCS C885A M8 ラック サーバ クラスタの部品表（BOM）を示します。

表 1                      NVIDIA HGX （96 GPU）を搭載した 12 ノード Cisco UCS C885A ラック サーバ クラスタの BOM

 

Cisco N9364E-SG2-O スイッチは、800G から 400G 接続用に、2x400G MPO-12 コネクタを備えた OSFP-800G-DR8 ツイストポート トランシーバを使用します。

Cisco OSFP-800G-DR8 トランシーバ モジュール

各接続は、ブレークアウト ケーブルを必要とせずに独立して 400G をサポートします。

Cisco OSFP-800G-DR8 プラグホール ビュー

図 11 に、NVIDIA HGX を使用した最大 16 台の Cisco UCS C885A M8 ラック サーバ のクラスタ トポロジを示します。EW ネットワークは、レール 1 から 4 が左側の EW スパインに、レール 5 から 8 が右側の EW スパインに配置されています。

 

NVIDIA HGX を搭載した 16 台の Cisco UCS C885A M8 ラック サーバ用エンタープライズ RA（128 GPU）

表 2 に、NVIDIA HGX を使用した 16 ノード Cisco UCS C885A M8 ラック サーバ クラスタの BOM を示します。

表 2                      NVIDIA HGX （128 GPU）を搭載した 16 ノード Cisco UCS C885A M8 ラック サーバ クラスタの BOM

クラスタ サイズが 16 を超える場合、East-West コンピューティング ネットワークはスパイン リーフ ファブリックに拡張されます。クラスタ サイズが最大の場合、128 Cisco UCS C885A M8 ラック サーバ クラスタの図 12 に示すように、ノースサウス ネットワークもスパインリーフになります。E-W ネットワークは、各 EW リーフ 1〜8 にある各レール 1〜8 とレールに沿っています。

 

NVIDIA HGX を搭載した 128 台の Cisco UCS C885A M8 ラック サーバ用エンタープライズ RA（1024 GPU）

クラスタ ファブリックのサイジング テーブル

Cisco UCS C885A M8 ラック サーバでサイジング

表 3 と表 4 は、NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバ、8 EW B3140H NVIDIA BlueField-3 基の SuperNIC と 2 NS B3240 NVIDIA BlueField-3 DPU NIC を使用したさまざまなクラスタ サイズに必要なさまざまなユニットの数量を示しています。

表 3                      NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバの East-west コンピューティング ファブリック テーブル：スイッチ、トランシーバ、およびケーブル数

表 4                      NVIDIA HGX を搭載した Cisco UCS C885A M8 ラック サーバの North-south コンピューティング ファブリック テーブル：スイッチ、トランシーバ、およびケーブル数

オプティクスおよびケーブル

第 1 段階では、表 5 に示すオプティクスおよびケーブルをシステム内のさまざまなデバイスで使用します。

表 5                      さまざまなデバイスでサポートされるオプティクスおよびケーブルのリスト

高性能ストレージ

シスコは VAST Data とのパートナー関係により、EBox アーキテクチャの Cisco UCS C225 M8N ラック サーバ上に AI OS をオンボードできるようにしています。これによって、この RA 向けのストレージ サブシステムを提供します。この製品は Cisco EBox と呼ばれ、NVIDIA および Cisco Enterprise Secure AI Factory の両方で NVIDIA 認定の高性能ストレージです。VAST Data は、サーバを単一のネームスペースに段階的に追加することでストレージ容量と読み取り/書き込みパフォーマンスを水平方向にスケーリングできる、「非集約全共有（Disaggregated Shared Everything、DASE）」アーテクチャをサポートします。その他の機能には、マルチテナントのネイティブサポート、マルチプロトコル（NFS、S3、SMB）、データ削減、データ保護、クラスターの高可用性、障害が発生したハードウェア コンポーネントのサービス対応などが含まれます。

図 13 は、12 台のストレージ サーバを備えたネットワーク全体の接続性と BOM を示しています。データ パスの場合、各サーバは 2 つの NVIDIA BlueField-3 B3220L 2x200G NICを使用します。NIC0 はサーバ内の内部ネットワークに使用され、他のサーバからストレージ ドライブにアクセスできるようにします。 そして NIC1 は、NFS、S3、および SMB などのクライアント トラフィックをサポートする外部ネットワークに使用されます。1G BMC および 10G x86 管理ポートは管理リーフ スイッチに接続されます。

ストレージ サブシステムのブロック図と BOM

Cisco EBox 以外に、他の NVIDIA 認定ストレージ パートナーもこのリファレンス アーキテクチャで使用できます。

ソフトウェア

Cisco NX-OS と Nexus Dashboard

前述のように、Cisco NX-OS は Nexus 9000 シリーズ スイッチで実行されるオペレーティング システムですが、Nexus Dashboard はファブリックを管理するための運用および自動化プラットフォームです。

Cisco NX-OS および Nexus Dashboard では、次のことは行いません：

●     何らかの方法でコンピューティングまたはストレージを構成する

●     サーバの BMC またはホスト CPU ソフトウェア ライフサイクルを管理する

●     NVIDIA BlueField-3 NIC でカーネルおよびディストリビューションを管理する

サーバの構成および管理機能は、他の方法で管理する必要があります（Cisco Intersight^® は、オプションです）。これらのツールの展開および使用は、お客様側で全責任を負います。ネットワーク コントローラの適切な範囲であることに加えて、この懸念事項の分離は、ネットワーク運用をコンピューティングとストレージからセグメント化するという主要な運用パラダイムと合致しています。

NVIDIA AI Enterprise

このリファレンス アーキテクチャは、NVIDIA AI Enterprise を含みます。そして、NVIDIA-certified Cisco UCS C885A M8 ラック サーバは、実稼働対応の AI エージェント、生成 AI、コンピュータ ビジョン、音声 AI などの開発と展開を合理化するクラウドネイティブなソフトウェア プラットフォームの NVIDIA HGX NVIDIA AI Enterprise でサポートされています。エンタープライズ レベルのセキュリティ、サポート、および API の安定性により、プロトタイプから実稼働へのスムーズな移行が保証されます。

NVIDIA NIM^™ マイクロサービスは、オープンソース コミュニティ モデル、カスタム モデル、および NVIDIA AI Foundation モデルの実稼働展開のための完全な推論スタックを提供します。スケーラブルで最適化された推論エンジンと使いやすさにより、モデルが加速し、TCO が改善され、実稼働展開が迅速化されます。

NVIDIA Spectrum-X

NVIDIA Spectrum-X ネットワーキング テクノロジーは、イーサネットベースの GPU およびストレージ ネットワークのパフォーマンスと効率を大幅に向上させます。その利点は、NVIDIA BlueField-3 SuperNIC に接続された NX- OS 10.6(1)F 以降を実行しているCisco Nexus 9000 スイッチで利用できます。Cisco Nexus 9000 スイッチで NVIDIA Spectrum-X を有効にするには、DCN Advantageライセンスに加えて、Fine Grain Load Balancing（FGLB）ライセンスが必要です。Cisco N9164E-NS4-O スイッチを使用して East-West コンピューティング ネットワークを展開する場合、Spectrum-X ライセンスは必要ありません。

コンピューティング サーバ ソフトウェア スタック

お客様は、NVIDIA が公開している NVIDIA AI Enterprise、ドライバ、および CNS 互換性マトリックスに従って、OS ディストリビューションとソフトウェア バージョンを選択して実行できます。

セキュリティ

AI インフラストラクチャにおけるセキュリティは、堅牢なアクセス制御とホストとネットワークの分離を実装して不正アクセスや不正操作を防止することによって、敵対的な攻撃に対する機密性、完全性、および高可用性を確保するために非常に重要です。以下に列挙する多くのシスコのセキュリティ技術は、企業がこれらの技術を展開することで、アプリケーションからインフラストラクチャ全体までエンドツーエンドのセキュリティを設定、監視、および適用することができます。これらのテクノロジーをエンドツーエンドのワークフローに完全に統合することは、この RA の範囲外です。

●     Cisco Secure Firewall

●     Cisco Isovalent

●     Cisco Hypershield

●     Cisco AI Defense

オブザーバビリティ

可観測性は、継続的な可視性と信頼性を確保し、調整と適切なインフラストラクチャのスケーリングで高いパフォーマンスを提供するための AI インフラストラクチャの重要な要素です。また、デバッグを促進し、セキュリティを支援し、信頼性の高い効果的な AI システムを維持するのにも役立ちます。Cisco Splunk^® は、企業が大量のテレメトリを取り込み、詳細な可視性を実現できるようにする、業界をリードするオブザーバビリティ ソリューションです。これをエンドツーエンドのワークフローに統合することは、この RA の範囲を超えています。

テスト/認定

管理プレーン、コントロール プレーン、およびコンピューティング、ストレージとネットワーキングを組み合わせたデータ プレーンのあらゆる側面を考慮し、全体的なソリューションを徹底的にテストしています。コンピューティング ノードは NVIDIA-Certified Systems^™ です。Cisco EBox 高性能ストレージ ソリューションは、NCP レベルで NVIDIA 認定ストレージの検証を取得しています。また、HPC Benchmark、IB PerfTest、NCCL Test、MLCommons Training、Inference ベンチマークなど、多数のベンチマークテストスイートを実行して、パフォーマンスを評価し、調整を支援しています。NVIDIA AI エンタープライズ エコシステムのさまざまな要素とエンティティが投入およびテストされ、微調整、推論、および RAG に関する多数の企業中心のお客様のユース ケースを評価します。

要約

Cisco Nexus 9000 シリーズ スイッチと Nexus Dashboard プラットフォームは、NVIDIA アクセラレーション コンピューティングを利用した AI インフラストラクチャに、スケーラブルで管理が容易な高性能のネットワーキングを提供します。

付録 A：コンピューティング サーバの仕様

表 6 に、この era で GPU ノードとして使用する Cisco UCS C885A M8 ラックサーバーの部品番号 UCSC-885A-M8-H12 の仕様を示します。

表 6                      Cisco UCS C885A M8 8RU ラック サーバ

付録 B：制御ノード サーバの仕様

汎用性の高い Cisco UCS C225 M8 1RU ラック サーバは、Slurm および Kubernetes（K8）、等のサポート サーバ（制御ノードサーバとも呼ばれます）として使用できます。表 7 は、サーバの最小仕様を表示します。

表 7                      Cisco UCS C225 M8 1RU ラック サーバ

2 ソケット CPU を使用する展開では、B3220 DPU NIC とともに Cisco UCS C245 M8 2RU ラック サーバ バリアントを使用できます。

参考資料

NVIDIA AI エンタープライズ ソフトウェア リファレンス アーキテクチャ：
https://docs.nvidia.com/ai-enterprise/reference-architecture/latest/index.html

NVIDIA HGX：https://www.nvidia.com/en-us/data-center/hgx

NVIDIA Spectrum-X ネットワーキング: https://www.nvidia.com/en-us/networking/spectrumx/

Cisco Nexus 9000 シリーズ スイッチ：
https://www.cisco.com/site/us/en/products/networking/cloud-networking-switches/nexus-9000-switches/index.html

Cisco Nexus Dashboard：
https://www.cisco.com/site/jp/ja/products/networking/cloud-networking/nexus-platform/index.html

Cisco NX-OS Licensing Options Guide: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/licensing-options/cisco-nexus-licensing-options-guide.html

文書の変更履歴