Cisco Nexus 9000 シリーズ スイッチ

Nexus 9500 シリーズ スイッチのアーキテクチャ

ホワイト ペーパー





Nexus 9500 シリーズ スイッチのアーキテクチャ



目次

Nexus 9500 シリーズ スイッチの概要

Cisco Nexus 9500 シリーズは、業界トップクラスの高性能、高密度、低遅延で 1 ギガビット、10 ギガビット、40 ギガビット、また将来的には 100 ギガビットのイーサネット接続を実現できるモジュラ スイッチ ファミリです。Nexus 9500 シリーズ スイッチは、アプリケーション セントリック インフラストラクチャ(ACI)モードと従来の NX-OS モードのどちらでも稼働します。Nexus 9500 シリーズ スイッチが ACI モードで動作する場合、変革的な ACI アーキテクチャの基盤として、アプリケーション ネットワーク プロファイルを基準とする完全統合型の自動化されたネットワーク ファブリック ソリューションを実現します。一方、従来の NX-OS モードでは、高度な自動化とプログラマビリティの機能により、高拡張性、高パフォーマンスのデータセンター アクセス/アグリゲーション レイヤを同種のスイッチの中で初めて実現しています。このホワイト ペーパーでは、Nexus 9500 シリーズ スイッチの共通のハードウェア アーキテクチャと、従来の NX-OS モードでのパケット転送の実装を中心に説明します。

8 スロットの Nexus 9508 スイッチ(図 1)がファミリの中で最初に発売されるプラットフォームです。その後、4 スロットと 16 スロットのプラットフォームが発売される予定です。Cisco Nexus 9508 スイッチは、最大 1,152 個の 10 GE ポートまたは 288 個の 40 GE ポートをサポートします。Cisco Nexus 9516 スイッチはポート密度が 2 倍です。また、Nexus 9500 シリーズ スイッチは 1 G の SFP/1 GBaseT と 10 G の SFP+/10 GBaseT の接続でも高いポート密度を実現します。各種のシャーシ フォーム ファクタとさまざまなライン カード タイプを取り揃え、フロント パネルのポート速度に柔軟に対応できる Cisco Nexus 9500 シリーズは、小規模、中規模、大規模のミッション クリティカルなデータセンターに適した優れたネットワーキング ソリューションです。

図 1 Cisco Nexus 9508 スイッチ

図 1. Cisco Nexus 9508 スイッチ

表 1. Cisco Nexus 9500 シャーシと転送の特徴

メトリック NEXUS 9504 NEXUS 9508 NEXUS 9516
高さ 7 RU 13 RU 20 RU
スーパーバイザ スロット数 2 2 2
ファブリック モジュール スロット数 6 6 6
ライン カード スロット数 4 8 16
スロットあたりの最大ファブリック帯域幅(Tbps) 3.84 Tbps 3.84 Tbps 3.84 Tbps
システムあたりの最大ファブリック帯域幅(Tbps) 15 Tbps 30 Tbps 60 Tbps
1/10/40 の最大ポート数 192/576/144 384/1152/288 768/2304/576
ライン カードあたりの最大転送スループット(Tbps) 2.88 Tbps 2.88 Tbps 2.88 Tbps
システムあたりの最大転送スループット(Tbps) 11.52 Tbps 23.04 Tbps 46.08 Tbps
エアーフロー 前面から背面 前面から背面 前面から背面
電源モジュール 3 KW AC PSU X 4 3 KW AC PSU X 8 3 KW AC PSU X 8
ファン トレイ 3 3 3

Cisco Nexus 9500 シリーズ スイッチではモジュラ アーキテクチャを採用し、スイッチ シャーシ、スーパーバイザ、システム コントローラ、ファブリック モジュール、ライン カード、電源モジュール、ファン トレイで構成されます。これらのパーツの中で、スーパーバイザ、システム コントローラ、ライン カード、電源モジュールは、Nexus 9500 製品ファミリ全体で共有できる共通コンポーネントです。

Cisco Nexus 9500 シリーズのシャーシはミッドプレーン フリーの革新的なデザインを採用しています(図 2)。ミッドプレーンは、ライン カードとファブリック モジュール間を接続する方法として、モジュール型プラットフォームで一般的に使用されています。スイッチ シャーシ内部のハードウェア数が多いと、冷却気の流れが妨げられます。そのため、ミッドプレーンに切り込みを入れたり、エアーフローの方向を変更したりするなど、空気を流れやすくするための別の方法が必要になり、結果的に冷却効率の低下を招きます。Nexus 9500 シリーズは、シャーシのミッドプレーンが不要な業界初のスイッチ プラットフォームです。精密な位置調整により、Nexus 9500 シリーズ スイッチのライン カードとファブリック モジュールは接続ピンで相互に直接接続されています。ライン カードとファブリック モジュールはシャーシ内で直交する配置になっているため、各ファブリック モジュールはすべてのライン カードに接続され、各ライン カードはすべてのファブリック モジュールに接続されています。通気を妨げるミッドプレーンのないシャーシ デザインで、最大限の冷却効率をもたらします。また、大規模な冷却ファンが不要のためコンパクトなシャーシ デザインも実現されます。

図 2 ミッドプレーン フリー設計の Nexus 9500 シャーシ

図 2. ミッドプレーン フリー設計の Nexus 9500 シャーシ

ミッドプレーン フリー設計のシャーシでは、スイッチ プラットフォームの導入とハードウェアのアップグレードが一段とシンプル化されます。これまでのソリューションでは、新しいライン カードやファブリック モジュールなど、新しいコンポーネントを導入する場合に、ミッドプレーンをアップグレードしなければならないことがあります。このためにハードウェアのアップグレード プロセスが複雑化し、サービスの中断が長くなります。Cisco Nexus 9500 シリーズでは、ミッドプレーンの設置もアップグレードも必要ありません。ミッドプレーンを取り除いたことによるもう 1 つのメリットは、平均修復時間が大幅に改善される点です。ミッドプレーンがあると、ミッドプレーン上のピンが曲がってしまった場合に、ミッドプレーンを取り替えるためスイッチ全体を停止して分解する必要があります。9500 では、シャーシの他のコンポーネントの使用に影響を与えることなく、損傷したコンポーネントを交換できます。

非常に高い冷却効率に加えて、Cisco Nexus 9500 シリーズは電力効率の高さもトップクラスです。電源モジュールは、高い効率性を誇る業界標準の 80PLUS プラチナ認証を取得しています。Nexus 9500 シリーズのライン カードとファブリック モジュールは ASIC の数を最小限に抑えることでモジュール上のヒート ポケットの容量を削減するよう設計されています。こうしたイノベーションにより、他に例を見ないポートあたりの消費電力の最小化を実現しています。

     
消費電力/ポート 10 Gbps ポート 40 Gbps ポート
ワット/ポート 3.85 W/ポート 15.4 W/ポート

Cisco Nexus 9500 シリーズ スイッチの拡張性の高いコントロール プレーン

Cisco Nexus 9500 のスーパーバイザ エンジンは、Cisco Nexus 9500 シリーズ スイッチに対する拡張性の高いコントロール プレーンの役割を果たしています。内部のコンポーネントの接続機能と管理機能はスーパーバイザ エンジンからシステム コントローラに移行しています。内部の管理タスクをスーパーバイザ エンジンから切り離すことで、スイッチ コントロール プレーンの信頼性が向上します。これにより、スイッチ システム全体のモジュール性と復元力が向上します。

スーパーバイザ エンジン

Cisco Nexus 9500 シリーズでは、コントロール プレーンの機能を果たすハーフ幅の冗長スーパーバイザ エンジンをサポートしています。スイッチ ソフトウェアの Enhanced NX-OS は、スーパーバイザ モジュールで実行されます。冗長スーパーバイザ モジュールは、アクティブ/スタンバイの役割を果たし、スーパーバイザ モジュール ハードウェアに障害が発生した場合やインサービス ソフトウェア アップグレード(ISSU)でステートフル スイッチオーバーをサポートするため、実稼働サービスに影響を与えずにソフトウェアのアップグレード/メンテナンスを実行できます。

Nexus 9500 スーパーバイザの CPU コンプレックスは、4 コアの Sandy Bridge Xeon プロセッサを搭載した Intel Romley プラットフォームをベースとしています。デフォルトのシステム メモリ サイズは 16 GB で、48 GB までフィールド アップグレード可能です。さらにオンボードの不揮発性ストレージを提供する組み込みの 64 GB SSD があります。高速のマルチコア CPU と大容量メモリにより、スイッチ システムの高速で信頼性の高いコントロール プレーンの基盤が構築されます。コントロール プレーンのプロトコルは強力な計算処理能力を活用して、ネットワーク ステートの変更に応じた迅速な開始と瞬時のコンバージェンスを実現します。さらに、拡張可能な大容量 DRAM とマルチコア CPU により、cgroup ベースの Linux コンテナをサポートできる十分な計算処理能力とリソースが与えられるため、サードパーティのアプリケーションを適切に制御された Linux コンテナ内部にインストールして実行できます。オンボード SSD は、ログ、画像ファイル、サード パーティ アプリケーション向けの追加ストレージとして使用することができます。

図 3 Cisco Nexus 9500 のスーパーバイザ エンジン

図 3. Cisco Nexus 9500 のスーパーバイザ エンジン

スーパーバイザ モジュール
Processor Romley、1.8 GHz、4 コア
システム メモリ 16 GB(48 GB にアップグレード可能)
RS-232 シリアル ポート 1 個(RJ-45)
10/100/1000 管理ポート 1 個(RJ-45)
USB 2.0 インターフェイス 2
SSD ストレージ 64 GB

スーパーバイザ エンジンには、シリアル コンソール ポート(RJ-45)と、アウトオブバンド管理用の 10/100/1000 イーサネット管理ポート(RJ-45)があります。2 つの USB 2.0 インターフェイスは、画像、syslog、構成ファイルの転送などの用途に合わせて外部 USB フラッシュ ストレージの使用をサポートします。スーパーバイザ モジュールの PPS クロック入力ポートは正確なタイミングの同期をサポートします。

スーパーバイザ モジュールとファブリック モジュールまたはライン カード間の通信では、イーサネット アウトオブバンド チャネル(EOBC)またはイーサネット プロトコル チャネル(EPC)のいずれかを使用します。どちらのチャネルもシステム コントローラ上に中央ハブがあるため、システム コントローラへの冗長パスとして使用できます。

システム コントローラ

Cisco Nexus 9500 シリーズのシステム コントローラに、内部の非データパスのスイッチング機能と管理機能がスーパーバイザ エンジンから移行されています。また、システム コントローラは電源モジュールやファン トレイへアクセスする経路となります。

システム コントローラはシステム内通信の中央スイッチです。スーパーバイザ エンジン、ライン カード、ファブリック モジュール間の制御/管理を行う 2 つの主要通信パスである、イーサネット アウトオブバンド チャネル(EOBC)とイーサネット プロトコル チャネル(EPC)をホストします。

モジュール全体のシステム内の管理通信はすべて、EOBC チャネルを介して行われます。EOBC チャネルの機能は、スーパーバイザ エンジン、ファブリック モジュール、ライン カードを含め、すべてのモジュールを相互に接続するシステム コントローラ上のスイッチ チップセットが提供します。

EPC チャネルは、システム内のデータ プレーン プロトコル通信を処理します。この通信経路は、システム コントローラ上のもう 1 つの冗長イーサネット スイッチ チップセットによって提供されます。EOBC チャネルと異なり、EPC スイッチはファブリック モジュールからスーパーバイザ エンジンへの接続のみを行います。プロトコル パケットをスーパーバイザに送信する必要がある場合、ライン カードは、内部のデータ パスを使用してパケットをファブリック モジュールに転送します。ファブリック モジュールは EPC チャネルを介してパケットをスーパーバイザ エンジンにリダイレクトします。

また、システム コントローラは冗長システム管理バス(SMB)を介して電源ユニットとファン コントローラとの通信および管理を行います。

Cisco Nexus 9500 シリーズは冗長システム コントローラをサポートします。シャーシにシステム コントローラが 2 つある場合、アービトレーション プロセスではアクティブなシステム コントローラが選択されます。もう一方のコントローラは、冗長性を提供するセカンダリ、つまり予備のコントローラと見なされます。

 

図 4 Cisco Nexus 9500 シリーズのシステム コントローラ

図 4. Cisco Nexus 9500 シリーズのシステム コントローラ

Cisco Nexus 9500 シリーズ スイッチの非ブロック分散型データ プレーン

スイッチのコントロール プレーンはスーパーバイザ エンジン上で一元的に動作しますが、データ プレーンでのパケット ルックアップ機能とパケット転送機能は、ラインカードとファブリック モジュールを使用した分散性の高い方法で実施されます。

Cisco Nexus 9500 シリーズのライン カードとファブリック モジュールのどちらにも、パケットのルックアップ、処理、転送の各機能を実行する複数のネットワーク フォワーディング エンジン(NFE)が搭載されています。Nexus 9500 シリーズ スイッチは、パケット サイズに関係なく、すべてのポートで非ブロック アーキテクチャと最大回線レートのパフォーマンスを実現するように設計されています。今日の多くのデータセンター アプリケーションは小さいサイズのパケットを使用しているため、64 バイトという最小サイズのパケットであっても、ラインレートのパフォーマンスをサポートすることが重要になっています。このレベルの転送機能を実現するために、Nexus 9500 シリーズのライン カードとファブリック モジュールには、必要な数の NFE が搭載されています。NFE ごとに最大 24 個の 40 GE ポートを使用して、ラインレートのパフォーマンスを保証します。24 個の 40 GE ポートのうち、12 個の 40 GE ポートがファブリック モジュールへの内部接続に使用されます(実測値は 42 GE。内部フレーム ヘッダーの追加ビットに対応するため)。その他の 12 個のポートはフロント パネル インターフェイスとして使用され、1 GE、10 GE、40 GE のユーザ データ ポートをサポートし、将来的には 100 GE にも対応する予定です。

図 5 Nexus 9500 シリーズ スイッチの分散型データ プレーン

図 5. Nexus 9500 シリーズ スイッチの分散型データ プレーン

ネットワーク フォワーディング エンジンでは、専用の TCAM テーブル スペースとユニファイド フォワーディング テーブル(UFT)を使用してレイヤ 2 とレイヤ 3 の転送情報を保存します。UFT は、MAC アドレス テーブル、IP ホスト テーブル、LPM テーブルの 3 つの転送テーブルに柔軟に分割できます。このプログラム可能なメモリ共有アプローチにより、さまざまな導入シナリオに柔軟に対応でき、メモリ リソースの利用効率も向上します。

システム全体の転送の拡張性を最大限にするため、Nexus 9500 シリーズ スイッチは、ライン カードとファブリック モジュールで UFT テーブルを使用して、さまざまなフォワーディング ルックアップ機能に対応するように設計されています。ライン カード上の UFT には、L2 MAC テーブルと L3 ホスト テーブルが格納されます。そのため、ライン カードは L2 スイッチング ルックアップと L3 ホスト ルーティング ルックアップを実行します。ファブリック モジュール上の UFT は、L3 LPM テーブルをホストし、L3 LPM ルーティング ルックアップを実行します。ライン カードとファブリック モジュールのどちらにもマルチキャスト テーブルがあり、どちらも分散型のマルチキャスト ルックアップとパケット レプリケーションに関与しています。マルチキャストは、ライン カード上の L3 ホスト エントリと同じテーブル リソースを共有します。図 6 に、Nexus 9500 シリーズ スイッチのシステム全体の転送機能の拡張性を示します。

図 6 Nexus 9500 システム全体の転送機能の拡張性

図 6. Nexus 9500 システム全体の転送機能の拡張性

Nexus 9500 シリーズのファブリック モジュール

Nexus 9500 シリーズ スイッチには、すべてアクティブ モードで動作するファブリック モジュールを最大 6 つまで搭載できます。各ファブリック モジュールは複数のネットワーク フォワーディング エンジン(NFE)で構成され、Nexus 9508 スイッチの場合は 2 つ、Nexus 9516 スイッチの場合は 4 つになります(図 7)。

Nexus 9508 スイッチのファブリック モデルでは最大 12 の NFE が利用可能です。これで、真の非ブロック アーキテクチャを実現するために必要なデータ パス帯域幅とパケット転送能力が提供されます。このように、Nexus 9508 は、パケット サイズに関係なく、すべてのライン カードで真のラインレートのパフォーマンスをサポートすることができます。

図 7. Nexus 9500 シリーズのファブリック モジュール

図 7. Nexus 9500 シリーズのファブリック モジュール

Nexus 9500 シリーズ スイッチのファブリック モジュールが、モジュラ シャーシ アーキテクチャで実行する重要な機能は次のとおりです。

  • ライン カードで高速の非ブロック データ転送接続を実現します。ネットワーク フォワーディング エンジンのリンクはすべてアクティブなデータ パスです。ファブリック モジュールごとに、各ライン カード スロットに対し最大 8 つの 40 Gbps リンクを提供できます。ファブリック モジュール 6 つを搭載した Nexus 9500 シャーシを導入した場合は、各ライン カード スロットに対し 48 の 40 Gbps ファブリック パスを提供できます。これは、スロットあたり 3.84 Tbps の全二重帯域幅に相当します。
  • IPv4 トラフィックと IPv6 トラフィックで分散型 LPM(最長プレフィクス照合)ルーティング ルックアップを実行します。LPM の転送情報は Nexus 9500 シリーズ スイッチのファブリック モジュールに保存されます。最大 128,000 個の IPv4 プレフィクスまたは 32,000 個の IPv6 プレフィクスをサポートします。
  • 分散型のマルチキャスト ルックアップとパケット レプリケーションを実行して、マルチキャスト パケットのコピーを受信側の出力 NFE に送信します。

Nexus 9500 シリーズ スイッチのライン カード アーキテクチャ

Nexus 9500 シリーズ スイッチのラインカードは、アグリゲーション ラインカードとアプリケーション セントリック インフラストラクチャ(ACI)対応リーフ ラインカードの 2 つのタイプに分類できます。アグリゲーション ライン カードでは、従来の NX-OS モードで稼働する Nexus 9500 スイッチで高密度の 10/40 GE 接続が実現されます。ACI 対応リーフ ライン カードは、従来の NX-OS モードと ACI モードのいずれでも動作します。

Nexus 9500 のライン カードはすべて、パケット ルックアップとパケット転送用の複数の NFE で構成されます。さらに、ACI 対応リーフ ライン カードには、一連のアプリケーション リーフ エンジン(ALE)もあります。その名前が示すように、ALE は、Nexus 9500 スイッチが ACI インフラストラクチャにリーフ ノードとして導入された場合に ACI リーフ ノードの機能を実行します。Nexus 9500 スイッチが従来の NX-OS モードで稼働している場合、ACI 対応リーフ ライン カード上の ALE は主に追加バッファの役目を果たすため、VxLAN オーバーレイ内でのルーティングなど、一部のネットワーキング機能が促進されます。

ライン カード上の NFE は、L2 スイッチング ルックアップと L3 ホスト ルーティング ルックアップを実行します。ライン カードには NFE が数多く搭載されており、すべてのフロント パネル ポート上のあらゆる IP パケット サイズに対する最大回線レートでの転送パフォーマンスをサポートしています。

ラインレートのデータ プレーン パフォーマンスのほか、Nexus 9500 シリーズ スイッチのライン カードには組み込みのデュアルコア CPU も搭載されています。この CPU を使用することで、ハードウェア テーブル リソースのプログラミング、ライン カード カウンタや統計情報の収集と送信、スーパーバイザからの BFD プロトコル処理の移行など、コントロール プレーンのタスクの移行や迅速な処理が可能になり、 システム コントロール プレーンのパフォーマンスが大幅に改善されます。

40 GE QSFP X 36 ライン カード(N9K-X9636PQ)

N9K-X9636PQ(図 8)は、36 個の 40 GE QSFP フロント パネル ポートを備えるアグリゲーション ライン カードです。パケット転送用のネットワーク フォワーディング エンジン 3 つで、それぞれ 12 個の 40 GE フロント パネル ポートと、ファブリック モジュールへの 12 個の内部ポートをサポートしています(実測値は 42 GE。内部フレームのオーバーヘッドに対応するため)。N9K-X9636PQ の 36 個の 40 GE フロント パネル ポートはすべて、10 GE X 4 ブレークアウト モードをサポートし、4 つの独立した 10 GE ポートとして動作します。このため、このライン カード 1 枚で最大 144 個の 10 GE SFP+ ポートを提供できます。

また、PHY レスの設計を採用しているため、 アクティブなコンポーネントが少なくなることから、ポート上のデータ転送遅延が 100 ns 短縮され、ポートの消費電力も削減されて、信頼性が向上します。

各 NFE から、NFE でサポートされる 12 個の QSFP 光ファイバまでのトレース長はすべて 7 インチ未満で、リタイマーの必要性を軽減します。これにより、ライン カードの設計がさらにシンプル化され、アクティブなコンポーネントの数を削減できます。

図 8. Nexus 9500 シリーズの 40 GE QSFP X 36 ライン カード

図 8. Nexus 9500 シリーズの 40 GE QSFP X 36 ライン カード

1/10G SFP+ X 48 ライン カード(N9K-X9564PX)

N9K-X9564PX(図 9)は ACI 対応リーフ ライン カードです。48 個の 1 GE SPF/10 GE SPF+ ポートと 4 個の 40 GE QSFP ポートを提供します。4 個の 40 GE ポートはそれぞれ 10 GE X 4 ブレークアウト モードをサポートし、4 個の独立した 10 GE ポートとして動作します。したがって、このライン カードは最大 64 個の 10 GE ポートを提供することができます。ポート速度に柔軟に対応できることから、シンプルでコスト効率の高いネットワーク アクセスと集約設計を実現できます。

このライン カード上の主要コンポーネントには、2 つの NFE、2 つの ALE、1 基のライン カード CPU が含まれます。2 つの NFE はフロント パネル ポートを提供します。一方の NFE には 48 個の 1/10 G ポートがあり、もう一方には 4 個の 40 G ポートがあります。2 つの ALE では、拡張バッファ領域、追加パケットの処理機能のほかに、ACI モードでライン カードを使用するオプションが提供されます。

このライン カードのフロント パネル ポートはさまざまな速度で動作できるため、ポート タイプとポート速度に柔軟に対応します。ポートの輻輳とパケット バッファリングが発生する主な理由にポート速度の不一致があります。そのため、このライン カードは、NFE が用意できるサイズより大きいバッファ領域を必要とすることがあります。2 つの ALE が提供する追加バッファはそれぞれ最大 40 MB です。ALE は NFE とファブリック モジュールの間に位置するため、その間で転送中のトラフィックのバッファリングが行われることもあります。トラフィックを同じ NFE 上の 10 G ポートから 1 G ポートにローカルで切り替えると、トラフィックはノース バウンドのインターフェイスにある ALE にもリダイレクトされ、拡張バッファ領域を利用できるようになります。

N9K-X9636PQ と同様に、このライン カードも PHY レスの設計を採用しているため、消費電力の削減、遅延の短縮、信頼性の向上といった効果があります。

図 9. Nexus 9500 シリーズの 1/10 GE SPF+ X 48 & 40 GE QSFP X 4 ライン カード

図 9. Nexus 9500 シリーズの 1/10 GE SPF+ X 48 & 40 GE QSFP X 4 ライン カード

1/10 GBaseT X 48 ライン カード(N9K-X9564TX)

N9K-X9564TX(図 10)はもう 1 つの ACI 対応リーフ ライン カードです。48 個の 1/10 GBaseT ポートと 4 個の 40 G QSFP ポートを提供します。アーキテクチャは、48 個の 1/10 GBaseT ポートすべてに 1/10 GBaseT 物理メディアに変換するための 10 GT PHY が実装されている点を除き、N9K-X9564PX と同じです。

図 10. Nexus 9500 シリーズの 1/10 GBaseT X 48 & 40 GE QSFP X 4 ライン カード

図 10. Nexus 9500 シリーズの 1/10 GBaseT X 48 & 40 GE QSFP X 4 ライン カード

Nexus 9500 シリーズのユニキャスト パケット転送

前述のとおり、Nexus 9500 シリーズ スイッチのライン カードとファブリック モジュールのいずれにも、パケット ルックアップ機能とパケット転送機能を実行する NFE が用意されています。それぞれの NFE に転送テーブル リソースがあり、このリソースに、TCAM テーブルとユニファイド フォワーディング テーブル(UFT)と呼ばれるプログラミング可能なハッシュ テーブルが含まれています。UFT は、L2 MAC エントリ、IP ホスト エントリ、LPM エントリに柔軟に割り振ることができます。この柔軟性と、完全分散型のデータ転送アーキテクチャにより、Cisco Nexus 9500 シリーズ スイッチはライン カードとファブリック モジュールでのテーブル リソースの使用を最適化し、システムにおけるレイヤ 2/レイヤ 3 転送の拡張性を最大限に引き出すことができます。また、これにより、多種多様のアプリケーションを含む幅広い規模のデータセンターにも Nexus 9500 スイッチを導入することができます。

  ライン カード ファブリック モジュール
L2 MAC テーブル 160,000 -
L3 ホスト テーブル 88,000 -
LPM テーブル - 128 K

Cisco Nexus 9500 シリーズ スイッチのデータ プレーン転送アーキテクチャには、入力 NFE 上の入力パイプライン、ファブリック モジュールの転送機能、出力 NFE 上の出力パイプラインがあります。入力パイプラインと出力パイプラインを同じライン カードで実行できます。また、入力ポートと出力ポートが同じ NFE 上にある場合は同じ NFE で実行することもできます。

NFE は、入力処理パイプライン、キューイングとスケジューリング用のバッファ マネージャ、出力処理パイプラインで構成されます。入力処理パイプラインでは、パケット ヘッダーの解析、トンネル終端、VRF の検出、解析対象パケット ヘッダーの情報に基づく L2/L3 ルックアップ、入力 ACL の処理が実行されます。バッファ マネージャでは、キューイングとスケジューリングのすべての機能が実行されます。出力パイプラインでは、パケットの修正と出力 ACL がすべて処理されます。L2/L3/ACL テーブルなどのルックアップはすべて、入力パイプラインで実行されます。入力パイプラインと出力パイプラインにはどちらも、パケットを並列処理できるように、複数の処理段階があります。

図 11. Nexus 9500 のユニキャスト パケット転送

図 11. Nexus 9500 のユニキャスト パケット転送
※画像をクリックすると、大きな画面で表示されますpopup_icon

1. 入力処理パイプライン

パケット ヘッダー解析
パケットは、フロント パネル ポートから入ると、ライン カードのネットワーク フォワーディング エンジン上の入力パイプラインを通過します。最初のステップはパケット ヘッダー解析です。柔軟性の高いパケット解析機能では、パケットの先頭の 128 バイトを解析して抽出し、L2 ヘッダー、EtherType、L3 ヘッダー、TCP IP プロトコルなどの情報を保存します。この情報は、後続のパケット ルックアップと処理ロジックに使用されます。

L2 MAC/L3 ホストのルックアップ
入力パイプラインを通過したパケットには、L2 スイッチングと L3 ルーティング ルックアップが適用されます。まず、NFE はパケットの宛先 MAC アドレス(DMAC)を調べ、パケットに L2 スイッチングまたは L3 ルーティングの必要があるかどうかを判断します。DMAC がスイッチ独自のルータ MAC アドレスと一致すると、パケットは L3 ルーティング ルックアップ ロジックに渡されます。DMAC がスイッチに属さない場合、DMAC と VLAN ID に基づく L2 スイッチング ルックアップが実行されます。一致するものが MAC アドレス テーブルで検出された場合、パケットは出力ポートに送信されます。DMAC と VLAN の組み合わせと一致するものがない場合、パケットは同じ VLAN 内のすべてのポートに転送されます。


L2 スイッチング ロジックの一環として、NFE はソース MAC(SMAC)アドレスのルックアップを実行し、必要に応じてハードウェアベースでアドレスを取得します。MAC アドレス テーブルの検索には SMAC と VLAN ID の両方を使います。一致するものがない場合、新しいアドレスが取得されて、パケットの入力ポートに関連付けられます。一致するものが検出された場合は、取得アクションは実行されません。NFE は、ハードウェア支援エージングもサポートしています。延長期間(構成可能なエージング タイム)に使用されなかったエントリは自動的に削除されます。

ライン カードの NFE 上の L3 ルックアップ ロジック内では、宛先 IP アドレス(DIP)が L3 ホスト テーブルでの検索に使用されます。このテーブルには、直接接続されたホストや取得した 32 個のホスト ルートの転送エントリが保存されます。DIP がホスト テーブル内のエントリと一致した場合、そのエントリは、宛先ポート、ネクストホップ MAC アドレス、および出力 VLAN を示します。ホスト テーブルで DIP に一致するものがない場合、パケットはファブリック モジュールに転送されて、最長プレフィクス照合(LPM)ルックアップが LPM ルーティング テーブルで実行されます。

レイヤ 2 スイッチングとレイヤ 3 ホスト ルーティングを実行する際に、出力ポートが NFE に対してローカルである場合、パケットは NFE によってローカルで転送され、ファブリック モジュールには送信されません。ACI 対応リーフ ライン カードの場合、入力ポートが出力ポートより高速であると、ポート速度の不一致に対応するために、パケットは追加バッファ用のアプリケーション リーフ エンジン(ALE)にリダイレクトされます。

入力 ACL の処理
フォワーディング ルックアップに加えて、パケットでは入力 ACL の処理も実施されます。ACL TCAM で、入力 ACL の一致が確認されます。各 NFE には 4,000 個のエントリからなる入力 ACL TCAM テーブルがあり、システム内部の ACL とユーザ定義の入力 ACL がサポートされます。これらの ACL には、ポート ACL、ルーテッド ACL、VLAN ACL があります。ACL エントリは NFE に合わせてローカライズされ、必要な場合のみプログラミングされます。これにより、Nexus 9500 スイッチ内で ACL TCAM を最大限に活用できます。

入力トラフィックの分類
Nexus 9500 シリーズ スイッチでは、入力トラフィックの分類をサポートしています。入力インターフェイスでは、アドレス フィールド、802.1q CoS、パケット ヘッダーの IP Precedence または DSCP に基づいてトラフィックを分類できます。分類されたトラフィックは 4 つの QoS グループのいずれかに割り当てることができます。QoS グループはトラフィック クラスの内部識別の役割を果たします。パケットがシステムを通過する際、後続の QoS プロセスにこの識別が使用されます。

入力のアドミッション、キューイング、ポリシング
バッファ マネージャは、入力処理パイプラインのトラフィックに対して、入力アカウンティング機能と入力アドミッション機能を実行します。それぞれの NFE に、208 バイトのセル 60,000 個で構成される 12 MB のバッファがあります。このバッファ リソースは入力トラフィックと出力トラフィックで動的に共有されます。パケットをメモリに格納してよいかどうかは、入力アドミッションの制御メカニズムで決定されます。この決定は、バッファ メモリの空き容量と、入力ポートとトラフィック クラスですでに使用済みのバッファ容量に基づきます。

Nexus 9500 シリーズ スイッチでは、入力クラスベースのポリシングをサポートしています。ポリシングのポリシーは、「1 レート 2 カラー」または「2 レート 3 カラー」のメカニズムを使用して定義できます。

2. ファブリック モジュールの LPM ルックアップ

パケットがファブリック モジュールに転送されると、ファブリック モジュールは入力ライン カードのルックアップ結果に基づいてさまざまなアクションを実行します。パケットが L2 スイッチド パケットまたは L3 ホスト ルーテッド パケットの場合は、入力ライン カードにより出力ポート、ネクストホップ MAC アドレス、出力 VLAN 情報が解決済みです。ファブリック モジュールは出力ライン カードに単にパケットを転送するだけです。パケットに LPM ルックアップが必要な場合、ファブリック モジュールは LPM テーブルを検索し、宛先 IP アドレス(DIP)に最も適した一致を使用してパケットを転送します。DIP に一致するものが見つからないと、パケットは廃棄されます。ファブリック モジュール上のネットワーク フォワーディング エンジンには、ユニファイド フォワーディング テーブル(UFT)があり、最大 128,000 個の LPM エントリを格納できます。

3. 出力処理パイプライン

ほとんどのルックアップと決定は、すでに入力パイプラインで完了しているため、出力処理パイプラインは比較的簡単です。ただし、出力パイプラインでは重要な機能として、WRED/ECN、出力キューイング、シェーピングといった出力 QoS が実行されます。

出力キューイングとスケジューリング
シンプル化と効率性を重視した設計に従い、Nexus 9500 シリーズ スイッチでは、シンプルな出力キューイング アーキテクチャが使用されています。出力ポートで輻輳が発生した場合、パケットは出力ライン カードのバッファで直接キューに格納されます。入力ライン カードに仮想出力キュー(VoQ)はありません。このため、システム バッファの管理とキューイングの実装が大幅にシンプル化されています。Nexus 9500 スイッチでは、出力で最大 6 つのトラフィック クラス(QoS グループ ID で識別される 4 つのユーザ定義クラス、1 つの CPU 制御トラフィック クラス、1 つの SPAN トラフィック クラス)をサポートできます。各ユーザ定義クラスには、出力ポートあたり 1 つのユニキャスト キューと 1 つのマルチキャスト キューを設定できます。NFE 上の 12 MB のバッファはローカル ポート間で共有されます。スイッチ ソフトウェアには、出力ポートあたりのバッファ使用率を測定して制限するためのメカニズムがあります。このため、どのポートも 1 つとして、均等な共有分を超えてバッファ メモリを消費することはできず、他のポートがバッファを使用できなくなることはありません。

ACI 対応リーフ ライン カードには、各 ACI リーフ エンジン(ALE)にさらに 40 MB バイトのバッファが用意されています。ファブリック バウンドのトラフィックには 10 MB のバッファが割り振られます。残りの 30 MB はファブリック モジュールからの出力トラフィックと、高速の入力ポートから低速の出力ポートへのローカルのスイッチド トラフィックに割り振られます。この 30 MB のバッファはユニキャスト トラフィックの拡張出力キューに使用されます。NFE はユニキャスト キューのステータスをアウトオブバンド フロー制御(OOBFC)シグナリング チャネルを介して ALE に送信します。出力キューが設定されたしきい値を超えると、NFE は OOBFC 信号を送信し、ALE にこのキューのトラフィック転送を停止して専用バッファでパケットのキューイングを開始するように指示します。この信号を受信すると、ALE は所定の出力ポートでこのトラフィック クラスに対する拡張出力キューの作成を開始します。出力キュー長が構成済みの再起動しきい値まで短くなると、NFE は再度 OOBFC 信号を送信し、ALE にこの該当キューのトラフィック転送を再開するように指示します。

図 12. Nexus 9500 の拡張出力キュー(EoQ)

図 12. Nexus 9500 の拡張出力キュー(EoQ)

拡張出力キューを使用する出力キューイング アーキテクチャはシンプルですが、ポートの輻輳を均等に処理できる非常に効率的なアプローチです。これで、1 つのポートの影響で他のすべてのポートがバッファを使用できなくなることはありません。

Nexus 9500 シリーズのマルチキャスト パケット転送

マルチキャスト パケットは、ユニキャスト パケットと同じ入力処理パイプラインと出力処理パイプラインを通過します。ただし、パケット ルックアップとパケット転送のプロセスで異なる点が 1 つあります。Nexus 9500 スイッチでは、3 段階の分散型マルチキャスト ルックアップとレプリケーションが実行されます。マルチキャスト ルーティング テーブルはすべてのライン カードとファブリック モジュールに保存されます。入力 NFE は 1 回目のルックアップを実行してローカル レシーバを解決します。ローカル レシーバが見つかると、NFE はローカルの受信ポートあたり 1 つのコピーを作成します。また、入力 NFE は着信パケットのコピーをファブリック モジュールに送信します。パケットを受信すると、ファブリック モジュールは 2 回目のルックアップを実行して出力ライン カードを検索します。ファブリック モジュールはパケットを各出力 NFE に複製します。

出力 NFE は 3 回目のルックアップを実行してローカル レシーバを解決し、パケットを対応するポートに複製します。この複数の段階からなるマルチキャスト ルックアップとレプリケーションは、マルチキャスト トラフィックを複製して転送する最も効率的な方法です。

図 13. Nexus 9500 のマルチキャスト パケット転送

図 13. Nexus 9500 のマルチキャスト パケット転送
※画像をクリックすると、大きな画面で表示されますpopup_icon

マルチキャスト トラフィック転送とユニキャスト トラフィック転送には違いがもう 1 つあります。マルチキャスト トラフィックには拡張出力キューがありません。ネットワーク フォワーディング エンジンは、出力ポートあたり 4 つのマルチキャスト キューをサポートしています。ACI リーフ エンジンがある場合、このエンジンはマルチキャスト トラフィックをネットワーク フォワーディング エンジンのマルチキャスト キューに個別に挿入します。OOBFC チャネルを介してマルチキャスト キューを制御するバックプレッシャ信号はありません。

40 Gbps の移行向けの Cisco QSFP BiDi テクノロジー

1/10/40 GE 接続の高ポート密度と高性能により、Nexus 9500 シリーズ スイッチは次世代のデータセンター インフラストラクチャに対応します。アクセス/リーフで 1/10 GE、アグリゲーション/スパインで 40 GE のリンクを提供する一方、データセンター アプリケーションでは拡張性の高い帯域幅を使用できます。

ただし、既存のデータセンター ネットワークを 10 GE から 40 GE に移行する場合は、ネットワーク プラットフォームのアップグレードのみでは済みません。この作業で最大の課題の 1 つが、配線インフラストラクチャの移行です。現行の 10 GE 配線インフラストラクチャでは、1 つの 10 GE 接続に 2 本の MMF ファイバ ストランドを使用します。ただし、既存の 40 GE 短距離光ファイバ トランシーバは、SR4 または CSR4 のいずれも、トランスミッタ セクションとレシーバ セクションが独立しているため、それぞれ 4 本のファイバ ストランドを同時に使用します。そのため、40 GE 全二重接続には 8 本のファイバ ストランドが必要になります。これらの相違点は、既存の 40 GE の光ファイバ トランシーバを使用して現行の 10 GE のインフラストラクチャを 40 GE に移行するには、配線インフラストラクチャのフォークリフト アップグレードまたは再構築が必要になります。膨大なコストがかかるだけでなく、サービスが中断する可能性があることから、既存の実稼働データセンターを 40 GE のインフラストラクチャに移行することは非常に困難です。


Cisco QSFP 双方向(BiDi)トランシーバ テクノロジーは、LC コネクタを使った 2 本の MMF ファイバ ストランドによる 40 G 全二重方式で転送できるようにすることで、この問題を解決しています。つまり、QSFP BiDi トランシーバを使用すれば、40 GE 接続で既存の 10 G のファイバとファイバ トランクを再利用でき、拡張や再構築の必要がありません。また、データセンター ネットワークを 10 Gbps 接続から 40 Gbps 接続に移行する際、40 Gbps の配線コストをかける必要もなくなります。

図 14. シスコの BiDi トランシーバ テクノロジー

図 14. シスコの BiDi トランシーバ テクノロジー

まとめ

Nexus 9500 シリーズ スイッチは業界トップクラスのデータセンター クラス スイッチです。1/10/40 GE だけでなく、将来的には 100 GE の接続にも最高水準のポート密度で対応し、これまでにない真のラインレートと低遅延の転送パフォーマンスを実現します。Nexus 9500 シリーズ スイッチでは、業界トップクラスの 10 GE と 40 GE のポート密度をサポートしています。ポート速度とシャーシ フォーム ファクタの柔軟性に優れた Nexus 9500 シリーズ スイッチは、中小規模から大規模までさまざまな規模の仮想化、マルチテナント、クラウドのデータセンターの導入に対応しています。

ミッドプレーン フリー設計のシャーシにより、冷却効率を最大限に伸ばすことができます。市販とカスタムのシリコンを組み合わせることで、ライン カードの ASIC 数を最小限に抑えながら記録的なパフォーマンスを達成することができます。前面から背面へのエアーフロー、効率性に非常に優れた 80PLUS プラチナ認証の電源モジュールなどのイノベーションにより、Nexus 9500 シリーズ スイッチは、データセンター クラス スイッチのエネルギー効率、信頼性、パフォーマンスの記録を塗り替えています。

システム内の管理をスイッチ コントロール プレーンから切り離すことで、Nexus 9500 シリーズ スイッチでは、コントロール プレーンがこれまでになく安定しています。最新のマルチコア CPU が組み込まれたスーパーバイザ エンジンを搭載し、さらにスーパーバイザ エンジンからライン カード CPU にタスクを移行することで、Nexus 9500 シリーズ スイッチは、信頼性の高いデータセンター スイッチの基盤となります。

従来の NX-OS モードでは、Nexus 9500 シリーズ スイッチはファミリ内のすべてのスイッチに対応する単一のイメージで稼働するため、ネットワーク管理が大幅にシンプル化されます。最新の 64 ビットの Linux カーネルで稼働し、真のプロセス モジュール性、高いソフトウェア復元力に加え、自動化とプログラマビリティにおける複数の機能拡張を兼ね備えた、Nexus 9500 シリーズ スイッチ向けの Enhanced NX-OS は、データセンター ネットワークの管理および運用モデルの最新化と自動化を求めるデータセンターに最適なソリューションです。

これまでに取り上げた他にはない機能により、Cisco Nexus 9500 シリーズ スイッチは、組織が信頼性、拡張性、復元力に優れ、自動化されたデータセンターを構築することを可能にする理想的なデータセンター スイッチです。

付録

付録 A:用語集
ACI:アプリケーション セントリック インフラストラクチャ
NFE:ネットワーク フォワーディング エンジン
ALE:ACI リーフ エンジン
EoQ:拡張出力キュー
OOBFC:アウトオブバンド フロー制御