Cisco Catalyst 6500 シリーズ

Cisco Catalyst 6500 シリーズ スイッチの 40 ギガビット イーサネットの仕組み

ホワイト ペーパー





Cisco Catalyst 6500 シリーズ スイッチの 40 ギガビット イーサネットの仕組み


Sridhar Subramanian(テクニカル マーケティング エンジニア、シスコ)
Shawn Wargo(テクニカル マーケティング エンジニア、シスコ)
ホワイト ペーパー

要約


このホワイト ペーパーでは、Cisco® Catalyst® 6500 シリーズ スイッチに搭載する 6904 ラインカードのハイレベル アーキテクチャとパケット フローの詳細について説明します。この文書では、読者が Policy Feature Card 4(PFC4)の基本的な概念と、ホワイト ペーパー『Cisco Catalyst 6500 Supervisor 2T のアーキテクチャ』に詳述されている関連用語の知識を持っていることを前提としています。

本文書は、本書の公開時点で出荷されているハードウェアに重点を置くものであり、コンフィギュレーション ガイドとしての使用を意図したものではありません。本文書の各所でコンフィギュレーション例を示すことにより、Cisco Catalyst 6500 シリーズ プラットフォームで使用するラインカードの動作モードおよび機能を説明しています。コマンド構文については、6500 シリーズのコンフィギュレーション ガイドおよびコマンド ガイド(http://www.cisco.com/cisco/web/portal/support/products/home.html?cid=270638920&locale=ja_JP)を参照してください。

概要


Cisco Catalyst 6904 4 ポート 40 ギガビット イーサネット ラインカード(製品 ID は WS-X6904-40G-2T)は、Cisco Catalyst 6500 シリーズ プラットフォームに搭載され、ポートあたり 40 ギガビットのイーサネット ソリューションと新しい多彩なソフトウェア機能を提供する初めてのラインカードです。コンピューティングおよびネットワーキングに関する IEEE の発表によると、サーバの I/O キャパシティは 2 年ごとに倍増しています。またネットワーキング技術の進歩に伴い、ネットワーク速度は 18 ヵ月の間に 2 倍となっています。40 ギガビット イーサネット市場を牽引する要素は、一般ユーザおよびブロードバンド アクセス、コンテンツ プロバイダー、ビデオ オン デマンド、ハイ パフォーマンス コンピューティング、データセンター相互接続など数多く存在しています。それに加え、40 ギガビット イーサネットは、IEEE 802.3ba 仕様の一部となりました。WS-X6904-40G-2T モジュールは、40 ギガビット イーサネットおよび 10 ギガビット イーサネット ファイバ インターフェイスを備え、40 ギガビット イーサネットの需要の増加に対処しつつ、キャンパスやデータセンターにおいて 10 ギガビット イーサネットを集約する柔軟性を提供するよう設計されています。このホワイト ペーパーでは、本ラインカードのアーキテクチャとパケット フローの概要、およびその使用例について紹介します。このラインカードの名称は、本文書の目的に応じて、6904 モジュールまたは WS-X6904-40G-2T と表記します。

WS-X6904-40G-2T の概要


図 1 が示す 6904 モジュールは、第 4 世代のポリシー フィーチャ カード(PFC4)をベースとしています。本モジュールは、Cisco Catalyst 6500 Supervisor Engine 2T(Sup2T)と併用することで、前世代の Cisco Catalyst 6500 シリーズ ラインカードと比較して、3 倍のパフォーマンスおよび 4 倍の拡張性を実現します。1 スロットあたり 80 ギガビットのイーサネットを提供する 6900 シリーズ ラインカード ファミリに属する 6904 モジュールは、40 ギガビット イーサネット ポートと 10 ギガビット イーサネット ポートの両方をサポートしています。

40 ギガビット イーサネット モードで動作中は最大 4 ポート、10 ギガビット イーサネット モードの場合は最大 16 ポートが使用可能となります。各ポートは 40 ギガビット イーサネット C Form-Factor Pluggable(CFP)光モジュールに対応可能です。または、FourX アダプタを使用してさらに 4 つのポートに分割し 10 ギガビット イーサネットにも対応可能な柔軟な設計となっています。また、カードの片側に 2 つの 40 ギガビット イーサネット ポート用の CFP モジュール 2 つを装着し、もう片側に FourX アダプタを装着して 10 ギガビット イーサネット ポート 8 つを収容するミックス モードを選択することにより、より一層柔軟な構成を実現できます。

図 1 Cisco 6904(WS-X6904-40G-2T)モジュール

図 1 Cisco 6904(WS-X6904-40G-2T)モジュール


6904 モジュールでは、前世代のラインカードが持つ機能に加え、以下のような多数のハードウェアおよびソフトウェア機能が新しく追加されています。

  • 内蔵の分散型フォワーディング カード(DFC4)、標準および XL モード
  • 2 レベルの完全優先キューイング(入力と出力)
  • 2 レベルの出力ポートでの QoS シェーピング(キュー ベースまたはポート ベース)
  • 入力バッファ(5 MB/40 ギガビット イーサネット ポート、および 1.25 MB/10 ギガビット イーサネット ポート)
  • 出力バッファ(88 MB/40 ギガビット イーサネット ポート、および 21 MB/10 ギガビット イーサネット ポート)
  • 輻輳回避技術 Deficit Weighted Round Robin(DWRR)および Shaped Round Robin(SRR)のサポート
  • 40 ギガビット イーサネットおよび 10 ギガビット イーサネット モード時の全ポート上で IEEE 802.1ae(MACsec)暗号化および認証をサポート
  • レイヤ 2、レイヤ 3 Cisco TrustSec 用に各ポート最大 8 つのセキュリティ アソシエーション(SA)をサポート
  • 最大 80 Gbps の出力マルチキャスト レプリケーション
  • 40 ギガビット イーサネットおよび 10 ギガビット イーサネット モード時の全ポート上で仮想スイッチ リンク(VSL)をサポート
  • 前面パネル上の青色ビーコン LED でラインカード ステータス LED を補完し、密集したネットワーク環境においてモジュールの確認を容易にする
  • 前面パネル上のポート ビーコン LED でラインカード ステータス LED を補完し、密集したシャーシ上でもポートの確認を容易にする
  • 現場交換可能ユニット(FRU)の偽造を防御する Quack チップをサポート
  • スイッチ ファブリックに 2 つの 40 ギガビット イーサネット接続
  • 最大 60 Mpps のローカル フォワーディング

システムレベル要件


WS-6904-40G-2T は標準バージョンまたは XL バージョンとして提供され、Cisco Catalyst 6500-E シリーズ シャーシ内で運用します。本モジュールは、これ以前の E シリーズ以外のシャーシではサポートされません。表 1 に 6904 モジュールをサポートする/サポートしないシャーシおよびスーパーバイザ エンジンを示します。

表 1 WS-6904-40G-2T 用のシステム オプション

サポートするシャーシ サポートしないシャーシ
6503-E、6504-E、6506-E、6509-E、6509-V-E、6513-E 6503、6506、6509、6509-NEB、6509-NEB-A、6513、7603、7603-S、7604、7606、7606-S、7609、OSR-7609、7609-S、7613
サポートするスーパーバイザ サポートしないスーパーバイザ
VS-S2T-10G、VS-S2T-10G-XL Sup1A、Sup2、SUP720、SUP720-3B、SUP32、VS-S720-10G


6904 モジュールは、6500-E シリーズ シャーシ内のスーパーバイザ用に指定されたスロット以外のすべてのスロットに収容可能です。ポート トランシーバについては、短距離と長距離の両方の光ファイバがサポートされます。表 2 にサポートされる光ファイバとトランシーバ タイプを示します。

表 2 WS-X6904-40G-2T でサポートされる光ファイバ

製品 ID トランシーバ タイプ メディア タイプ 長さ
CFP-40G-SR4 40GBASE-SR4(MMF) マルチモード ファイバ 850 nm 100 m の OM3 マルチモード ファイバ
CFP-40G-LR4 40GBASE-LR4(SMF) シングルモード ファイバ 1310nm CWDM 10 km
CVR-CFP-410GSFP FourX アダプタ:各 40 GE CFP ポートを 4 つの 10 GE SFP+ ポートに変換 N/A N/A
SFP-10G-SR
SFP-10G-LR
SFP-10G-LRM
SFP-10G-ER
SFP-H10GB-CU1M
SFP-H10GB-CU3M
SFP-H10GB-CU5M
FourX アダプタを使用して SFP+ トランシーバをサポート MMF(OM3)
SMF(G.652)
MMF(FDDI grade)
SMF(G.652)
Twinax 銅ケーブル
Twinax 銅ケーブル
Twinax 銅ケーブル
最長 300 m
10 km
220 m
40 km
1 m
3 m
5 m


ポート番号


6904 モジュールのポート番号は、運用モードの柔軟性を考慮して割り当てられています。ポート番号 1 〜 4 は 40 ギガビット イーサネット モードでの運用時に使用し、ポート番号 5 〜 20 は 10 ギガビット イーサネット モードでの運用時に使用します。前面パネル上のポートの番号を図 2 と図 3 に示します。前面パネル上のポートは論理的に 2 つに分割することができます。本文書内の解説では便宜上、ポート 1、2、5、6、7、8、9、10、11、12 を「左半分」と呼び、3、4、13、14、15、16、17、18、19、20 を「右半分」と呼びます。

図 2 40 ギガビット イーサネット ポートのポート番号

図 2 40 ギガビット イーサネット ポートのポート番号
※画像をクリックすると、大きな画面で表示されますpopup_icon


図 3 10 ギガビット イーサネット ポートのポート番号

図 3 10 ギガビット イーサネット ポートのポート番号
※画像をクリックすると、大きな画面で表示されますpopup_icon


ポート速度による運用モード


前面パネル上のポートは論理的に 2 つのグループに分類できます。左半分のポートを「ポートグループ 1」、右半分のポートを「ポートグループ 2」とします。ポート速度によるコンフィギュレーションの観点から、6904 モジュールには 3 つの運用モードが用意されています。これらを、40 ギガビット イーサネット モード、10 ギガビット イーサネット モード、混合モードと呼びます。

ポート運用モードのデフォルト ステータスは、show hw-module slot # operation mode コマンドを次のように使用して確認することができます。

6513E.S2T.SA.DUT2#sh hw-module slot 3 operation mode
Module 3 port group 1 is running in FortyGigabitEthernet mode
Module 3 port group 2 is running in FortyGigabitEthernet mode
6513E.S2T.SA.DUT2#

40 ギガビット イーサネット ポート運用モード

デフォルトの運用モードは 40 G モードです。前面パネル上の 4 つのポートは、スタートアップ コンフィギュレーション ファイルと実行コンフィギュレーション ファイルにおいて FortyGigabitEthernet というプレフィクスを使用して識別されます。たとえば、6500 E シリーズ シャーシ内のスロット 3 に搭載された 6904 モジュールのポート 2 は、FortyGigabitEthernet3/2 という名前で識別されます。40 ギガビット イーサネット モードでポートを使用するには、表 2 に示されている CFP アダプタを 6904 モジュールの前面パネルに挿入する必要があります。図 4 にマルチ モード CFP-40G-LR トランシーバを示します。40 ギガビット イーサネット モードでは、4 つの 40 ギガビット イーサネット ポート用の最大 4 つの CFP アダプタを使用します。

図 4 40 ギガビット イーサネット運用モードで使用するマルチ モード CFP トランシーバ

図 4 40 ギガビット イーサネット運用モードで使用するマルチ モード CFP トランシーバ


10 ギガビット イーサネット ポート運用モード

10 ギガビット イーサネット ポート運用モードは、コンフィギュレーション コマンドを使用して有効化できます。このコマンドは個々のポートではなく、ポートグループに影響を与えます。たとえば、ポートグループ 1 を 10 ギガビット イーサネット モードで運用するには、コマンド hw-module slot # operation-mode port-group 1 TenGigabitEthernet を実行します。これにより、前面パネル上の左半分のすべてのポートに 10 ギガビット イーサネット ポート運用モードが設定されます。

6513E.S2T.SA.DUT2(config)#hw-module slot 3 operation-mode port-group 1?
  TenGigabitEthernet   Set the TenGigabitEthernet operation mode
6513E.S2T.SA.DUT2(config)#hw-module slot 3 operation-mode port-group 1 TengigabitEthernet
Operation mode change will reset the whole module and all the ports config will be lost. 
 Do you want to continue with reset?

Powercycling module 3 due to operational mode change

6513E.S2T.SA.DUT2(config)#

前面パネル上の右半分のすべてのポートにも 10 ギガビット イーサネット ポート運用モードを設定するには、同じコマンドをポートグループ 2 に対して実行する必要があります。異なる速度での動作には、ポートの ASICS および関連するフレーマ チップのリセットが必要となるため、新しい運用モードを有効にするために 6904 モジュール全体の電源リセットを行います。

10 ギガビット イーサネット モードでポートを使用するには、表 2 に示されている FourX アダプタと SFP+ トランシーバを 6904 モジュールの前面パネルに挿入する必要があります。図 5 が FourX アダプタです。10 ギガビット イーサネット モードでは、最大 4 つの FourX アダプタを使用して 16 基の 10 ギガビット イーサネット ポートを収容できます。

図 5 10 ギガビット イーサネット運用モードで使用する FourX アダプタ

図 5 10 ギガビット イーサネット運用モードで使用する FourX アダプタ


混合モード

混合運用モードでは、6904 モジュールの前面パネルの左半分のポートを 10 ギガビット イーサネット モードまたは 40 ギガビット イーサネット モードで運用し、右半分をそれとは異なるモードで運用します。つまり、片側には 2 つの CFP を搭載して 2 つの 40 ギガビット イーサネット ポートを収容し、もう片側では 2 つの FourX を搭載して 8 つの 10 ギガビット イーサネット ポートを収容することになります。6904 を混合モードで運用するための特別な CLI は用意されていません。モジュールのモードを変更するには、6904 モジュールを 10 ギガビット イーサネット モードまたは 40 ギガビット イーサネット モードに変更するためのコンフィギュレーション コマンドを実行します。前面パネルの左半分が 40 ギガビット イーサネット、右半分が 10 ギガビット イーサネットの混合運用モード時の場合、ソフトウェア コンフィギュレーションで使用されるインターフェイス名は、図 2 と図 3 に示されているポート番号に従って次のようになります。

  • interface FortyGigabitEthernet <スロット/1-2>
  • interface TenGigabitEthernet <スロット/13-20>

ポート パフォーマンス モード


6904 モジュールには、「オーバーサブスクリプション モード」と「パフォーマンス モード」の 2 つのパフォーマンス モードがあります。これらのモードは、個々のポートではなく、ポートグループに影響を与えることに注意してください。本モジュールは、デフォルトではオーバーサブスクリプション モードで動作し、1 ポートあたり 80 GB のバックプレーン容量で 4 つの 40 ギガビット イーサネット ポート、または 16 の 10 ギガビット イーサネット ポートをサポートする 2:1 のオーバーサブスクリプションを提供します。デフォルトのポート パフォーマンス モードは、show コマンドを使用して確認できます。

6513E.S2T.SA.DUT2#sh hw-module slot 3 oversubscription
port-group      oversubscription-mode
1               enabled
2               enabled

パフォーマンス モードは、選択したポートグループ内の特定のポートをシャット ダウンしてポートとファブリックの帯域幅比を 2:1 から 1:1 に変更するコンフィギュレーション コマンドを発行することで有効化できます。40 ギガビット イーサネットのパフォーマンス モードでは、ポート 1 および 3 をアクティブにし、残りのポートをシャット ダウンします。10 ギガビット イーサネットのパフォーマンス モードでは、ポート 5、6、7、8、13、14、15、16 をアクティブにし、残りのポートをシャット ダウンします。

6513E.S2T.SA.DUT2(config)#no hw-module slot 3 oversubscription port-group 1
WARNING: Switch to TRANSPARENT mode on module 3 port-group 1.
6513E.S2T.SA.DUT2(config)#
000144: *Dec 19 04:20:11.606: %C6K_PLATFORM-6-ESTELLE_NON_OVERSUBSCRIPTION_TEN_GIG: 
 Ports 9, 10, 11, 12, of slot 3 disabled to prevent module bandwidth oversubscription.
6513E.S2T.SA.DUT2(config)#

ライン カード アーキテクチャ


WS-X6904-40G は 2 つの 40 Gbps 全二重チャネル経由で Supervisor Engine 2T スイッチ ファブリックに接続します(合計で 80 Gbps の全二重バックプレーン)。次世代のファブリック インターフェイス ASIC は、これら 2 つの 40 Gbps チャネルをスイッチ ファブリックに接続し、本モジュールを論理的に 2 つに分割しています。注:このため 10 または 40 ギガビット イーサネット モードの設定はモジュールの半分ずつ行うことになります。

次世代のファブリック インターフェイス ASIC は、次に 4 つの 20 Gbps 全二重ファブリック インターフェイス ASIC に接続し、これらは 4 つのレプリケーション エンジン ASIC に接続します。レプリケーション エンジン ASIC は、ファブリック インターフェイス ASIC とポート ASIC 間のブリッジング フレームを作成し、必要なフレームのコピー(IP マルチキャストやスイッチド ポート アナライザ(SPAN)など)を行い、フォワーディング エンジン ASIC(つまり DFC4)と通信してレイヤ 2、3、4 フォワーディングおよびポリシー ルックアップ処理を行います。

図 6 WS-X6904-40G-2T アーキテクチャのブロック図

図 6 WS-X6904-40G-2T アーキテクチャのブロック図

図 6 WS-X6904-40G-2T アーキテクチャのブロック図
※画像をクリックすると、大きな画面で表示されますpopup_icon


これらのアーキテクチャ コンポーネントの動作およびパフォーマンスは、6900 シリーズの他のモジュール(WS-X6908-10G など)と同様です。WS-X6904-40G アーキテクチャは、40 ギガビット イーサネット モードと 10 ギガビット イーサネット モードの両方を 1 つの ASIC コンプレックス内でサポートするため、新しいポート ASIC の設計が必要です。他に類を見ないほど柔軟なポート ASIC は、動作およびパフォーマンスにおいても独自の特性を備えています。

40 ギガビット イーサネットと 10 ギガビット イーサネットの両方のモードをサポートするために、ポート ASIC コンプレックスは 2 つの主要なコンポーネントに分かれています。1 つ目のコンポーネントは Cisco TrustSec および物理(PHY)インターフェイスで、各ビットがイーサネット メディア上で受信または送信される際にビットのシリアル化および非シリアル化を行います。また、このコンポーネントは、有効化することにより、ラインレートでの 802.1ae 暗号化および復号化を提供します。

2 つ目のコンポーネントは独立した(全二重)送信/受信マルチプレクサ/デマルチプレクサ(mux/demux)FPGA です。このコンポーネントは、適切なレプリケーション エンジン ASIC と Cisco TrustSec/PHY ASIC 間で入出力フレームを分配します。RX MUX FPGA は 4 つの 16 Gbps 入力チャネルをレプリケーション エンジン ASIC に接続し、レプリケーション エンジン ASIC は 2 つの 20 Gbps 出力チャネルを TX MUX FPGA に接続します。

パケット パスの動作原理


入力モード

40 ギガビット イーサネットと 10 ギガビット イーサネットの両方のモードをサポートするために、ポート ASIC の設計では、複数のデータ パスに対して均等にフレームをロードバランシングすることと、運用モードとフローの方向(入力または出力)に合わせて動作することが求められました。ASIC およびデータ パスの詳細については、アーキテクチャのブロック図(図 6)を参照してください。

入力時の 40 ギガビット イーサネット モード

このモードでは、40 ギガビット イーサネットの入力フローを 4 つの 16 Gbps チャネルにロードバランシングする必要があります。図 7 にパケット転送フローを示し、以下にその概要を示します。

  1. 個々のビットが 40 ギガビット イーサネット CFP トランシーバに届き、フレームに組み立てられます。
  2. 個々のフレームは、CFP から 4 つの 10 ギガビット イーサネット Cisco TrustSec/PHY パスに送られます(インターリーブされます)。802.1ae(MACsec)が有効化されている場合は、復号化が行われ、フローは再構成されます。
  3. フローは RX MUX FPGA に移動します。
  4. RX MUX FPGA は、ハッシュ結果に基づいて、フローを 4 つの 16 Gbps 入力チャネルのうちの 1 つを経由してレプリケーション エンジン ASIC に送ります。
  5. レプリケーション エンジン ASIC は、レイヤ 2、3、または 4 フォワーディングおよび DFC4 上でのポリシー ルックアップをリクエストし、ルックアップ結果を受信します。
  6. ルックアップ結果を受信すると、フローはファブリック インターフェイスおよびファブリック ASIC(リモートの宛先の場合)に送られるか、または TX MUX FPGA(ローカルの宛先の場合)に戻ります。
図 7 40 ギガビット イーサネットの入力パケット転送

図 7 40 ギガビット イーサネットの入力パケット転送


入力時の 10 ギガビット イーサネット モード

このモードでは、10 ギガビット イーサネットの入力フローは 4 つの 16 Gbps チャネルのうちの 1 つと 1:1 でマッピングされるため、ハッシュ値の照合は必要ありません。図 8 に入力パケット転送フローを示し、以下にそのプロセスの概要を示します。

  1. 個々のビットが 10 ギガビット イーサネット SFP+ トランシーバに届き、フレームに組み立てられます。各 SFP+ スロットは 4 つの 10 ギガビット イーサネット パスの 1 つに 1:1 でマッピングされます。
  2. 個々のフレームは SFP+ から Cisco TrustSec/PHY ASIC に送られます。802.1ae(MACsec)が有効化されている場合は、復号化が行われます。
  3. フローは RX MUX FPGA に移動します。
  4. RX MUX FPGA は、1:1 のマッピングに基づいて、フローを 4 つの 16 Gbps パスのうちの 1 つを経由してレプリケーション エンジン ASIC の 1 つに送ります。
  5. レプリケーション エンジン ASIC は、レイヤ 2、3、または 4 フォワーディングおよび DFC4 上でのポリシー ルックアップをリクエストし、ルックアップ結果を受信します。
  6. ルックアップ結果を受信すると、フローはファブリック インターフェイスおよびファブリック ASIC(リモートの宛先の場合)に送られるか、または TX MUX FPGA(ローカルの宛先の場合)に戻ります。
図 8 10 ギガビット イーサネットの入力パケット転送

図 8 10 ギガビット イーサネットの入力パケット転送


入力フロー ハッシュ

40 ギガビット イーサネット ポート上の入力トラフィック フローは、4 つの 16 Gbps チャネル間でロードバランシングを行う必要があります。これは、10 ギガビット イーサネットと 40 ギガビット イーサネットの両方のモードが 1 つのポート ASIC でサポートされているためです。結果として、入力パケット転送においてロードバランシングが必要となるのは、ラインカードが 40 ギガビット イーサネット モードで動作する場合のみとなります。

個々のフローは、EtherChannel と同様の設定可能なハッシュ アルゴリズムを使用して、4 つの 16 Gbps チャネル間でロードバランシングされます。デフォルトのハッシュ アルゴリズムは src-dst-ip です。

注: 40 ギガビット イーサネットの入力ハッシュ計算は、Forwarding Engine ASIC(PFC4/DFC4)の EtherChannel のハッシュ計算とは独立して(または追加として)実行されます。

そのため、すべてのインターフェイスで 40 ギガビット イーサネットが実現されるためには、トラフィックがどのようにして特定の 40 ギガビット イーサネット インターフェイスに到着するかを理解することが大切です。このアーキテクチャ設計では、1 つのトラフィック フローだけでラインレートを実現することはできません。ロードバランシングを最適化するには、最低 4 つの異なるハッシュ入力値が必要です。

特定のデータ「フロー」は、レイヤ 2、3、および 4 のパケット ヘッダの組み合わせで決定されます。ホスト A とホスト B 間の 1 つのデータ伝送(フロー)は、ホスト B からホスト A に戻る伝送とは異なります。同様に、ホスト A はホスト B に HTTP フローを送信し、これとは別の FTP フローをホスト B に送信します。

そのため、目的および 40 ギガビット イーサネット インターフェイスのネットワーク レイヤの配置によって、設定すべき最適な入力ハッシュ アルゴリズムが決定されます。一般的なシナリオを以下に紹介していますが、ほとんどのケースではデフォルトのハッシュ入力オプション src-dst-ip が適しています。

ロードバランス アルゴリズムは 40 ギガビット イーサネットの各インターフェイスに対して設定します。

[no] load-blance<ハッシュ オプション>

出力


出力時の 40 ギガビット イーサネット モード

このモードでは、40 ギガビット イーサネットの出力フローを 2 つの 20 Gbps チャネルにロードバランシングする必要があります。フォワーディング ルックアップ処理はすでに実行されています(入力時)。図 9 および以下のステップに出力パケット転送の概要を示します。

  1. 個々のフレームは、入力ステージで得たルックアップ結果を格納する 32 バイトのファブリック ヘッダを付加され、2 つの 40 ギガビット イーサネット スイッチ ファブリック チャネルのうちいずれかのチャネルを経由して、ファブリック ASIC に到着します。
  2. ファブリック ヘッダに含まれるルックアップ結果に基づいて、各フレームは 2 つのファブリック インターフェイス ASIC のうちのいずれかに送られます。
  3. フローはレプリケーション エンジン ASIC に移動します。レプリケーション エンジンは出力ルックアップ(MAC ラーニングなど)をリクエストし、フレームを直接ポート ASIC にブリッジするか、またはパケット レプリケーション(IP マルチキャスト、SPAN など)を行います。
  4. フローが TX MUX FPGA に到着すると、両方のアップストリームのレプリケーション エンジンからの複数のフローを統合します。そして、個々のフレームを Cisco TrustSec/PHY ASIC に送ります。
  5. 個々のフレームは、4 つの 10 ギガビット イーサネット Cisco TrustSec/PHY パス経由で CFP に送られます(インターリーブされます)。802.1ae(MACsec)が有効化されている場合は、暗号化が行われます。
  6. CFP はフレームを個々のビットにシリアル化し、メディア経由で送信します。
図 9 40 ギガビット イーサネットの出力パケット転送

図 9 40 ギガビット イーサネットの出力パケット転送


出力時の 10 ギガビット イーサネット モード

このモードでは、10 ギガビット イーサネットの入力トラフィック フローは 2 つの 20 Gbps チャネルのうちの 1 つと 1:2 でマッピングされます。フォワーディング ルックアップ処理はすでに実行されています(入力時)。概要については、図 10 および以下のステップを参照してください。

  1. 個々のフレームは、入力ステージで得たルックアップ結果を格納する 32 バイトのファブリック ヘッダを付加され、2 つの 40 ギガビット イーサネット スイッチ ファブリック チャネルのうちいずれかのチャネルを経由して、ファブリック ASIC に到着します。
  2. ファブリック ヘッダに含まれるルックアップ結果に基づいて、各フレームは 2 つのファブリック インターフェイス ASIC のうちのいずれかに送られます。
  3. フローはレプリケーション エンジン ASIC に移動します。レプリケーション エンジンは出力ルックアップ(MAC ラーニングなど)をリクエストし、フレームを直接ポート ASIC にブリッジするか、またはパケット レプリケーション(IP マルチキャスト、SPAN など)を行います。
  4. フローは TX MUX FPGA に到着すると、1:1 のポート マッピングに基づいて個々のフレームを Cisco TrustSec/PHY ASIC に送ります。
  5. 個々のフレームは、4 つの 10 ギガビット イーサネット Cisco TrustSec/PHY パス経由で CFP に送られます(インターリーブされます)。802.1ae(MACsec)が有効化されている場合は、暗号化が行われます。
  6. SFP+ はフレームを個々のビットにシリアル化し、メディア経由で送信します。
図 10 10 ギガビット イーサネットの出力パケット転送

図 10 10 ギガビット イーサネットの出力パケット転送


EtherChannel に関する考慮事項


EtherChannel は 10 ギガビット イーサネット インターフェイスと 40 ギガビット イーサネット インターフェイスの両方でサポートされます。10 ギガビット イーサネット ポートでは EtherChannel に関する制約はありませんが、40 ギガビット イーサネット モードの場合にはいくつかの制約事項が存在します。これらの制約およびベスト プラクティスの詳細を以下に説明します。

40 ギガビット イーサネット モード

  • 1 つの EtherChannel に許可される 40 ギガビット イーサネット リンクの数は、1 つのモジュール上、または複数のモジュールにわたった場合でも最大 4 つです。
  • この数のリンクであれば、システム内の別のモジュールまたは EtherChannel に影響を与えることはありません。
  • これは、レプリケーション ASIC 間の出力ロードバランシング用に一部のリソースを使用する必要があるためです。

10 ギガビット イーサネット モード

  • 1 つの EtherChannel に使用される 10 ギガビット イーサネット ポートの数は、1 つのモジュール上、または複数のモジュールにわたった場合でも最大 8 つです。

ベスト プラクティス

  • EtherChannel メンバーには、2 または 4 ポート(10 ギガビット イーサネット モードの場合は 8 ポート)を使用します。
  • EtherChannel の変更時は、パフォーマンスを向上させるために適応型のハッシュ アルゴリズムを使用します。
  • 1 つの EtherChannel 内で 3 つのリンクを使用しないこと。40 ギガビット イーサネットのスループットを得られなくなります。

Quality of Service(QoS)


WS-X6904-40G-2T モジュールは以下を含む新しい QoS 機能を提供します。

  • デュアル完全優先キューイング
  • 2 つのレベルのシェーピング:ポート レベルおよびキュー レベル

新機能について紹介する前に、6904 モジュールに適用可能な、Cisco Catalyst 6500 で使用される従来の出力キュー輻輳管理メカニズムの拡張機能と制限について理解することが大切です。

出力キュー輻輳管理およびスケジューリング

6904 モジュールでは、4 つの輻輳管理メカニズムが提供されます。これらは、Weighted Random Early Discard(WRED)、Weighted Round Robin(WRR)、Deficit Weighted Round Robin(DWRR)、および Shaped Round Robin(SRR)です。SRR および DWRR メソッドについては、6904 モジュールと前世代の Cisco Catalyst 6500 ラインカードでは運用方法が異なるため、本文書内で詳細に解説します。

Shaped Round Robin(SRR)の拡張機能

一般的にトラフィック シェーピングとは、過剰なパケットをバッファして、発信トラフィックを既定の速度に絞る動作を指します。Cisco Catalyst 6500 における SRR とは、ベスト エフォート型のスケジューラ ベースのアルゴリズムであり、キュー内のバッファ用空きスペース上で偶発性を持たせた発信トラフィックのシェーピングを行います。出力キューの空きが限られたラインカードでは、トラフィックの急増(スパイク)を吸収する分だけシェーピングを行う方法により発信トラフィックのバーストを平滑化します。6904 モジュールの導入に伴い、Cisco Catalyst 6500 では漏出バケット ベースの SRR メカニズムをサポートし、出力キュー上の空き容量が限られることに由来する SSR の制限を取り払いました。ポート バッファまたはキュー バッファに加え、6904 のポート ASIC の各キューは漏出バケット方式のハードウェア リソースを保持し、トラフィック シェーピングに使用しています。6904 モジュール上の SRR 拡張機能を有効にするためのコンフィギュレーション コマンドは特にありません。

Deficit Weighted Round Robin(DWRR)

DWRR はイーサネット フレーム内のサービスクラス(CoS)タグを使用し、拡張されたバッファ管理と発信スケジューリングを実現するラウンド ロビン スケジューリング技術です。この技術は Weighted Round Robin(WRR)を改良したもので、各キューがそのキューに設定された帯域幅に非常に近い帯域幅を使用します。DWRR アルゴリズムを使用して効率的に帯域幅を分配するには、前面パネル上のポートに入力するすべてのトラフィック フローが、ファブリック インターフェイス レプリケーション エンジンと接続するポート ASIC の同じ仮想ポート(VP)にハッシュされることが重要です。10 ギガビット イーサネット モードでの運用時は、6904 モジュールはこの動作に準じ、各前面パネル ポートがポート ASIC の一意の VP にマッピングされるため、帯域幅の分配が保証されます。

40 ギガビット イーサネット モードにおける DWRR の制約

40 ギガビット イーサネット モードでの運用時は、6904 モジュールの各前面パネル ポートはポート ASIC の 4 つの仮想ポート(VP)にマッピングされます。10 ギガビット イーサネット モードでは、キューのセットで構成されるポート バッファのそれぞれが、一意の VP に関連付けられます。一方、40 ギガビット イーサネット モードでは、トラフィック フローに基づき 4 セットのキューをポート ASIC の 4 つの VP のいずれにでもマッピングできます。結果として、40 ギガビット イーサネット モード時のポート ASIC は図 11 に示すように 2 段階のスケジューリングを行い、各キューのセットから受信 MUX FPGA にトラフィックを分配します。第 1 段階の DWRR は、1 つの仮想ポートのすべてのキューで実行され、その後の第 2 段階の DWRR はすべての仮想ポートに実行されます。

図 11 6904 ポート ASIC 内の 40 ギガビット イーサネット DWRR の入力動作

図 11 6904 ポート ASIC 内の 40 ギガビット イーサネット DWRR の入力動作


ポート ASIC における DWRR の実装の性質上、DWRR による帯域幅の分散が保証されるのは、同じ VP にハッシュされるすべてのトラフィック フローのみとなります。

さらに、トラフィック フローの分散には、パケット サイズおよび CoS 値の 2 つのパラメータに注意し、同じ CoS 値のパケットが異なる VP をまたいで同じキューにマッピングされることにより、4 つの VP 間で不公平が生じないように、またヘッドオブライン(HOL)ブロッキングが発生しないようにします。

デュアル完全優先キューイング

6904 モジュールは、ハードウェア内にポート ベースの 2 つの完全優先キューを持つ Cisco Catalyst 6500 シリーズで初めてのラインカードです。表 3 にデュアルおよび非デュアルの完全優先キューイングのキュー タイプ構成を示します。

表 3 Cisco Catalyst 6904 モジュール上のキュー タイプの機能

キュー タイプ 入力(Rx) 出力(Tx)
シングル優先キュー(デフォルト) 1p7q4t 1p7q4t
デュアル優先キュー 2p6q4t 2p6q4t


6904 モジュールはデフォルトではシングル優先キュー モードで動作しますが、ソフトウェア構成オプションを指定して 2 レベルの優先キューイングを選択することもできます。この場合、ハードウェアが再構成され、2 つの優先キューと 6 つの標準キューが作成されます。つまり、このモジュールは、クラス マップの割り当てのためにソフトウェア経由で 2 つのレベルの優先度を構成できます。最優先レベルは BPDU などの重要な管理トラフィックに、また 2 番目の優先レベルはその他の即時性が必要なトラフィックに使用できます。

本機能の設定例を以下に示します。

Router(config-pmap-c)#class-map type lan-queuing pri_level1
Router(config-cmap)#match cos 6
Router(config-cmap)#class-map type lan-queuing pri_level2
Router(config-cmap)#match cos 5
Router(config-cmap)#policy-map type lan-queuing pri
Router(config-pmap)#class priority_level1
Router(config-pmap-c)#priority level 1
Router(config-pmap-c)#class pri_level2
Router(config-pmap-c)#priority level 2

Router(config)#int gi6/1
Router(config-if)#service-policy type lan-queuing in priority

ポートレベルおよびキューレベルのシェーピング

Cisco Catalyst 6904 モジュールは 6500 シリーズ向けのラインカードとしては初めてトラフィック シェーピング QoS 機能をサポートしました。2 つのレベルのシェーピングが可能であり、この機能は出力ポート上でキュー ベースで実行されます。トラフィックはまずキュー内で、次にポート レベルでシェーピングされます。

ポートレベル シェーピングは、規定レートを超過したトラフィックをシェーパが廃棄するのではなく、バッファするという点でポリシングとは異なることに注意が必要です。この新機能は 6904 モジュール上でネイティブにシェーピングをサポートし、既存の Shaped Round Robin(SRR)メカニズムを補完します。以前のソリューションでは、SRR と優先キューイングを同一のキューイング ポリシー上に設定できませんでした。ネイティブのポートレベル シェーピング機能の導入によって、1 つのポリシーに優先キューを定義したクラスを指定し、優先キューがシェーピングをサポートできるようになりました。6904 モジュールはさらに優先キュー シェーピングをサポートし、優先キューの全帯域幅を使い切らないようにしています。

キューレベル シェーピングの設定例を以下に示します。

Router(config-pmap)#class-map type lan-queuing cos1
Router(config-cmap)#match cos 1
Router(config-cmap)#class-map type lan-queuing cos2
Router(config-cmap)#match cos 2

Router(config-pmap-c)#policy-map type lan-queuing shape_queue
Router(config-pmap)#class cos1
Router(config-pmap-c)#shape aver per 20
Router(config-pmap)#class cos2
Router(config-pmap-c)#shape aver per 30

ポートレベル シェーピングの設定例を以下に示します。

Router(config-if)#policy-map type lan-queuing shape_port
Router(config-pmap)#class class-default
Router(config-pmap-c)#shape aver per 40
Router(config-pmap-c)#service-policy type lan-queuing shape_queue

表 4 に 6904 モジュールの QoS 機能の概要を示します。

表 4 Cisco Catalyst 6904 モジュールの QoS 機能

QoS 機能 40 ギガビット イーサネット モード入力(Rx) 40 ギガビット イーサネット モード出力(Tx) 10 ギガビット イーサネット モード入力(Rx) 10 ギガビット イーサネット モード出力(Tx)
WRR/DWRR 帯域幅 対応 対応 対応 対応
キューの制限 対応 対応 対応 対応
テールドロップしきい値 対応 対応 対応 対応
WRED しきい値 対応 対応 対応 対応
CoS-Q-T マップ 対応 対応 対応 対応
DSCP Q マップ 対応 対応 対応 対応
Shaped Round Robin(SRR) 対応 対応 対応 対応
ポート レベル シェーピング 非対応 対応 非対応 対応
デュアル完全優先キューイング 対応 対応 非対応 対応


上記の機能のサポート状況および関連するコンフィギュレーション コマンドについては、対象のソフトウェア リリースの QoS コンフィギュレーション ガイドを参考にすることを強く推奨します。

バッファ、キュー、およびしきい値のサイズ

40 ギガビット イーサネットと 10 ギガビット イーサネットの両方のモードで柔軟な運用を行うために、Cisco Catalyst 6904 では運用モードによって、異なるキュー単位のサイズを使用します。表 5 に各モードにおけるキューおよび合計のバッファ サイズを示します。これらのバッファまたはキュー サイズは、モジュールがパフォーマンス モードとオーバーサブスクリプション モードのどちらのモードで動作中の場合でも同じであることに注意してください。これは、設定したモードに従ってバッファサイズが変更される前世代のラインカード Cisco Catalyst 6716 とは対照的です。

表 5 PFC4 ベースのラインカードのバッファ、キューおよびしきい値

モジュール 説明 合計バッファ サイズ Rx バッファ サイズ Tx バッファ サイズ Rx ポート タイプ Tx ポート タイプ Rx キュー サイズ Tx キュー サイズ
WS-X6904-40G 40 ギガビット イーサネット ラインカード(40 ギガビット イーサネット モード) 93 MB 5 MB 88 MB 1p7q4t 1p7q4t
WRR
DWRR
SRR
SP:640 KB
Q7:640 KB
Q6:640 KB
Q5:640 KB
Q4:640 KB
Q3:640 KB
Q2:640 KB
Q1:640 KB
SP:11 MB
Q7:11 MB
Q6:11 MB
Q5:11 MB
Q4:11 MB
Q3:11 MB
Q2:11 MB
Q1:11 MB
WS-X6904-40G(10 ギガビット イーサネット モード) 40 ギガビット イーサネット ラインカード(10 ギガビット イーサネット モード) 22.25 MB 1.25 MB 21 MB 8q4t 1p7q4t
WRR
DWRR
SRR
Q8:160 KB
Q7:160 KB
Q6:160 KB
Q5:160 KB
Q4:160 KB
Q3:160 KB
Q2:160 KB
Q1:160 KB
Q8:2.65 MB
Q7:2.65 MB
Q6:2.65 MB
Q5:2.65 MB
Q4:2.65 MB
Q3:2.65 MB
Q2:2.65 MB
Q1:2.65 MB


Cisco Catalyst 6500 イーサネット ラインカードのバッファおよびキューの詳細については
http://www.cisco.com/web/JP/product/hs/switches/cat6500/prodlit/bqtc65em_wp.html を参照してください。

導入シナリオと使用例


従来のキャンパス

図 12 に示すネットワーク設計では、WS-X6904-40G モジュール(40 ギガビット イーサネット モードで動作中)は、ネットワークのディストリビューション レイヤおよびコア レイヤに配置され、別のレイヤ 2 またはレイヤ 3 のマルチレイヤ スイッチと相互接続しています。 従来のキャンパスへの導入では、6904 モジュールをネットワーク内のコアおよびディストリビューション レイヤに配置することができます。アクセス レイヤに 10 ギガビット イーサネット アップリンクが採用されるようになると、コアおよびディストリビューション レイヤの相互接続にはこれまでより高い帯域幅が必要になります。このネットワーク設計では、40 ギガビット イーサネット アップリンクを備える 6904 モジュールをディストリビューションまたはコア レイヤに配置することができます。これにより、2 つのコアを相互接続する EtherChannel において 80 ギガビット イーサネット トラフィック フローを可能にするほか、80 ギガビット超相当の等コスト マルチ パス トラフィックを提供することができます。

図 12 従来のキャンパスでの導入使用例

図 12 従来のキャンパスでの導入使用例


仮想化されたキャンパス

仮想化されたキャンパスへの導入では、仮想スイッチング システム(VSS)技術を使用して、ネットワークの帯域幅を倍増するとともに、スパニング ツリーを実行する必要性をなくして運用管理を簡素化します。このような導入事例では、アクセス レイヤに 10 ギガビット イーサネット アップリンクを採用することで、ディストリビューション レイヤへの 20 ギガビット イーサネット EtherChannel アップリンクを実現しています。図 13 に示すように、40 ギガビット イーサネット モードで動作する 6904 モジュールをネットワークのディストリビューションおよびコア レイヤに配置し、80 ギガビット イーサネット Multichassis EtherChannel(MEC)バンドルおよび 80 ギガビット イーサネット仮想スイッチ リンク(VSL)相互接続を使用して、2 つの VSS ドメインを相互接続することができます。

図 13 仮想化されたキャンパスでの導入使用例

図 13 仮想化されたキャンパスでの導入使用例


データセンター相互接続(DCI)

データセンター相互接続テクノロジーはレイヤ 3 相互接続上でデータセンター VLAN を拡張するために使用されます。この導入方法では、図 14 に示すように、40 ギガビット イーサネット モードで動作する 6904 モジュールをネットワークのコア レイヤに使用し、リモートのデータセンターを集約し、相互接続します。

図 14 データセンター相互接続の使用例

図 14 データセンター相互接続の使用例


Cisco ONS15454 のような、マルチサービス プロビジョニング プラットフォーム(MSPP)またはマルチサービス トランスポート プラットフォーム(MSTP)を使用して、DCI 使用例における 40 ギガビット イーサネットの動作を多重化し、拡張できます。

コア ネットワークまたはメトロポリタン アクセス ネットワーク(MAN)が IP ベースである場合、最適なハッシュ アルゴリズム オプションは、src-ipdst-ip、または src-dst-ip です。

コア ネットワークまたは MAN が MPLS ベースである場合、最適なハッシュ アルゴリズム オプションは mpls です。

40 ギガビット入力ハッシュの変更:

C6506.SW2(config)#interface FortyGigabitEthernet 1/1
C6506.SW2(config-if)#load-balance ?
   dst-ipDst IP Addr
   dst-mac       Dst Mac Addr
   mpls          Load Balancing for MPLS packets
   src-dst-ipSrc XOR Dst IP Addr
   src-dst-mac    Src XOR Dst Mac Addr
   src-dst-port   Src XOR Dst TCP/UDP Port
   src-ipSrc IP Addr
   src-mac       Src MAC Addr
   vlanVlan

C6506.SW2(config-if)#load-balance src-dst-port
C6506.SW2(config-if)#

40 ギガビット入力ハッシュ:

C6506.SW2#sho run int f1/1
Building configuration...

Current configuration: 116 bytes
!
interface FortyGigabitEthernet1/1
noip address
load-balance src-dst-port
end

C6506.SW2#sho int f1/1 load-balance
FortyGigabitEthernet1/1 Ingress Load-Balancing Configuration:
src-dst-port
C6506.SW2#

サーバ アクセス

このネットワーク設計では、WS-X6904-40G モジュール(40 ギガビット イーサネット モードで動作中)はネットワーク内のアクセス レイヤに配置され、40 ギガビット イーサネット NIC を備えるサーバ、または 40 ギガビット イーサネット ポートを備える中間レイヤ 2 スイッチと直接接続されています。

注: この設計シナリオにおいて最適なサーバ構成は、サーバ仮想化を使用する方法です(1 台の物理サーバに対して 4 の倍数の仮想マシン(VM)とする)。

この設計における主な制約は、使用するフローが 1 〜 3 つに限られることです。それぞれのフローは、4 つの 16 Gbps チャネルの 1 つにハッシュされるため、各フローは最大 10 Gbps までしか到達できません(感知できるスループットは 10 〜 30 Gbps 程度)。垂直方向のトラフィック設計において、レイヤ 3 サーバ仮想化が使用された場合(各 VM に別々の IP アドレスを持たせた場合)に最適なハッシュ アルゴリズム オプションは、src-ipdst-ip、または src-dst-ip です。水平方向のトラフィック設計において、レイヤ 2 サーバ仮想化が使用された場合(各 VM に別々の MAC アドレスを持たせた場合)に最適なハッシュ アルゴリズム オプションは、src-macdst-macsrc-dst-mac、または vlan です。もう 1 つのオプションとしてサーバの仮想化が不可能である場合(つまり、1 台の物理サーバで 1 つの MAC アドレスおよび IP アドレスしかない場合)、最適なハッシュ アルゴリズム オプションは、src-portdst-port、または src-dst-port で、別々のレイヤ 4 ポート番号を使用します。

まとめ


Cisco Catalyst 6904 4 ポート 40 ギガビット イーサネット モジュールは、キャンパスやデータセンターにおける 10 ギガビット イーサネットの集約、およびコアにおける高密度 10 ギガビット イーサネットおよび 40 ギガビット イーサネット伝送に対する需要の増大に対応するために設計されました。

Cisco Catalyst 6500 シリーズ スイッチの詳細については、Cisco Catalyst 6500 シリーズ スイッチ を参照してください。