Cisco Catalyst 6500 シリーズ

Cisco Catalyst 6500 Supervisor Engine 2T:レイヤ 2 のスケーラビリティの拡張

ホワイト ペーパー





Cisco Catalyst 6500 Supervisor Engine 2T:レイヤ 2 のスケーラビリティの拡張



概要


近年、構内でもデータ センターでも、ネットワークの進化にあたって仮想化の利用が進んでおり、今後もさらに多くの利用が見込まれています。時間と場所を問わずサービスを利用できるボーダレス ネットワークやクラウド コンピューティングのネットワークでは、規模を拡大してそういったアーキテクチャをサポートできるハードウェアが求められます。

このホワイト ペーパーでは、Policy Feature Card 4(PFC4)が搭載された Cisco® Catalyst® 6500 シリーズ Supervisor Engine 2T で、こういった環境をサポートするためのレイヤ 2 のスケーラビリティの拡張がどのように実現されるかを説明します。具体的には、レイヤ 2 のスケーラビリティに関して次の点を説明します。

  • MAC アドレス
  • レイヤ 2 インターフェイス
  • EtherChannel のハッシュ
  • ブリッジ ドメイン
  • Virtual Private LAN Service(VPLS; 仮想プライベート LAN サービス)

注: このホワイト ペーパーでは、「Supervisor Engine 2T」という用語が使用されます。この用語が特徴や機能に関連して使用される場合は、PFC4 が搭載された Supervisor Engine 2T および Distributed Feature Card 4(DFC4) が搭載されたラインカードで、その特徴や機能がサポートされていることを意味します。「Supervisor Engine 32」、「Supervisor Engine 720」、または「Supervisor Engine 32 および Supervisor Engine 720」という用語が使用される場合は、PFC3 および DFC3 でサポートされている特徴や機能を意味します。



MAC アドレスのスケーラビリティ

ネットワーク アーキテクチャで仮想デバイスの数が増加すると、ネットワーク ハードウェアでサポートされる MAC アドレスの数も増加します。Cisco Catalyst 6500 シリーズ Supervisor Engine 2T では、MAC アドレスのスケーラビリティに関して、ハッシュの効率の向上とテーブルのサイズの拡大という、2 つの重要な機能拡張が行われています。

ハッシュの効率の向上

図 1 に、Supervisor Engine 2T に搭載された Policy Feature Card 4(PFC4)でのレイヤ 2 フォワーディングの動作を示します。この動作は、Distributed Forwarding Card 4(DFC4)が搭載されたラインカードでも同様です。

図 1 Cisco Catalyst 6500 シリーズ Supervisor Engine 2T に搭載された PFC4 のレイヤ 2 フォワーディングの動作

図 1 Cisco Catalyst 6500 シリーズ Supervisor Engine 2T に搭載された PFC4 のレイヤ 2 フォワーディングの動作
※画像をクリックすると、大きな画面で表示されますpopup_icon


PFC4 または DFC4 によって実行されるレイヤ 2 フォワーディングの最初のステップは、着信フレームのブリッジ ドメイン(BD)と MAC アドレスをハッシュ関数への入力に使用することで、これによって MAC アドレス テーブルの開始ページと行が特定されます。ハッシュ関数は、明確に定義されたプロシージャまたは数学関数で、大量でサイズが変化するデータを、インデックスとして利用できる小さなデータに変換します。ハッシュ関数は、主に、データベース内の項目の検索など、テーブルの検索の高速化に使用されます。ハッシュ関数の問題点は、2 セット以上の入力が同じインデックスにマッピングされてコリジョンが発生する可能性がある点です。この場合、コリジョンとは、レイヤ 2 フォワーディングを実行している PFC4 または DFC4 で MAC アドレスを確認できないことを意味します。

ハッシュ関数が効率的であるほど、対応できる MAC アドレス テーブルのエントリ数が増え、発生するコリジョンが少なくなります。PFC4 と DFC4 で使用されるハッシュ関数の効率は 99% です。これは、システムで MAC アドレス テーブルの 99% 以上を利用できる(コリジョンが発生しなければ、MAC アドレス テーブルを 100% 利用できる)ことを意味しています。コリジョンが発生して MAC アドレスを確認できない場合、ハードウェア内でフラッディングが発生します(図 1 のステップ 3 を参照)。レイヤ 2 に関する動作はすべてハードウェアに基づくので、この場合、CPU への影響はありません。

Cisco Catalyst 6500 シリーズ スイッチ用の以前の PFC および DFC では、ハードウェアでのレイヤ 2 フォワーディングの動作を PFC4 および DFC4 と同様にサポートしていますが、PFC4 および DFC4 で使用されるハッシュ関数は、効率が 99% に向上しています。表 1 に、Cisco Catalyst 6500 シリーズ スイッチ用の各世代の PFC と DFC についての、ハッシュの効率の変化を示します。

表 1 Cisco Catalyst 6500 シリーズ スイッチ用の PFC および DFC のハッシュの効率

PFC/DFC の世代 MAC テーブルの最大サイズ ハッシュの効率 保証される MAC テーブルの利用量
PFC2/DFC 128K 25% 32K
PFC3A/3B/3BXL
DFC3A/3B/3BXL
64K 50% 32K
PFC3C/3CXL
DFC3C/3CXL
96K 90% 86K
PFC4/4XL
DFC4/4XL
128K 99% 127K

注:1 K = 1024

PFC4 が搭載された Supervisor Engine 2T は、より効率的なハッシュ関数をサポートすることによって、ネットワークで不要なトラフィックが発生するのを防止する、より効率的なインフラストラクチャを実現します。サーバ仮想化テクノロジーの導入で、1 つのリンクでサポートされるサービスの数が増加するため、これは、より効率的なリンクの使用が必要な仮想化インフラストラクチャにとって重要です。

テーブルのサイズの拡大

表 1 では、各世代の PFC と DFC の MAC アドレス テーブルのサイズの進化を示しました。最大の変化は PFC2 から PFC3 の間の変化です。MAC アドレス テーブルが、PFC2 ではスタンドアロンのチップで処理されていましたが、PFC3 ではレイヤ 2 フォワーディング用のチップで処理されるようになりました。MAC アドレス テーブルのサイズが徐々に増加してきたのと同様に、ハッシュの効率が向上したことも重要です。

これに関して、「エンタープライズ ネットワークではなぜそれほど大きな MAC アドレス テーブルが必要なのか」という質問がよくあります。その答えは、図 2 に示すように、エンタープライズ ネットワークで仮想化の導入が大幅に進んでいるからです。

図 2 MAC アドレスのスケーラビリティに関する要件

図 2 MAC アドレスのスケーラビリティに関する要件


従来のコンピューティング環境では、1 台の物理サーバで 1 つのアプリケーションが実行され、アクセス レイヤへのアクティブな接続は 1 つです。アグリゲーション レイヤでは、ホットスタンバイ ルータ プロトコル(HSRP)およびスパニング ツリー プロトコル(STP)の動作によって、各スイッチでアクティブになっているインターフェイスは半数のみです(データ センター アーキテクチャでは 10 ギガビット イーサネットが使用されている可能性が最も高い)。この環境で実行されている仮想マシン(VM)はないので、ディストリビューション レイヤで必要となる MAC アドレスの最大数は概算で次のようになります。

      最大の 10G の密度 = 130 ポート(6509-E、8 x WS-X6716-10G-3C/3CXL)

      最大の 10G の密度(HSRP/STP が動作している場合):65

      アクセス レイヤでの最大の 1G の密度 = 384 ポート(8 x WS-X6748-GE-TX)

      1G のホストあたりの MAC アドレスの数 = 1

      ディストリビューション レイヤでの MAC アドレスの最大数 =(65 * 384 * 1) = 24,576

仮想化されたコンピューティング環境では、各物理サーバで複数の VM が実行され、Cisco Catalyst 6500 シリーズ Virtual Switching System(VSS; 仮想スイッチング システム)によりアクセス レイヤへのアクティブな接続が複数あります。ディストリビューション レイヤでは、VSS によって、各スイッチのすべてのインターフェイスがアクティブになります。MAC アドレスの最大数によって、VSS へ接続しているポッドでサポートできる VM の総数が決まります。各ネットワーク インターフェイス カード(NIC)に 1 つと、サーバの移行(VMware vMotion を利用した移行など)に 1 つで、各 VM で 3 つの MAC アドレスが使用されるので、テーブルのサイズが 128 K の場合、PFC4 で最大 42,666 台の VM をサポートできます。PFC3 でサポートが可能だった VM の台数(32,000 台)と比較すると、10,000 台以上の増加となっています。

また、サポートできる VM の台数が増えるということは、Supervisor Engine 2T を利用するネットワークでネットワーク要素やサーバも多数必要になるということを意味します。これは、消費電力の減少、占有面積の縮小、冷却のコストの削減につながり、エネルギー効率と環境保護についての組織の方針に容易にあわせることができるようになります。

レイヤ 2 インターフェイス


Supervisor Engine 2T では、スーパーバイザのベースボード上に 2 Tbps の統合型のスイッチ ファブリックがあります。このスイッチ ファブリックは、さまざまな Cisco Catalyst 6500-E シリーズのシャーシのスロットに分配される 26 のファブリック チャネルで構成されています。26 のファブリック チャネルがあるため、すべてのシャーシのすべてのスロットに 2 つのファブリック チャネルが分配され、各スロットに搭載されるラインカードで使用できます。以前のスイッチ ファブリックは、Supervisor 2 の場合は専用のラインカード上に、Supervisor Engine 720(すべてのバージョン)の場合はベースボード上にあり、18 のファブリック チャネルを備えています。これによって、6513 を除くすべてのシャーシのすべてのスロットにデュアル ファブリック チャネルを分配することが可能でした。図 3 に、18 チャネルのスイッチ ファブリックの場合の Cisco Catalyst 6513 スイッチ シャーシでのファブリック チャネルの分配を示します。

図 3 Cisco Catalyst 6513 スイッチでのファブリック チャネルの分配

図 3 Cisco Catalyst 6513 スイッチでのファブリック チャネルの分配


スロット 9 〜 13 ではデュアル ファブリック チャネルがサポートされますが、スロット 1 〜 8 でサポートされるのはシングル ファブリック チャネルです。つまり、すべての 6700 ラインカード(6724 を除く)などの、デュアル ファブリック チャネルが必要なラインカードの使用は、スロット 9 〜 13 に制限されます。この制約によって、6513 シャーシの高性能インターフェイスの密度が低くなるため、高性能インターフェイスの密度を最大限に高める必要がある場合は、6509-E シャーシの方が優れた選択肢となります(表 2 を参照)。

表 2 高性能インターフェイスの密度(Cisco Catalyst 6509-E スイッチ シャーシと 6513 スイッチ シャーシの比較)

インターフェイス タイプ 6509-E の密度 6513 の密度
48 ポート 10/100/1000
WS-X6748-GE-TX
384 240
48 ポート GE SFP
WS-X6748-SFP
384 240
4 ポート 10G 光ファイバ WS-X6704-10GE 32 20
8 ポート 10G 光ファイバ WS-X6708-10G-3C 64 40
16 ポート 10G 光ファイバ
WS-X6716-10G-3C
128 80
16 ポート 10G 銅線 WS-X6716-10G-3C 128 80


2010 年 6 月に、Cisco Catalyst 6513-E スイッチ シャーシが発表されました。このシャーシでは、13 個のスロットのすべてでデュアル ファブリック チャネルを利用でき、Supervisor Engine 2T を使用した場合のレイヤ 2 インターフェイスの密度が向上します。図 4 に、6513-E シャーシでのファブリック チャネルの分配を示します。

図 4 Cisco Catalyst 6513-E スイッチでのファブリック チャネルの分配

図 4 Cisco Catalyst 6513-E スイッチでのファブリック チャネルの分配


6513-E シャーシのスロット 1 〜 8 でデュアル ファブリック チャネルを利用するには、Supervisor Engine 2T を使用する必要があります。Supervisor Engine 2T には、これらのスロットに対応した 8 つの追加のファブリック チャネルがあるためです。Supervisor Engine 720(どのバージョンでも同様)を使用する場合、6513-E シャーシのファブリック チャネルのパターンは、図 3 で示したように 6513 シャーシのファブリック チャネルのパターンと同じです。

Supervisor Engine 2T では、6513-E シャーシのすべてのラインカードのスロットで高速インターフェイスをサポートできるので、1 台のシャーシで実現できる、こういったタイプのインターフェイスの最大密度は、最大で 120% 向上します。表 3 に、Supervisor Engine 720 を 6509-E シャーシおよび 6513 シャーシと使用した場合と、Supervisor Engine 2T を 6513-E シャーシと使用した場合の密度との違いを示します。

表 3 高性能インターフェイスの密度:Cisco Catalyst 6509-E および 6513 を Supervisor 720 と使用した場合と、Cisco Catalyst 6513-E を Supervisor 2T と使用した場合の比較

インターフェイス タイプ Supervisor720 と 6509-E での密度 Supervisor720 と 6513 での密度 Supervisor 2T と 6513-E での密度 増加率 (6509-E/6513)
48 ポート 10/100/1000 WS-X6748-GE-TX 384 240 528 +37.5%/+120%
48 ポート GE SFP WS-X6748-SFP 384 240 528 +37.5%/+120%
4 ポート 10G 光ファイバ WS-X6704-10GE 32 20 44 +37.5%/+120%
8 ポート 10G 光ファイバ(2:1)WS-X6708-10G-3C 64 40 88 +37.5%/+120%
16 ポート 10G 光ファイバ WS-X6716-10G-3C 128 80 176 +37.5%/+120%
16 ポート 10G 銅線 WS-X6716-10G-3C 128 80 176 +37.5%/+120%
8 ポート 10G 光ファイバ(1:1)WS-X6908-10G N/A N/A 88 N/A
4 ポート 40G 光ファイバ WS-X6904-40G-CFP N/A N/A 44 N/A

注:Supervisor Engine 2T を 6513-E シャーシと使用する場合、スーパーバイザ スロット(7 および 8)を使用できるのは Supervisor Engine 2T だけです。Supervisor Engine 2T の密度の数値がすべて 11 の倍数になるのはこのためです。こういった制約があるのは、このスーパーバイザとシャーシの組み合わせだけです。

Supervisor Engine 2T は Virtual Switching System(VSS; 仮想スイッチング システム)モードをサポートしています。このモードでは、表 3 で示されているように、インターフェイスの数が倍増します。

EtherChannel のハッシュ


Cisco Catalyst 6500 シリーズ スイッチでは、EtherChannel バンドル(最大で 8 つの物理リンクの集約帯域幅を提供する単一の論理リンク)を作ることが可能です。たとえば、図 5 で示すように、4 つの 10 ギガビット イーサネットの物理リンクをまとめて 1 つの 40 ギガビット イーサネットの論理リンクを形成することができます。

図 5 EtherChannel の概念

図 5 EtherChannel の概念


EtherChannel が作成されるとシステムで 1 つの論理リンクとして認識されますが、その論理リンクは個別の物理リンクで構成されています。システムでフォワーディングの決定が行われる際には、EtherChannel 内のどのリンクをフローで使用するかの決定にハッシュ関数が使用されます (Cisco Catalyst 6500 シリーズ スイッチでは、パケットごとのロード バランシングはサポートされていません)。このハッシュ関数への入力はユーザによって決定され、デフォルトではフローの送信元の IP と送信先の IP です(詳細については、port-channel load-balance コマンドについての記述 [英語] を参照してください)。ハッシュ関数からの出力は、8 ビットの文字列で表現できる値の 1 つに対応する 16 進数の文字列です。

EtherChannel に関する Supervisor Engine 2T の機能拡張では、ハッシュ アルゴリズムの計算で出力される可能性のある結果の数についても拡張されています。Supervisor Engine 2T より前のスーパーバイザでは、ハッシュ関数によって 3 ビットの結果が得られます。つまり、各回の計算で出力される可能性があるのは、8 種類の結果のうちの 1 つです。Supervisor Engine 2T では、ハッシュ関数で 8 ビットの結果が得られます。つまり、各回の計算で出力される可能性があるのは、256 種類の結果のうちの 1 つです。これは、Supervisor Engine 2T を使用すると、ハッシュが行われたときの結果のプールが大きくなり、フローがより均等に EtherChannel 内のリンクに分散されることを意味します。表 4 および表 5 に、結果の数が増えることで、どのように、より効果的にリンクを使用できるようになるかを示します。

表 4 リンクごとの EtherChannel のハッシュの結果(Supervisor Engine 2T より前)

EtherChannel 内のリンクの数 リンクごとの結果の数
1 8
2 4
3 2 つのリンクでは 3 種類の結果
1 つのリンクでは 2 種類の結果
4 2
5 3 つのリンクでは 2 種類の結果
2 つのリンクでは 1 種類の結果
6 2 つのリンクでは 2 種類の結果
4 つのリンクでは 1 種類の結果
7 1 つのリンクでは 2 種類の結果
6 つのリンクでは 1 種類の結果
8 1


表 5 リンクごとの EtherChannel のハッシュの結果(Supervisor Engine 2T)

EtherChannel 内のリンクの数 リンクごとの結果の数
1 256
2 128
3 1 つのリンクでは 86 種類の結果
2 つのリンクでは 85 種類の結果
4 64
5 1 つのリンクでは 52 種類の結果
4 つのリンクでは 51 種類の結果
6 4 つのリンクでは 43 種類の結果
2 つのリンクでは 42 種類の結果
7 4 つのリンクでは 37 種類の結果
3 つのリンクでは 36 種類の結果
8 32


Supervisor Engine 2T を使用すると、EtherChannel のリンクごとにより多くの結果をサポートでき、EtherChannel で(特に、リンクの数が 2 の累乗ではない EtherChannel で)より効率的にリンクを使用できるようになります。IP、MAC、およびレイヤ 4 ポートの数が大きく変化する可能性が高い仮想化環境では、より多くのハッシュの結果を使用できると、EtherChannel のリンクでフローがより均等に分散される可能性が高まります。

ブリッジ ドメイン


Cisco Catalyst 6500 シリーズ スイッチと Supervisor Engine 2T には、ブリッジ ドメイン(BD)と論理インターフェイス(LIF)という 2 つの新しい概念が導入されています。ブリッジ ドメインはレイヤ 2 の VLAN を表すために使用され、論理インターフェイスは、スイッチ仮想インターフェイス(SVI)、トンネル インターフェイス、ルータ ポートなどのレイヤ 3 インターフェイスを表すために使用されます。

Supervisor Engine 2T が発表される前は、VLAN はシステムによって内部で使用され、レイヤ 2 の VLAN だけでなくレイヤ 3 インターフェイスも表していました。図 6 と図 7 に、Supervisor Engine 2T、Supervisor Engine 32、および Supervisor Engine 720 の違いを示します。

図 6 Supervisor Engine 32 および Supervisor Engine 720 の VLAN の使用方法

図 6 Supervisor Engine 32 および Supervisor Engine 720 の VLAN の使用方法


図 7 Supervisor Engine 2T の VLAN の使用方法

図 7 Supervisor Engine 2T の VLAN の使用方法

* ソフトウェアの最初のリリースでサポートされるのは、4-K のブリッジ ドメインです。

Supervisor Engine 2T では、レイヤ 2 とレイヤ 3 のリソースが区別されることによって、両方のタイプのインターフェイスのスケーラビリティが向上しています。Supervisor Engine 32 および Supervisor Engine 720 では、レイヤ 2 およびレイヤ 3 のインターフェイスのプールは合計で 4096 でしたが、Supervisor Engine 2T では、レイヤ 2 およびレイヤ 3 のプールは、それぞれ 16,384(最初のソフトウェア リリースでサポートされるのは 4096)および 131,072 です。

使用可能なインターフェイスの数の増加に加えて、Supervisor Engine 2T のブリッジ ドメインの機能によって、異なるインターフェイスでの VLAN の再使用が可能になります。たとえば、VLAN 10 を 2 つの異なる物理インターフェイスで構成して、2 つの異なるブリッジ ドメインに配置することが可能です。これが可能なのは、VLAN が、Supervisor Engine 32 および Supervisor Engine 720 ではグローバルで認識されましたが、Supervisor Engine 2T ではポートのレベルで認識されるためです。

1 つのポートで最大 4096 の VLAN をサポートでき、ポートの総数と VLAN の組み合わせを制限するのは、使用可能な BD のプールのみです。たとえば、40 個のポートのそれぞれで、同じ 102 の VLAN をサポートし、それぞれが異なるブリッジ ドメインに属するようにシステムを構成できます。

Virtual Private LAN Service(VPLS; 仮想プライベート LAN サービス)


サーバ仮想化テクノロジーの導入の増加に伴って、データ センター アーキテクチャの構築の方法が変わりつつあります。以前は、データ センター間での VLAN の分散は推奨されていませんでしたが、マルチポイントの、地理的に離れた場所の間のレイヤ 2 接続を必要とするサーバの移行が可能になり、推奨事項が変わりつつあります。

こういった要件をサポートするために、Cisco Catalyst 6500 シリーズ スイッチでは Virtual Private LAN Service(VPLS; 仮想プライベート LAN サービス)がサポートされています。VPLS は、IP または Multiprotocol Label Switching(MPLS; マルチプロトコル ラベル スイッチング)のバックボーンを介して、イーサネットをベースとした、マルチポイント間の接続を実現するテクノロジーです。

図 8 に、VPLS のアーキテクチャの例を示します。カスタマー エッジ(CE)のデバイスがプロバイダー エッジ(PE)のデバイスに接続され、バックボーンを通じて他の PE のデバイスへ、擬似回線が確立されます。この擬似回線を利用することで、このアーキテクチャのバックボーンがレイヤ 3 のバックボーンでも、地理的に分散しているデータ センターを同じイーサネット ブロードキャスト ドメインに配置できます。そのため、サーバですべてのサイトの間のレイヤ 2 接続が認識され、必要に応じてサーバの場所を移動できます。

図 8 VPLS のアーキテクチャ

図 8 VPLS のアーキテクチャ


以前のスーパーバイザと比較すると、Supervisor Engine 2T では、Cisco Catalyst 6500 シリーズのシステムでサポートできる擬似回線の数が大幅に増加します。Supervisor Engine 2T でサポートされる最初のバージョンのコードである Cisco IOS® ソフトウェア リリース 12.2(50)SY では、最大で 4096 個の VPLS インスタンスがサポートされます(以前のスーパーバイザは 2048 個でした)。表 6 に、Supervisor Engine 2T で導入されているその他の機能拡張を示します。

表 6 VPLS についての機能拡張(Supervisor Engine 2T と PFC4 および DFC4 を使用する場合)

機能 Supervisor 32/720 (PFC3/DFC3) Supervisor 2T (PFC4/DFC4)
VPLS インスタンスの数 2048 4096*
VPLS のコア対応インターフェイス SIP/SPA が必要 あらゆるイーサネット インターフェイスに対応
H-VPLS のコア対応インターフェイス SIP/SPA が必要 あらゆるイーサネット インターフェイスに対応

* 今後のコードの拡張により 16384 になる予定

Supervisor Engine 2T では、VPLS インスタンスの数が増加しているだけでなく、VPLS または階層型 VPLS(H-VPLS)のネットワークのコア対応インターフェイスとしてシステムであらゆるイーサネット インターフェイスを使用できます。以前の Supervisor Engine 32 および Supervisor Engine 720 をベースとしたシステムでは、この機能を実現するために共有ポート アダプタ(SPA)インターフェイス プロセッサ(SIP)が必要でした。こういった専用のモジュールが不要になったので、VPLS ネットワークを容易に低コストで導入できます。

Cisco Catalyst 6500 シリーズ スイッチおよび Supervisor Engine 2T での VPLS および H-VPLS の詳細については、Cisco.com で『Catalyst 6500 Supervisor Engine 2T VPLS Guide』 [英語] を参照してください。

まとめ


このドキュメントでは、Policy Feature Card 4(PFC4)が搭載された Supervisor Engine 2T および Distributed Feature Card 4(DFC4)が搭載されたラインカードによって、仮想化されたレイヤ 2 環境をサポートするための L2 のスケーラビリティの拡張がどのようにサポートされるかを説明しました。より効率的な EtherChannel のハッシュとブリッジ ドメインの導入によって、MAC アドレス テーブルのサイズ、レイヤ 2 インターフェイスの密度、および Virtual Private LAN Service(VPLS; 仮想プライベート LAN サービス)インスタンスが増加しているので、Cisco Catalyst 6500 シリーズ スイッチと Supervisor Engine 2T は、仮想化が必要なネットワークに導入するのに理想的です。