ルータ : Cisco 12000 シリーズ ルータ

Cisco 12000 シリーズ インターネット ルータのアーキテクチャ:スイッチ ファブリック

2003 年 12 月 17 日 - ライター翻訳版
その他のバージョン: PDFpdf | 機械翻訳版 (2013 年 8 月 21 日) | 英語版 (2005 年 7 月 7 日) | フィードバック

目次

概要
前提条件
      要件
      使用するコンポーネント
      表記法
バックプレーン
スイッチ ファブリック
クロック スケジューラ カード(CSC)
スイッチ ファブリック カード(SFC)
     冗長性と帯域幅
     スイッチ ファブリック カードのためのトラブルシューティングのヒント
     スイッチ ファブリックの設計
シスコ セル
関連するシスコ サポート コミュニティ ディスカッション
関連情報

概要

この文書では、バックプレーン、スイッチ ファブリック、Clock and Scheduler Card(CSC; クロック スケジューラ カード)、Switch Fabric Card(SFC; スイッチ ファブリック カード)、シスコ セルなど、Cisco 12000 シリーズ インターネット ルータのハードウェア コンポーネントの一部について検証します。

前提条件

要件

この文書に関する特別な要件はありません。

使用するコンポーネント

この文書の情報は、次のハードウェアに基いています。

  • Cisco 12000 シリーズ インターネット ルータ

この文書の情報は、特定のラボ環境にあるデバイスに基づいて作成されています。 この文書で使用するすべてのデバイスは、クリアな状態(デフォルト)から設定作業を始めています。 対象のネットワークが実稼動中である場合には、すべてのコマンドによる潜在的な影響について確実に理解しておく必要があります。

表記法

文書表記の詳細は、『シスコ テクニカル ティップスの表記法』を参照してください。

バックプレーン

Cisco 12000 スイッチ ファブリックについて考察する前に、バックプレーンについて考察してみましょう。

シャーシの前面には、Gigabit Route Processor(GRP; ギガビット ルート プロセッサ)および Line Card(LC; ラインカード)が取り付けられており、パッシブ バックプレーンに差し込まれています。 このバックプレーンに用意されているシリアル回線によって、すべてのラインカードがスイッチ ファブリック カードに相互接続されるだけでなく、電源やメンテナンス機能のための他の接続部も相互接続されています。 120xx モデルでは、2.5 Gbps のシャーシ スロットそれぞれに最大 4 つの 1.25 Gbps のシリアル回線接続が可能であり、1 つのシリアル回線をそれぞれスイッチ ファブリック カードに接続すると、スロット当たり合計 5 Gbps の容量、または全二重の場合 2.5 Gbps の容量を実現できます。 124xx モデルでは、10 Gbps の各シャーシ スロットに 4 回線のシリアル回線接続が 4 セット使用され、全二重の場合各スロットで 20 Gbps のスイッチング容量を実現できます。

また、ラインカードのすべてのモデルには、冗長 Clock and Scheduler Card(CSC; クロック スケジューラ カード)に接続できる 5 つ目のシリアル回線が用意されています。

スイッチ ファブリック

Cisco 12000 シリーズ インターネット ルータでは、ギガビットの速度で高容量のスイッチングを行うことができるように最適化されている、マルチギガビット クロスバー スイッチ ファブリックがその核心となっています。 このクロスバー スイッチでは、次の 2 つの理由により高いパーフォーマンスが実現されています。

  • ラインカードから中央集中型ファブリックにはポイントツーポイント リンクで接続されているため、非常に高速に動作できます。

  • 複数のバス トランザクションを同時にサポートできるため、システムの集約帯域幅が増加します。 Switch Fabric Card(SFC; スイッチ ファブリック カード)は、スケジューリング情報とクロッキング基準を Clock Scheduler Card(CSC; クロック スケジューラ カード)から受信し、スイッチング機能を実行します。 SFC は NxN(N はスロット数)のマトリックスと考えることができます。

このアーキテクチャでは、複数のラインカードで同時にデータの送受信を行うことができます。 CSC は、特定のファブリック サイクルでデータの送信を行うラインカードおよび受信を行うラインカードを選択します。

スイッチ ファブリックは、次のトラフィックに対して物理的なパスを提供します。

  • 電源投入時の Route Processor(RP; ルート プロセッサ)からラインカードへの初期ファブリック ダウンローダ

  • Cisco Express Forwarding の更新

  • ラインカードからの統計情報

  • トラフィック交換

次に、これらの機能の詳細を説明します。

スイッチ ファブリックは、NxN の非ブロッキング クロスバー スイッチ ファブリックです。この場合、N はシャーシ(GRP を含む)でサポートされる LC の最大数を表します。 これにより、各スロットはファブリックを通してトラフィックの送信および受信を同時に行うことができます。 非ブロッキング アーキテクチャで同時に複数のラインカードが他のラインカードに送信できるようにするために、各 LC には N+1 個の Virtual Output Queuing(VOQ; 仮想出力キュー)が装備されています(ラインカードの送信先ごとに 1 つずつ、マルチキャスト用に 1 つ)。

あるインターフェイスにパケットが着信すると、ルックアップが実行されます(ハードウェアで実行されるか、あるいはソフトウェアで実行されるかは、LC や設定されている機能によって異なります)。 ルックアップによって、出力 LC、インターフェイス、および適切な Media Access Control(MAC; メディア アクセス制御)レイヤの書き換え情報が決定されます。パケットは、ファブリックを通して出力 LC に送信される前に、シスコ セルに分割されます。 次に、シスコ セルを特定の出力 LC に送信するための権限要求がクロック スケジューラに対して送信されます。 1 つのセルは、1 つのファブリック クロック サイクルごとに E0 LC によって送信され、4 つのファブリック クロック サイクルごとに E1 以上の LC によって送信されます。 出力 LC によってこれらのシスコ セルがパケットに再構成され、パケットとともに送信された MAC 書き換え情報を使用して MAC レイヤの書き換えが実行され、パケットは送信のために適切なインターフェイスにキューイングされます。

LC 上のあるインターフェイスで着信され、同じ LC 上の別のインターフェイス(またはサブインターフェイスの場合は同じインターフェイス)で送信される場合でも、パケットはシスコ セルにセグメント化されてファブリックを通して送り返されます。

swfabric1.gif

クロック スケジューラ カード(CSC)

CSC はラインカードから送信要求を受け入れ、ファブリックへのアクセス許可を発行してから、システム内のすべてのカードに基準クロックを提供してクロスバーでのデータ転送の同期を取ります。 同時に複数の CSC がアクティブになることはありません。

CSC は、システムに 2 枚目の(冗長)CSC が取り付けられている場合に限り、システムの通常動作を中断せずに取りはずしや交換ができます。 システムの通常動作を維持するには、常に最低 1 枚の CSC が取り付けられており、動作している必要があります。 2 枚目の CSC によって、データ パス、スケジューラ、および基準クロックに冗長性が提供されます。 ラインカードとスイッチ ファブリックとの間のインターフェイスは、常に監視されています。 Loss of Synchronization(LoS; 同期損失)が検出されると、冗長 CSC のデータ パスが自動的にアクティブになり、冗長パスを通してデータが送信されます。 冗長 CSC への切り替えはマイクロ秒単位で行われるため、データの損失はほとんどありません。

スイッチ ファブリック カード(SFC)

Cisco 12008、12012、および 12016 では、3 枚の SFC のセットをオプションでルータに取り付けると、いつでもルータのスイッチ ファブリック容量を増加させることができます。 この構成はフル帯域幅と呼ばれます。 このSFC カードによって、ルータのデータ処理容量が増加します。 1 枚の SFC またはすべての SFC は、システム動作を中断したりルータの電源をオフにせずに、取りはずしたり交換できます。 任意の SFC が動作していない期間は、ルータのデータ処理およびスイッチング機能のための潜在的なデータ パスとしての、SFC のルータへのデータ伝送キャパシティが失われます。

冗長性と帯域幅

Switch Fabric Card(SFC; スイッチ ファブリック カード)および Clock Scheduler Card(CSC; クロック スケジューラ カード)によって、システムの物理スイッチ ファブリックが構成され、ラインカードとルート プロセッサの間でデータや制御パケットを伝送するシスコ セルのクロッキングが提供されます。

Cisco 12008、12012、および 12016 では、ルータが動作するには CSC カードが最低 1 枚必要です。CSC が 1 枚だけで SFC カードが 1 枚もない状態を 1/4 帯域幅といい、エンジン 0 のラインカードでだけ動作します。他のラインカードがシステム内に存在する場合、これらのラインカードは自動的にシャットダウンされます。エンジン 0 以外のラインカードが必要な場合、ルータにフル帯域幅(3 枚の SFC と 1 枚の CSC)を構成する必要があります。冗長性が必要な場合、2 枚目の CSC が必要です。 この冗長 CSC は、CSC または SFC のいずれかに障害が発生した場合にだけ動作します。 冗長 CSC は、CSC または SFC として動作可能です。

12416、12406、12410、および 12404 では、フル帯域幅が必要です。

次に、スイッチ ファブリックの冗長性および帯域幅についてのその他の重要事項を示します。

  • すべての 12000 シリーズ ルータには、最大 3 枚の SFC と 2 枚の CSC が取り付けられています。ただし、12410 シリーズには 5 枚の専用 SFC と 2 枚の専用 CSC が取り付けられており、12404 にはすべての CSC/SFC 機能を内蔵したボードが 1 枚取り付けられています。 12404 の場合、冗長性がありません。

  • 12008、12012、12016、12406、および 12416 では、CSC カードはスイッチ ファブリック カードとしても機能します。 これは、フル帯域幅の冗長構成を実現するには 3 枚の SFC と 2 枚の CSC だけが必要となるためです。 12410 には、専用クロック スケジューラ カード、スイッチ ファブリック カードがあります。 フル帯域幅の冗長構成を実現するには、2 枚の CSC と 5 枚の SFC が必要となります。

  • シャーシにエンジン 0 の LC 以外何もない場合、1/4 帯域幅構成は 12008、12012、12016 でしか使用できません。 12400 シリーズ シャーシで使用される CSC192 および SFC192 では、1/4 帯域幅構成はサポートされていません。

次に、各プラットフォームのためのスイッチ ファブリックに関するリンクを示します。

Cisco 12008 インターネット ルータ

CSC は上段カード ケージ、SFC はエアー フィルタ アセンブリのすぐ後ろにある下段カード ケージに取り付けられています(『製品概要文書』の「図 1-22:下段カード ケージ内のコンポーネント」を参照)。

詳細は次の文書で参照してください。

Cisco 12012 インターネット ルータ

CSC および SFC の両方とも 5 スロット下段カード ケージに取り付けられています。 前面図」および「下段カード ケージ」を参照してください。

詳細は次の文書で参照してください。

Cisco 12016/12416 インターネット ルータ

現在、Cisco 12016 では、次の 2 つのスイッチ ファブリックを選択できます。

  • 2.5 Gbps スイッチ ファブリック(80 Gbps スイッチング システム帯域幅):GSR16/80-CSC と GSR16/80-SFC のファブリックの組み合せで構成されます。 SFC または CSC の各カードによって、システム内の各ラインカードに 2.5 Gbps の全二重接続が可能になります。 16 枚のラインカードを持つ Cisco 12016 で、各ラインカードのキャパシティを 2 x 2.5 Gbps(全二重)にした場合、システム スイッチング帯域幅は 16 x 5 Gbps = 80 Gbps となります (以前のスイッチ ファブリックを 80-Gbps スイッチ ファブリックと呼ぶこともあります)。

  • 10 Gbps スイッチ ファブリック(320 Gbps スイッチング システム帯域幅):GSR16/320-CSC と GSR16/320-SFC のファブリックの組み合せで構成されます。 SFC または CSC の各カードによって、システム内の各ラインカードに 10 Gbps の全二重接続が提供されます。 16 枚のラインカードを持つ Cisco 12016 で、各ラインカードのキャパシティを 2 x 10 Gbps(全二重)にした場合、システム スイッチング帯域幅は 16 x 20 Gbps = 320 Gbps となります (新しいスイッチ ファブリックを 320-Gbps スイッチ ファブリックと呼ぶこともあります)。

Cisco 12016 ルータに 320 Gbps スイッチング ファブリックが使用されている場合、Cisco 12416 インターネット ルータと呼ばれます。

CSC および SFC は、5 スロット スイッチ ファブリック カード ケージに取り付けられています。

詳細は次の文書で参照してください。

Cisco 12404 インターネット ルータ

Cisco 12404 には Consolidated Switch Fabric(CSF; 統合スイッチ ファブリック)というボードが 1 枚取り付けられているため、ラインカードおよび RP の同期の取れた速度での相互接続が可能です。 CSF 回路はクロック スケジューラとスイッチ ファブリック機能で構成されており、1 枚のカードに収められています。 CSF カードは、Cisco 12404 インターネット ルータ シャーシ内の、FABRIC ALARM とラベル付けされた下部スロットに収容されています。

詳細は次の文書で参照してください。

Cisco 12410 インターネット ルータ

Cisco 12410 のスイッチ ファブリックは、スイッチ ファブリックおよびアラーム カード ケージに取り付けられている、2 枚の Clock and Scheduler Card(CSC; クロック スケジューラ カード)および 5 枚の Switch Fabric Card(SFC; スイッチ ファブリック カード)で構成されています。 アクティブなスイッチ ファブリックには、1 枚の CSC と 4 枚の SFC が必要となります。2 枚目の CSC と 5 枚目の SFC によって、冗長性が提供されます。 スイッチ ファブリックおよびアラーム カード ケージの 2 枚のアラーム カードは、スイッチ ファブリックの一部ではありません。

Cisco 12000 シリーズの他のシステムとは異なり、Cisco 12410 では最新の 10 Gbps スイッチ ファブリックだけをサポートしています。 SFC または CSC の各カードによって、システム内の各ラインカードに 10 Gbps の全二重接続が提供されます。 このため、10 枚のラインカードを持つ Cisco 12410 で、各ラインカードのキャパシティを 2 x 10 Gbps(全二重)にした場合、システム スイッチング帯域幅は 10 x 20 Gbps = 200 Gbps となります。

詳細は次の文書で参照してください。

Cisco 12416 インターネット ルータ

Cisco 12016』インターネット ルータを参照してください。

スイッチ ファブリック カードのためのトラブルシューティングのヒント

12016 および 12416 のスイッチ ファブリック カードの挿入は容易ではなく、多少力強く差し込む必要がある場合もあります。 正しく挿入されていない CSC があると、次のようなエラーメッセージが表示されます。

%MBUS-0-NOCSC: Must have at least 1 CSC card in slot 16 or 17 
   %MBUS-0-FABINIT: Failed to initialize switch fabric infrastructure

1/4 帯域幅構成に必要なだけの CSC および SFC しか挿入されている場合も、このようなエラーメッセージが表示されることがあります。 この場合、E1 以上の LC はブートしません。

CSC または SFC で、カードが正しく取り付けられているかどうかを確認するためには、4 つのライトが「点灯」していることを確認する方法があります。 点灯していない場合は、当該のカードが正しく取り付けられていないことになります。

ファブリックおよび LC がブートしない問題に対処する場合、必要な CSC および SFC がすべて正しく挿入され、電源がオンになっているかどうかを確認する必要があります。 たとえば、フル帯域幅の冗長システムを実現するには、12016 では 3 枚の SFC と 2 枚の CSC が必要です。 フル帯域幅の非冗長システムを実現するには、3 枚の SFC と 1 枚の CSC が必要です。

show version コマンドおよび show controller fia コマンドの出力から、現在ボックス内で動作しているハードウェア構成を確認できます。

Thunder#show version 
   Cisco Internetwork Operating System Software 
   IOS (tm) GS Software (GSR-P-M), Experimental Version 12.0(20010505:112551) 
   [tmcclure-15S2plus-FT 118] 
   Copyright (c) 1986-2001 by cisco Systems, Inc. 
   Compiled Mon 14-May-01 19:25 by tmcclure 
   Image text-base: 0x60010950, data-base: 0x61BE6000
   ROM: System Bootstrap, Version 11.2(17)GS2, [htseng 180] EARLY DEPLOYMENT 
   RELEASE SOFTWARE (fc1) 
   BOOTFLASH: GS Software (GSR-BOOT-M), Version 12.0(15.6)S, EARLY DEPLOYMENT 
   MAINTENANCE INTERIM SOFTWARE
   Thunder uptime is 17 hours, 53 minutes 
   System returned to ROM by reload at 23:59:40 MET Mon Jul 2 2001 
   System restarted at 00:01:30 MET Tue Jul 3 2001 
   System image file is "tftp://172.17.247.195/gsr-p-mz.15S2plus-FT-14-May-2001"
   cisco 12012/GRP (R5000) processor (revision 0x01) with 262144K bytes of memory. 
   R5000 CPU at 200Mhz, Implementation 35, Rev 2.1, 512KB L2 Cache 
   Last reset from power-on
   2 Route Processor Cards 
   1 Clock Scheduler Card 
   3 Switch Fabric Cards 
   1 8-port OC3 POS controller (8 POs). 
   1 OC12 POs controller (1 POs). 
   1 OC48 POs E.D. controller (1 POs). 
   7 OC48 POs controllers (7 POs). 
   1 Ethernet/IEEE 802.3 interface(s) 
   17 Packet over SONET network interface(s) 
   507K bytes of non-volatile configuration memory.
   20480K bytes of Flash PCMCIA card at slot 0 (Sector size 128K). 
   8192K bytes of Flash internal SIMM (Sector size 256K).
   Thunder#show controller fia 
   Fabric configuration: Full bandwidth nonredundant 
   Master Scheduler: Slot 17
   

詳細は、『show controller fia コマンドの出力の読み方』を参照することをお勧めします。

スイッチ ファブリックの設計

Cisco 12000 スイッチ ファブリックの設計では革新的な方法が採用されているため、非常に効率的なシステムを構築できます。 スイッチ ファブリックは、非常に効率的なキャリア クラスとスケーラブルな設計を実現するために、次の主要なコンポーネントを使用しています。

  • 行頭ブロッキングをなくすためのラインカードごとの仮想出力キュー

  • ファブリック効率を高めるための、従来のラウンドロビン方式に代わる効率的なスケジューリング アルゴリズム

  • マルチキャスト トラフィックのための、ハードウェアベースの複製(マルチキャスト トラフィック用に非常に効率的なプラットフォームの提供を部分的に実現)

  • スイッチ ファブリックのパフォーマンスを改善するためのパイプライニング

仮想出力キュー

Head of Line Blocking(HoLB; 行頭ブロッキング)とは、出力ポートに輻輳が存在するシステムで発生する問題のことです(次の図を参照)。 HoLB は、複数の送信先宛ての複数のパケットがすべて 1 つのキューを共有する場合に発生します。 特定の場所宛てのパケットは、その前のパケットがすべて処理されるまで待機してから、スイッチ ファブリックを通して渡される必要があります。 たとえば、いくつかの複数車線の道路が 1 本の 1 車線の道路に合流する場合を考えてください。 この問題を解決する最善の方法は、いくつかの複数車線の道路が合流する 1 本の道路を複数車線にすることです。

swfabric2.gif

Cisco 12000 シリーズ インターネット ルータは、行頭ブロッキングをなくすために、固有のマルチキュー実装を採用しています。 パケットがラインカードに着信すると、スロット、ポート、Class of Service(CoS; サービス クラス)ごとに分類された複数の出力キューのいずれかに入れられます。 これらのキューは Virtual Output Queue(VOQ; 仮想出力キュー)と呼ばれます。

swfabric3.gif

上の図で、仮想出力キュー(A)はラインカード A を表し、仮想出力キュー(VOQ)B はラインカード B を表しています。 各パケットはソートされ、適切な VOQ に入れられます。 パケットは、Cisco Express Forwarding(CEF)テーブルに含まれる転送情報に基づいてソートされ、VOQ に入れられます。

下図に、VOQ が HoLB 問題を回避する方法を示します。 図からわかるとおり、パケットの配置によって HoLB 問題が最小限に抑えられます。 一連のパケットが 1 つのラインカードに送信される場合でも、別の VOQ の他のパケットは、従来の HoLB 問題を起こさずにスイッチング ファブリック経由で送信できます。

swfabric4.gif

スケジューリング

SFC/CSC には、スケジューリング アルゴリズムが組み込まれています。 シスコシステムズとスタンフォード大学で共同開発されたスケジュール アルゴリズムでは、Cisco 12008 と Cisco 12012 の場合には最大 13 の入力要求(12 のスロットと 1 つのマルチキャスト)、Cisco 12016 の場合には最大 17 個の入力要求(16 のスロットと 1 つのマルチキャスト)を受信できます。 すべての要求は、特定のクロック インターバルに完了します。 このアルゴリズムでは、このインターバルで使用可能な最良の入出力の組み合せを計算します。 この高速アルゴリズムと VOQ の進歩によって、スイッチング ファブリックで高レベルのスイッチング効率を達成できます。 つまり、スイッチング ファブリックのスループットは、ファブリックの以前の設計で達成できた理論上の最高値が 53 % であったのに対し、最大で 99 % に達することができます(スタンフォード大学での調査に基づいたデータ)。

マルチキャスト サポート

スイッチング ファブリックは、IP マルチキャストを使用する次世代のアプリケーションも視野に入れた設計になっています。 スイッチング ファブリックは、次のような改良によって、IP マルチキャストに関する従来の問題点を解消しています。

  • IP パケットの分散ベースでの複製を実行(ファブリックおよびラインカード)する特別なハードウェアを使用します。

  • ユニキャスト トラフィックへの影響を回避するために、マルチキャスト トラフィック用に専用のキュー(VOQ)を用意しています。

  • 部分的マルチキャスト セグメントの作成を可能にします。

インターフェイスは、スイッチ ファブリックに対してマルチキャスト要求およびユニキャスト要求の両方を送信できます。 マルチキャスト要求を送信する場合、データのすべての送信先と要求の優先順位が指定されます。 CSC ではマルチキャストとユニキャストが一緒に要求されますが、ユニキャストまたはマルチキャストに関係なく優先順位の最も高い要求が優先されます。

マルチキャスト要求を受信する場合、クロック スケジューラ カードに要求が送信されます。CSC から許可を受信すると、パケットがスイッチ ファブリックに転送されます。 スイッチ ファブリックはパケットのコピーを作成し、(1 つのセル クロック サイクルの間)すべての送信先のラインカードに同時にコピーを送信します。 各受信ラインカードは、複数のポートへの送信が必要な場合、パケットのコピーを作成します。

ブロッキングをなくすために、スイッチング ファブリックはマルチキャスト送信のための部分割り当てをサポートしています。 これにより、スイッチング ファブリックは使用可能なすべてのカードに対してマルチキャスト処理を実行できます。 送信先カードが別の送信元からのパケットを受信している場合、マルチキャスト処理は、次の割り当てサイクル時に続行されます。

これらの新しい拡張機能により、第 1 世代のクロスバー スイッチング ファブリックでは避けられなかった帯域幅浪費の障害が回避され、信頼性をなくさずにスイッチング ファブリックの高レベルのスイッチング効率を達成することが可能です。

パイプライニング

スイッチング ファブリックは、全二重処理をサポートするため、高度なパイプライニング技術が導入されています。 パイプライニングによって、スイッチ ファブリックは、前のサイクルのデータ送信が完了する前に、将来のサイクルのためのスイッチ リソースの割り当てを開始できます。 パイプライニングでは、デッド タイム(無駄なクロック サイクル)を削減することにより、スイッチ ファブリック全体の効率を大幅に改善します。 パイプライニングによってスイッチング ファブリックのパフォーマンスが改善し、理論上最高のスループットを達成できます。

シスコ セル

クロスバー スイッチ ファブリックの転送ユニットは常に固定サイズのパケットであり、シスコ セルとも呼ばれます。シスコ セルは、可変サイズのパケットの場合よりも容易にスケジュールできます。パケットは、ファブリックに渡される前にセルに分割され、送信される前に発信 LC によって再構成されます。 シスコ セルのサイズは 64 バイトであり、そのうちの 8 バイトはヘッダー、48 バイトはペイロード、および 8 バイトは Cyclic Redundancy Check(CRC; 巡回冗長検査)です。


関連するシスコ サポート コミュニティ ディスカッション

シスコ サポート コミュニティは、どなたでも投稿や回答ができる情報交換スペースです。


関連情報


Document ID: 47240