Cisco Nexus 5000 シリーズ

エネルギー効率に優れたユニファイド ファブリック:Cisco Nexus シリーズでデータセンター インフラストラクチャを変革

ホワイト ペーパー





エネルギー効率に優れたユニファイド ファブリック:Cisco Nexus シリーズでデータセンター インフラストラクチャを変革



概要

Cisco Nexus™ 製品ファミリを使用することにより、データセンター インフラストラクチャは孤立したファブリック トポロジ(IFT; Isolated Fabric Topology)からユニファイド ファブリック トポロジ(UFT)に変化します。IFT は、イーサネットとファイバ チャネルのみをサポートするデバイスなど、固定構成のアクセス レイヤ伝送を行う装置に依存しています。UFT で使用するのは、10 Gbps の Data Center Ethernet テクノロジーです。このテクノロジーはワイヤスピードのロスレス ファブリック、サーバの I/O 統合、および FCoE(Fibre Channel over Ethernet)を実現します。

UFT を実装することは、インフラストラクチャの面で数多くの利点があります。UFT にすると、サーバの帯域幅が増加し、使用する物理アダプタの数や管理が必要なアクティブ コンポーネントの数、さらにケーブルも削減され、電力と冷却の全体的な必要量が低下します。

統合型ネットワーク アダプタ(CNA)を導入すると、アダプタあたりの速度が 10 Gbps に上がり、サーバのパフォーマンスが向上します。また、Cisco Nexus 5000 シリーズ スイッチを使用するシスコのソリューションにより、スイッチの遅延が 4 マイクロ秒未満に短縮されます。これは、遅延特性がこれとほぼ同じである他のハイパフォーマンス コンピューティング(HPC)テクノロジーを使用してきた電子設計自動化(EDA)など、多くのアプリケーションの要件を満たすことになります。

これから説明するように、これらはデータセンターを IFT から UFT に変革することで得られる利点のごく一部です。

IFT と UFTのトポロジの概要

このドキュメントでは、Cisco Nexus 5000 シリーズのスイッチング製品を UTF 対応のデータセンターで使用することから得られる利点について、現実の例を交えながら説明します。ここで示すデータはサーバ/スイッチ接続のみに基づいており、データにはケーブル数、アクティブ デバイス数、および消費電力計算が含まれます。

消費電力計算では、ネットワーク デバイス以外の要素を考慮していません。IFT サーバ アダプタ(1 Gbps イーサネット × 4 と 4 Gbps ファイバ チャネル × 2)を Intel ベースの CNA と比較すると、サーバ アダプタの電力はほぼ同じです。消費電力量は実装によって異なりますが、このモデルの用途に関しては、どの実装も同じと見なされる範囲に収まっています。

UFT のもう 1 つの大きな利点は、デュアル 10 Gbps CNA を展開すると帯域幅が広がるということです。単純に比較すると、1 Gbps イーサネット インターフェイスが 4 つと 4 Gbps インターフェイスが 2 つの場合、帯域幅の合計は 12 Gbps になります。詳しく見てみると、VMware 構成で実稼働トラフィックに使用されるのは 1 Gbps イーサネット ポート 2 つだけであることがわかります。

サーバ要件

データセンターのサーバ展開としては、ブレード、ラック最適化、スーパークラス、または対称型マルチプロセッサ(SMP)サーバ フォーム ファクタが考えられます。一般に、必要なネットワーク接続を決定する際は、アプリケーション、パフォーマンス、ストレージ、および管理接続を考慮します。多くのサーバ トポロジの要件は、VMware に基づいて決まります。通常、VMware は以下をサポートするために 4 つのイーサネット接続と 2 つのファイバ チャネル接続を必要とします。

  • SC0(VMware ESX ホストの IP 管理用サービス コンソール)
  • VMware VMkernel(VMware VMotion および IP ストレージ用)
  • 実稼働イーサネット インターフェイス
  • ファイバ チャネル インターフェイス

多くのサーバは、管理や帯域幅拡張を目的として、さらに多くのインターフェイスを搭載して展開されます。たとえば、一般にサーバには LOM(LAN-on-motherboard)インターフェイスが 2 つ搭載されており、それぞれが 1 Gbps イーサネットを使用します。メザニン カードや 1 Gps の増設アダプタには通常、インターフェイスが 4 つ搭載されており、サーバのインターフェイスの合計数は 8 つになります。内訳はイーサネットが 6 つ、ファイバ チャネルが 2 つです。増設インターフェイスは、管理とバックアップ トラフィックに使用できます。

4 つのイーサネット インターフェイスと 2 つのファイバ チャネル インターフェイスから構成されるモデルは、IFT の実装と UFT の実装の間の最小限の比較に使用できます。既存のサーバに 10 Gbps CNA を増設するとしても、1 Gbps イーサネット LOM インターフェイスは維持されると考えられるためです。

ここで説明するモデルはラック最適化サーバ環境を基準としていますが、ブレード市場の製品に 10 Gbps パススルー テクノロジーが使用されるようになれば、これらのメリットはブレードや Cisco Nexus 5000 シリーズにも当てはまることになります。このモデルで削減される実際のインターフェイスの数は、前述のアダプタ カードを考慮に入れたものであり、UFT 展開と IFT 展開のインターフェイスの差分を表しています。

展開のサーバ ユニット

データセンター設計では、施設の一定面積内のサーバや周辺機器の集合を表すために、さまざまな用語が使用されます。よく使用されるものは「ポッド」や「ゾーン」です。ポッドとは、施設、ネットワーク サポート、ストレージ サポート、その他の補助的な組織が電力、冷却、ケーブル、ラック、および設置面積の要件を決定する際の単位です。エンジニアやプランナは、サーバの総合的な要件を決定する際、ポッド数を集計することで計算を簡略化することができます。ポッド内のサーバの合計数は、多くの要因によって変化します。このドキュメントのモデルでは、1 ポッド内のサーバの数は 1,120 です。

このモデルは、統合の対象となるラックを SAN 機器のラックとして示しています。これらのラックのそれぞれにトップオブラック(ToR)スイッチが収納されており、ラックはポッドごとに削減できる可能性があるラック数を表しています。

イーサネット スイッチング ラックも、SAN スイッチング ラックと同じようにこのモデルで示すことができます。ただし、UFT の戦略はネットワーク機器の増加を抑えることが目標であり、それが SAN であるかイーサネットであるかは無関係です。このモデルは UFT の第 1 段階、つまりアクセス レイヤの統合を反映しています。

このモデルは、一定の物理的範囲内でデータセンター ゾーンを冗長化することのメリットを示しています。UFT の戦略では、1 つのデータセンター サイトに許容されるラックはポッド数に応じて最大 32 であり、冗長化されたデータセンターでは最大 64 です。

ラックの削減は大きな意味を持ち、このモデルが持つ多くの利点の 1 つです。図 1 に、ラック構成および関連するスイッチング装置を示します。

図 2 に、基本 IFT サーバ ユニットのポッドの概要データを示します。

図 1 削減対象のラック

図 1 削減対象のラック


ポッドは、基本サーバ ユニットなど、他の多くの単位の基準としても使用することができます。ここでは、基本サーバ ユニットは 1 つのイーサネット スイッチまたはファイバ チャネル スイッチのポート数を表します。

IFT モデルと UFT モデルの比較

このセクションでは、基本 IFT サーバ ユニットと基本 UFT サーバ ユニットの違いを、モデルの計算方法や 2 つの手法の比較を交えながら説明します。

図 2 IFT サーバ ユニット

図 2 IFT サーバ ユニット


IFT サーバ ユニットは、次の要素で構成されます。

  • イーサネット アダプタ × 4(1 Gbps イーサネットに 1 つずつ)
  • ファイバ チャネル アダプタ × 2(4 Gbps ファイバ チャネルに 1 つずつ)

IFT サーバ ユニットに含まれるサーバは合計 56 台です。この数は、デュアル ToR ファイバ チャネル スイッチへの接続に基づいており、このスイッチは、スイッチ間リンク(ISL)に 8 ポート、サーバに 56 ポートを使用します。このネットワークのイーサネットに関する部分では、少なくとも 224 のポートが必要です。これは、ToR イーサネット スイッチ(48 ポート ToR ラック スイッチ)を 5 台以上使用するからです。このモデルの計算では 5 台ですが、対称性を持たせるために 6 台にすることも考えられます。この接続シナリオで使用する数は次のとおりです。

  • IFT 相互接続ポート
    • イーサネット ポート:224
    • ファイバ チャネル ポート:112
  • ケーブル
    • イーサネット ケーブル:224
    • ファイバ チャネル ケーブル:112
  • アクティブ デバイスの総数
    • イーサネット ToR スイッチ:5
    • ファイバ チャネル ToR スイッチ:2
  • 電力
    • ToR イーサネット用に平均 300 W(× 5)
    • ToR ファイバ チャネル用に平均 175 W(× 2)
    • IFT サーバ ユニットあたりの合計電力 = 1850 W

UFT サーバ ユニット

図 3 に、基本 UFT サーバ ユニットのポッドの概要データを示します。

図 3 UFT サーバ ユニット

図 3 UFT サーバ ユニット


UFT サーバ ユニットは次の要素で構成されます。

  • CNA × 2(10 Gbps に 1 つずつ)

UFT サーバ ユニットに含まれるサーバは合計 40 台です。この数値は、Cisco Nexus 5020 スイッチを 2 台使用する場合の接続状況に基づいています。固定ポート 40 個すべてをサーバ接続に使用し、モジュラ スロット 2 つを 10 ギガビット イーサネットとファイバ チャネル アップリンクに使用します。ネットワーク モジュールの選択は、ホストと ISL の接続やサブスクリプションのレベルの他、インターフェイスの数によっても異なります。UFT の実装では、イーサネットとファイバ チャネルそれぞれに固有のスイッチはなく、UFT インターフェイスが存在するだけです。これにより、インフラストラクチャに関する考慮事項が少なくなります。この接続シナリオで使用する数は次のとおりです。

  • UFT 相互接続ポート
    • UFT ポート:80
  • ケーブル
    • UFT ケーブル:80
  • アクティブ デバイスの総数
    • Cisco Nexus 5020 スイッチ:2
  • 電力
    • Cisco Nexus 5020 スイッチ用に平均 550 W(× 2)
    • UFT サーバ ユニットごとの合計電力 = 1100 W

IFT ポッド

このセクションでは、IFT サーバ ユニットの集合とポッド全体での値を詳しく比較します。このモデルでは、ポッド 1 つに最大 1,120 台のサーバが集約されていて、各データセンターには複数のポッドが存在すると考えられます。

図 4 に、IFT サーバ ユニットと IFT ポッドで使用される装置を示します。

図 4  IFT サーバ ユニットと IFT ポッドの装置

図 4 IFT サーバ ユニットと IFT ポッドの装置


  IIO-SU IIO-POD
1 ユニット/ポッドあたりのサーバ数 56 1120
1 ポッドあたりのサーバ ユニット数 20
イーサネット ケーブル数 224 4480
ファイバ チャネル ケーブル数 112 2240
合計ケーブル数 336 6720
イーサネット ToR スイッチ数 5 100
ファイバ チャネル ToR スイッチ数 2 40
合計スイッチ デバイス数 7 140
イーサネット スイッチ消費電力 300 W 30 kW
ファイバ チャネル スイッチ消費電力 175 W 7 kW
1 ユニット/ポッドあたりの消費電力 1850 W 37 kW


この表で、示されているのは概要データです。IFT モデルではケーブル数がきわめて多いことがわかります。

この IFT ポッドの電力コストを次のように計算します。

  • 1 kWh あたり 0.10 米ドル
  • 冷却係数:0.8
  • 消費電力を 37 kW とした場合の年間コスト:64,824 米ドル(1 ポッドあたりの電力と冷却コスト)

各サーバで使用できる集約帯域幅(1 Gbps イーサネット × 4 と 4 Gbps ファイバ チャネル × 2)は、実質的には 4 Gbps + 8 Gbps = 12 Gbps です(イーサネットとファイバ チャネルの両方がアクティブ/アクティブ モードの場合)。

UFT ポッド

図 5 に、UFT サーバ ユニットと UFT ポッドで使用される装置を示します。

図 5 UFT ポッド

図 5 UFT ポッド


  IIO-SU IIO-POD
1 ユニット/ポッドあたりのサーバ数 40 1120
1 ポッドあたりのサーバ ユニット数 28
UIO ケーブル数 80 2240
合計ケーブル数 80 2240
UIO ToR スイッチ数 2 56
合計スイッチ デバイス数 2 56
UIO スイッチ消費電力 550 W 30.8 kW
1 ユニット/ポッドあたりの消費電力 1100 W 30.8 kW


この表で、青い文字で示されているのは概要データです。IFT ポッドと比較すると、UFT ポッドは要素が少ないことがわかります。

この UFT ポッドの電力コストを次のように計算します。

  • 1 kWh あたり 0.10 米ドル
  • 冷却係数:0.8
  • 消費電力を 30.8 kW とした場合の年間コスト:53,961 米ドル(1 ポッドあたりの電力と冷却コスト)

各サーバで使用できる集約帯域幅(10 Gbps CNA × 2)は、実質的には 10 Gbps + 10 Gbps = 20 Gbps です(イーサネットとファイバ チャネルの両方がアクティブ/アクティブ モードの場合)。

IFT ポッドと比較した場合の UFT ポッドの利点

UFT ポッドは、IFT ポッドと比較して多くの利点があります。データセンターに複数のポッドを展開する場合、その利点は累積的に大きくなります。

この環境を、冗長化されたデータセンター ゾーンに構築するとします。それぞれの場所に、同じ構成で集約するポッドが 4 つ配置されます。表 1 に、このトポロジでの IFT 環境と UFT 環境の比較を示します。

表 1 IFT ポッドと UFT ポッドの冗長データセンター ゾーンの概要

  IIO ポッド IIO ゾーン UIO ポッド UIO ゾーン
1 ポッド/ゾーンあたりのサーバ数 1120 8960 1120 8960
1 ポッドあたりのサーバ ユニット数 20 160 28 224
イーサネット ケーブル数 4480 35840 2240 17920
ファイバ チャネル ケーブル数 2240 17920 N/A N/A
合計ケーブル数 6720 53760 2240 17920
イーサネット ToR スイッチ数 100 800 56 448
ファイバ チャネル ToR スイッチ数 40 320 N/A N/A
合計スイッチ デバイス数 140 1120 56 448
イーサネット/UIO スイッチ消費電力 30 kW 240 kW 30.8 kW 246.4 kW
ファイバ チャネル スイッチ消費電力 7 kW 56 kW N/A N/A
1 ユニット/ポッドあたりの消費電力 37 kW 296 kW 30.8 kW 246.4 kW


電力コストの算出には前と同じ式を使用します。

  • 1 kWh あたり 0.10 米ドル
  • 冷却係数:0.8

電力と冷却の年間総コストは次のようになります。

  • IFT:年間総コストは518,592 米ドル。
  • UFT:年間総コストは431,692 米ドル。

モデル概要

ユニファイド ファブリック トポロジは、施設、電力、冷却、フロア スペース、アクティブ デバイス、ケーブルといったインフラストラクチャ面で多大なメリットをもたらします。IFT と比較すると、UFT は次の点で優れています。

  • 電力供給:16.7 % の改善
  • 冷却供給:25.1% の改善(負荷係数を 1.5 とした場合)
  • アクティブ スイッチング デバイス:60% 削減
  • ケーブル:66% 削減

Cisco Nexus 5000 シリーズは、Cisco Nexus 製品ファミリの新しいメンバです。Cisco Nexus 7000 シリーズ スイッチも、ここに含まれます。Cisco Nexus 7000 シリーズは、ファブリック全体で最大 15.9 Tbps のキャパシティを持ち、多数の 10 Gbps インターフェイスを集約できます。

まとめ

ユニファイド ファブリックにはさまざまな利点があります。エネルギー効率が高く、環境対策の一部を担いますが、そのメリットを定量化した値は、個々の使用状況や IT アーキテクチャによって大きく変動することがあります。このドキュメントで示した分析は、一般的な使用状況に基づいてやや保守的な条件を設けています。これらのメリットの価値をより正確に測定するには、このドキュメントの条件を個別の使用状況に当てはめる必要があります。

運用効率の指標化、有害物質の分析、出張削減の評価、装置の回収/再利用/リサイクル プログラムなどの環境面の監査と分析を行うスキルを社内に持つ IT 部門は多くないと考えられます。このようなスキルがない場合やベンダーからのサポートが必要な場合、シスコは Cisco Advanced Services を通じたシスコ Customer Advocacy チームの活動により、認定パートナーによるコンサルティング サービスを提供して支援を行います。このような専門サービスは、コスト面の課題と環境への配慮を両立させる上での指標を設定する際に役立ちます。

関連情報

エネルギー効率化ソリューションについては、http://www.cisco.com/go/efficiency/ (英語)にある Cisco Efficiency Assurance Program を参照してください。