Cisco UCS Manager

Fusion-io ioMemory を備えた Cisco UCS C シリーズ サーバでの Oracle Database

ホワイト ペーパー





Fusion-io ioMemory を備えた Cisco UCS C シリーズ サーバでの Oracle Database



2014 年 8 月


目次


概要
目的
対象者
この文書の目的
ソリューション概要

    Cisco Unified Computing System
    Cisco Nexus 5548UP スイッチ
    Fusion-io
    ハードウェアおよびソフトウェア コンポーネント
インフラストラクチャのセットアップ
    ネットワーク設計
    Fusion-io ioDrive2 の設定
    Oracle Database 11g の設定
パフォーマンスおよびフェールオーバーの分析
    ワークロードの説明
    テスト シナリオ
まとめ
詳細情報

概要


Cisco Unified Computing System™(Cisco UCS®)は、コンピューティング、ネットワーキング、ストレージ アクセス、および仮想化のリソースを 1 つのシステムに統合する次世代のデータセンター プラットフォームであり、総所有コスト(TCO)を削減し、ビジネスの俊敏性を高めることを目的として設計されています。Cisco UCS C シリーズ ラック サーバはユニファイド コンピューティングの革新技術をラックマウント フォーム ファクタまで拡張するものであり、シングル ワイヤによる統合管理、標準ベースの統合ネットワーク ファブリック、Cisco® ファブリック エクステンダ テクノロジーによる劇的な簡素化などが含まれます。業界標準のインテリジェントな Intel Xeon プロセッサに基づく Cisco UCS C シリーズ ラック サーバは、PCI Express(PCIe)ベースの Fusion-io ioDrive2 カードを使用するように設定でき、超低遅延と Fusion-io ioDrive2 カード当たり最大 3 TB のストレージ容量を提供します。

PCIe 接続のフラッシュ メモリ テクノロジーは、既存のアプリケーションを透過的に使用して、サーバに搭載するボードにより大幅なパフォーマンス向上を実現するので、データセンターで広く利用されています。PCIe フラッシュ メモリ ベースのストレージは PCIe バスに直接接続され、PCIe SAS または SATA ソリッド ステート ドライブ(SSD)と CPU およびシステム メモリとの直接接続が可能です。この緊密に結び付けられた接続は、SAS または SATA SSD より低遅延のストレージ環境を実現します。PCIe フラッシュ メモリ ベースのストレージ ソリューションである Fusion-io ioDrive2 は、低遅延、大容量、高パフォーマンスを提供します。

IT 部門がQoSにより膨大な情報を扱い、変更のリスクを抑え、IT 予算を効率的に使用できる基盤を Oracle Database は提供します。事業規模と関係なくすべての企業にとって、高パフォーマンス、データベース フェールオーバー、データ バックアップ、データ リカバリの技術は、単一インスタンスの Oracle Database を導入する際の大きな課題です。

このドキュメントでは、Cisco UCS ラック サーバと Fusion-io カードをエンタープライズ クラスの Oracle Database の導入で使用し、高 I/O スループットと超低遅延を実現する方法を説明します。Cisco UCS ラック サーバの Single connect テクノロジーにより、Cisco UCS で管理されたラック サーバで Cisco UCS サービス プロファイルを使用でき、サーバ障害後の移行の間のダウンタイムを短くすることができます。

目的


このドキュメントでは、Cisco UCS と Fusion-io を Oracle Database と共に使用して、今日の企業の難しいニーズに対応できる堅牢性、復元性、効率性の高いインフラストラクチャ ソリューションを提供する利点を示す、リファレンス アーキテクチャを提供します。このドキュメントは、ユーザが Cisco UCS、Cisco Nexus® スイッチ、Fusion-io、Oracle Database の各製品技術を理解している前提で記載されています。

対象者


このドキュメントの対象者は、Cisco UCS および Fusion-io インフラストラクチャ上の Oracle Database ソリューションの計画、設計、導入に関わるソリューション アーキテクト、セールス エンジニア、フィールド エンジニア、設計コンサルタントです。読者は Oracle Database、Cisco UCS、Fusion-io の基本的な設定と実装のアーキテクチャを理解しているものと想定されています。

この文書の目的


このドキュメントで報告されているテストには、2 つの目的があります。

  • Cisco UCS C240 M3 ラック サーバと Fusion-io 上の Oracle Database の単一インスタンスの最大パフォーマンスを評価する
  • 単一インスタンスの Oracle Database および Fusion-io を堅牢なバックアップおよびリカバリ技術と組み合わせてエンタープライズ ソリューションとして使用することにより、短いダウンタイムと高いデータ信頼性が実現されることを示す

このドキュメントで紹介されているフェールオーバー、バックアップの技法に対して、比較価値に基づく決定によって Cisco UCS および Fusion-io テクノロジーを選択し、信頼性が高くコスト効率に優れた Oracle Database ソリューションを導入できます。

ソリューション概要


このドキュメントで説明されているソリューションは、Oracle Database 11g の単一インスタンスを 2 枚の 3 TB Fusion-io ioDrive2 カードを備えた Cisco UCS C240 M3 サーバへの導入を説明しています。Cisco UCS C240 M3 サーバは、10 Gbps のユニファイド ネットワーク ファブリックを使用してファブリック インターコネクトに直接接続されています。Cisco UCS Manager 2.2 は、Cisco UCS C シリーズ ラック サーバを Cisco UCS ファブリック インターコネクトに接続するオプションをサポートします。このオプションを使用すると、Cisco UCS Manager は 1 本のケーブルを管理トラフィックとデータ トラフィックの両方に使用して Cisco UCS C シリーズ サーバを管理できます。Cisco UCS 6248UP 48 ポート ファブリック インターコネクト(図 2)は、960 Gbps のスループットと 48 のユニファイド ポートを提供する 1 RU の 10 ギガビット イーサネット、FCoE、およびファイバ チャネル スイッチです。32 個の 1 または 10 Gbps 固定イーサネット、FCoE、ファイバ チャネル ポートから成る基本構成に、オプションとして 16 のユニファイド ポートが装備された拡張スロットを 1 つ追加できます。Cisco ファブリック インターコネクトは、ユニファイド ネットワーク ファブリックを作成し、ネットワークとストレージ リソースの両方に一貫したアクセスを提供します。ファブリック インターコネクトは、高可用性を実現するためにペア構成で導入されます。ファブリック インターコネクトは、アップストリームとして 2 台の Cisco Nexus 5548UP スイッチに接続されます。

Fusion-io カードを搭載した Cisco UCS ラック サーバの Oracle Database(単一インスタンス)構築には複数のオプションがあります。設定は、導入されるソリューションのパフォーマンスと高可用性の要件に依存します。可能な設定を次に示します。

  • 1 枚の Fusion-io カードを搭載した Cisco UCS ラック サーバ上の Oracle Database(単一インスタンス):このオプションは高いパフォーマンスを実現しますが、可用性は十分ではありません。Fusion-io カードで障害が発生した場合、別の Fusion-io カードをサーバに入れ替え、バックアップとアーカイブ ログを使用してデータベースを復元する必要があります。
  • 2 枚の Fusion-io カードを搭載した Cisco UCS ラック サーバ上の Oracle Database(単一インスタンス):このオプションは Fusion-io カードの障害に対してデータ保護を実現します。冗長性を備えた Oracle Automatic Storage Management(ASM)の設定により、データを 2 枚の Fusion-io カードにミラーリングできます。したがって、どちらか 1 枚の Fusion-io カードの障害に耐えられます。1 台の Cisco UCS C240 M3 サーバには最大で 4 枚の 3 TB Fusion-io カードを装着できます。
  • Fusion-io カードを搭載した Cisco UCS ラック サーバ上の Oracle Database(単一インスタンス)と Oracle Data Guard:このオプションは Fusion-io カードで障害が発生している間も Oracle Database に高パフォーマンスと高可用性を提供します。Oracle Data Guard は高可用性の障害回復ソリューションであり、データベース障害、ノード障害、データ破損、メディア障害など障害発生後に、非常に高速な自動フェールオーバー(高速スタート フェールオーバーと呼ばれます)を提供します。

ここで説明するソリューションでは、2 枚の Fusion-io ioDrive2 カードを 1 台の Cisco UCS C240 M3 に搭載し、通常の冗長性のディスク グループとして設定します。この設定では、1 枚の Fusion-io カード分と同じストレージ容量が提供され、1 枚の Fusion-io カードの障害から保護します。さらに、Cisco UCS C240 M3 は外部ネットワーク接続ストレージ(NAS)と構成されており、Oracle Database のバックアップおよびアーカイブ ログを保存できます。Oracle Database の定期的なバックアップには、Oracle Recovery Manager(RMAN)を使用しました。このセットアップにより、障害が発生した Oracle Database インスタンスを一定のダウンタイム内に再構築できます。

ここで説明するソリューションは、導入の以下の部分を表しています。

  • 2 枚の Fusion-io ioDrive2 カードを搭載した Cisco UCS C240 M3 サーバ(シングルワイヤの Cisco UCS 管理)上の Oracle Database Enterprise Edition(単一インスタンス)と Red Hat Enterprise Linux 6.4 の設定
  • Oracle ASM ディスク グループに対して冗長性の ASMlib を使用する Oracle ASM の設定
  • オンライン トランザクション処理(OLTP)ワークロードを使用したパフォーマンスの検証
  • 1 枚の Fusion-io カードで障害が発生した場合のパフォーマンスへの影響
  • アーカイブおよびバックアップ ログによるデータベースの復元

図 1 は、テスト環境の物理レイアウトです。

図 1 管理対象の Cisco UCS C240 M3 ラック サーバの物理レイアウト

図 1 管理対象の Cisco UCS C240 M3 ラック サーバの物理レイアウト


Cisco Unified Computing System

Cisco UCS は、コンピューティング、ネットワーク、およびストレージ アクセスを統合した次世代のデータセンター プラットフォームです。仮想環境に最適化されたプラットフォームは、業界標準のオープン テクノロジーを使用して設計され、総所有コスト(TCO)を削減し、ビジネスの俊敏性を高めることを目的としています。このシステムは、低遅延のロスレス 10 ギガビット イーサネット ユニファイド ネットワーク ファブリックと、エンタープライズクラスの x86 アーキテクチャ サーバを統合します。このシステムは、すべてのリソースを単一の管理ドメインに集約し、統合型の拡張性に優れたブレード、ラックサーバ混在対応可能なプラットフォームです。

Cisco UCS の主なコンポーネントは、次のとおりです。

  • コンピューティング:システムは、Intel® Xeon® プロセッサ 5500、5600、E5-2600 シリーズを使用するブレードおよびラック サーバを組み込んだまったく新しいクラスのコンピューティング システムが基になっています。
  • ネットワーク:このシステムは低遅延でロスレスの 10 Gbps ユニファイド ネットワーク ファブリック上で統合されています。このネットワーク基盤は、現状では異なるLAN、SAN、高性能コンピューティング ネットワークを統合します。ユニファイド ファブリックにより、必要なネットワーク アダプタ、スイッチ、およびケーブルの数が減少し、電力と冷却を抑えることができるため、コスト削減につながります。
  • 仮想化:このシステムでは仮想化の可能性を最大限に高め、仮想環境の拡張性、性能、運用管理を強化します。シスコのセキュリティ、ポリシー適用、および診断機能は仮想化環境にまで拡張されており、変化するビジネス要件や IT 要件により適切に対応できます。
  • ストレージ アクセス:システムは、ユニファイド ファブリック経由で SAN と NAS への統合アクセスを提供します。ストレージ アクセスを統合することにより、Cisco UCS ではイーサネット、ファイバ チャネル、FCoE、Small Computer System Interface over IP(iSCSI)を使用してストレージにアクセスできます。この機能により、お客様にはストレージ アクセスへの投資保護の選択肢が提供されます。さらに、サーバ管理者はストレージ リソースの接続に対し、ストレージ アクセス ポリシーを前もって割り当てることができます。その結果、ストレージ接続および設定作業が簡素化され、生産性が向上します。
  • 管理:システムは UCS のすべてのコンポーネントをソリューションに統合しています。この統合された単一エンティティを、Cisco UCS Manager を使用して効率よく管理できます。Cisco UCS Manager は、すべてのシステムの構成や動作を管理できる直感的な GUI、コマンドライン インターフェイス(CLI)、堅牢な API を備えています。

Cisco UCS の設計には、次のような特長があります。

  • TCO の削減と、ビジネスの俊敏性の向上
  • リソース要求に対して短時間での設定完了とモビリティのサポートによる、IT スタッフの生産性の向上
  • データセンターのテクノロジーを統合し、全体として単一での管理、サービス、検証が可能な統合されたシステム
  • 数百台の個別のサーバと数千台の仮想マシンに対応する設計と要件に合わせて I/O 帯域幅を拡張できる機能による拡張性
  • 業界リーダーのパートナー エコシステムによりサポートされる業界標準

Cisco UCS C240 M3 ラック サーバ

定評のある Cisco UCS C シリーズ M2 ラック サーバをベースに進化させたエンタープライズクラスの Cisco UCS C240 M3 ラック サーバ(図 2)は、2RU 筐体サイズで Cisco UCS のラインナップを拡大します。Intel Xeon プロセッサ E5-2600 ファミリを搭載可能で、パフォーマンスと効率のバランスのとれたサーバです。

図 2 Cisco UCS C240 M3 ラック サーバ

図 2 Cisco UCS C240 M3 ラック サーバ


Cisco UCS C240 M3 は、最大 768 GB の RAM、24 個のハード ディスク ドライブまたは SSD ドライブ、マザーボードに組み込まれた 4 ポート x 1 ギガビットのイーサネット LAN インターフェイスも提供します。結果として、並外れたレベルの密度とパフォーマンスを備えたサーバとしてコンパクトなパッケージに収められています。

Cisco UCS C240 M3 は、実稼働レベルの仮想化をはじめ、その他データセンターの主なアプリケーション処理に対応できるよう、簡易性、パフォーマンス、高密度をバランスよく兼ね備えています。また、この 2 ソケット サーバは、優れたスループットと拡張性を備え、最新の Intel Xeon プロセッサ E5-2600 シリーズ マルチコア CPU を使用して、優れたパフォーマンスと効率を提供します。Intel Xeon E5-2600 プロセッサは、アプリケーションのニーズに従ってサーバのパフォーマンスを調整し、DDR3 メモリ テクノロジーを使用して最大 768 GB まで増やすことができ、要求の厳しい仮想化環境や大量データセット アプリケーションに対応します。必要な処理負荷が少ない場合は、さらにコスト効率のよいフットプリントを使用することができます。Cisco UCS C240 M3 ラック サーバの主要な利点は次のとおりです。

  • 業界トップレベルのサーバ パフォーマンスと拡張性:Cisco UCS C240 M3 では最大 2 つの Intel Xeon プロセッサ E5-2600 または E5-2600 v2 CPU、24 の DIMM スロット、24 のディスク ドライブ、4 つの 1 ギガビット イーサネット LAN-on-motherboard(LOM)ポートを使用できるため、高度な内蔵メモリとストレージ拡張性により、優れたパフォーマンスを実現します。
  • 柔軟な導入と簡単な管理:Cisco UCS C240 M3 は、スタンドアロン環境でも、導入しやすい 1 台単位でシステム化でき、大きな柔軟性と高いコンピューティング密度を実現する Cisco UCS の一部としても、動作できます。複数ラック環境では、ラック間のデータ移行が容易であるため、ラック管理の複雑さが大幅に低下します。
  • ワークロードの拡張性:Cisco UCS C240 M3 サーバの x8 PCIe スロットに 3 TB の容量を持つ、最大 4 枚の Fusion-io ioDrive2 カードを搭載することができ、増加するワークロード需要に対応し、トラフィックの大きなピークも処理し、インフラストラクチャを統合できます。

Cisco UCS 1225 VIC

シスコの革新的な Cisco UCS VIC 1225(図 3)は、デュアルポートの拡張 Small Form-Factor Pluggable(SFP+)10 ギガビット イーサネットに対応し、Cisco UCS C シリーズ ラック サーバ向けに設計された FCoE 対応の PCIe カードです。このカード サイズはハーフハイトの設計になっており、サーバのフルハイト スロットはシスコ認定のサードパーティ製アダプタを搭載することができます。この次世代統合型ネットワーク アダプタ(CNA)テクノロジーを取り入れることで、将来の機能リリースにおける投資を保護します。このカードにより、ポリシーベースでステートレス、かつ俊敏性に優れたサーバ インフラストラクチャが実現します。PCIe 標準準拠のインターフェイスを最大 256 個までホストに提供可能で、ネットワーク インターフェイス カード(NIC)またはホスト バス アダプタ(HBA)として動的に構成することができます。さらに、Cisco UCS ファブリック インターコネクトのポートを仮想マシンまで拡張する Cisco Data Center Virtual Machine ファブリック エクステンダ(VM-FEX)テクノロジーをサポートしているため、サーバ仮想化の導入が容易になります。

図 3 Cisco UCS VIC 1225 アーキテクチャ

図 3 Cisco UCS VIC 1225 アーキテクチャ


Cisco Nexus 5548UP スイッチ

Cisco Nexus 5548UP(図 4)は、1RU の 10 ギガビット イーサネット スイッチで、最大 960 Gbps のスループットと最大 48 ポートを提供します。32 個の 1/10 ギガビット イーサネット固定 SFP+ イーサネットおよび FCoE、または 1/2/4/8 Gbps ネイティブ ファイバ チャネル ユニファイド ポートと 3 個の拡張スロットを提供します。これらのスロットは、イーサネットと FCoE とネイティブ ファイバ チャネル ポートの組み合わせです。

図 4 Cisco Nexus 5548UP スイッチ

図 4 Cisco Nexus 5548UP スイッチ


Fusion-io

Fusion ioMemory プラットフォーム(Fusion-io ioDrive2)は、Fusion-io Virtual Storage Layer(VSL)と ioMemory モジュールを Fusion-io ioMemory プラットフォームに結合し、エンタープライズ アプリケーションおよびデータベースのための拡張機能を提供します。このプラットフォームは、フラッシュ ベースのメモリ テクノロジーを使用し、エンタープライズクラスのパフォーマンス、信頼性、可用性、管理性によってデータセンターの効率性が大きく向上します。Fusion-io ioDrive2 の重要な機能は次のとおりです。

  • 一貫性のある低遅延パフォーマンス:Fusion-io ioMemory プラットフォームは、複合ワークロードに一貫した低遅延アクセスを提供します。高度な Fusion-io ioMemory アーキテクチャにより、クラス最高水準の低いキューで、読み取りおよび書き込み速度はほぼ同じパフォーマンスを可能にします。この機能により、Fusion ioMemory を備えた Fusion-io ioDrive2 デバイスは、現実のさまざまな高パフォーマンス エンタープライズ環境に対応する優れたソリューションになります。
  • 業界最高の容量:Fusion-io ioDrive2 の容量は 365 GB、785 GB、1,205 GB、3 TB であり、データ集約的な環境であっても CPU の効率が向上します。

Cisco UCS および 3 TB Fusion-io ioDrive2 アダプタの仕様は次のとおりです。

  • 3 TB のマルチレベル セル(MLC)フラッシュ メモリ
  • 1.5 GBps の帯域幅(1 MB の読み取り)
  • 1.1 GBps の帯域幅(1 MB の書き込み)
  • 1 秒間に 143,000 回の I/O 操作(IOPS、512 バイトのランダムな読み取り)
  • 535,000 IOPS(512 バイトのランダムな書き込み)
  • 136,000 IOPS(4 K のランダムな読み取り)
  • 242,000 IOPS(4 K のランダムな書き込み)
  • 書き込み遅延 15 マイクロ秒、読み取り遅延 68 マイクロ秒
  • サポートされるハードウェア:すべての Cisco UCS M3 サーバ
  • サポートされるソフトウェア:Cisco UCS Manager 2.1 以降

ハードウェアおよびソフトウェア コンポーネント

このドキュメントの設定は、主に次のソフトウェアとハードウェア コンポーネントに基づいています。

ハードウェア要件

  • Cisco UCS C240 M3 ラック サーバ(Intel Xeon プロセッサ E5-2695 v2、2.4 GHz)、256 GB メモリ X 1
  • Cisco UCS 1225 VIC X 1
  • Cisco UCS 6248UP ファブリック インターコネクト X 2
  • Cisco Nexus 5548 スイッチ X 2
  • 3 TB Fusion-io ioDrive2 カード X 2

クライアントのハードウェア要件

  • Cisco UCS C210 M2 ラック サーバ X 1

ソフトウェア要件

  • Cisco UCS ファームウェア リリース UCS 2.2(1b)
  • Cisco Integrated Management Controller(IMC)リリース 1.5(4)
  • Red Hat Enterprise Linux(RHEL)バージョン 6.4
  • Oracle Database 11g Enterprise Edition Release 11.2.0.4.0(64 ビット)
  • Oracle ASM Library:Generic Linux バージョン 2.0.4
  • Swingbench リリース 2.4

Cisco UCS C240 M3 サーバ BIOS 設定

BIOS は起動時にシステムのハードウェア コンポーネントをテストして初期化し、ストレージ デバイスからオペレーティング システムを起動します。標準的なコンピュータ システムでは、複数の BIOS 設定がシステムの動作を制御します。これらの設定の一部は、システムのパフォーマンスと直接関係します。

図 5 では、パフォーマンスを制御する BIOS の設定を示します。

図 5 BIOS 設定

図 5 BIOS 設定


インフラストラクチャのセットアップ


このセクションでは、Fusion-io ioDrive2 カードを搭載した Cisco UCS C240 M3 サーバに Oracle Database 11g を導入するための重要な設計と設定の情報を示します。Cisco UCS Manager 2.2 は、ファブリック インターコネクトへの直接接続による Cisco UCS C シリーズ ラック サーバと Cisco UCS Manager の統合をサポートします。このシステム構成の場合、ファブリック エクステンダは必要ありません。このオプションを使用すると、Cisco UCS Manager は 1 本のケーブルを管理トラフィックとデータ トラフィックの両方に使用して Cisco UCS C シリーズ サーバを管理できます。直接接続モードでのシングルワイヤ管理の詳細については、
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/c-series_integration/ucsm2-2/b_C-Series-Integration_UCSM2-2/b_C-Series-Integration_UCSM2-2_chapter_0110.html [英語] を参照してください。

ネットワーク設計

図 6 は、Cisco UCS C240 M3 からファブリック インターコネクトへのネットワーク接続を示します。サーバは直接接続モードを使用して設定されます。Cisco UCS C240 M3 サーバの Cisco UCS VIC1225 の各ポートは、10 Gbps の Small Form-factor Pluggable(SFP)ケーブルを使用してファブリック インターコネクト A および B のサーバ ポートに接続されます。図において複数の色で示されているパスは、管理トラフィックとデータ トラフィックの両方を伝送します。

図 6 Cisco UCS C240 M3 および Cisco UCS 6248UP ファブリック インターコネクトの論理接続

図 6 Cisco UCS C240 M3 および Cisco UCS 6248UP ファブリック インターコネクトの論理接続


Fusion-io ioDrive2 の設定

Oracle Database は、3 TB Fusion-io ioDrive2 カードのミラー化されたグループに設定します。Cisco UCS C240 M3 サーバに Fusion-io ioDrive2 カードを設定する主要な手順の一部を示します。

手順 1. RHEL 6.4 の最新のドライバが Cisco UCS C240 M3 の各仮想 NIC(vNIC)インターフェイスにインストールされていることを確認します。最新のイーサネット NIC(eNIC)ドライバは、www.cisco.com からダウンロードできます。ダウンロードした ISO ファイルからドライバを抽出し、Linux\Network\Cisco\12x5x\RHEL\RHEL6.4 ディレクトリから Cisco VIC 1225 のドライバを抽出します。

root@fusionio-c240-1 downloads]# rpm -ivh kmod-enic-2.1.1.52-rhel6u4.el6.x86_64.rpm
Preparing... ########################################### [100%]
1:kmod-enic ########################################### [100%]
[root@fusionio-c240-1 downloads]#

[root@fusionio-c240-1 downloads]# modinfo enic
filename: /lib/modules/2.6.32-358.el6.x86_64/extra/enic/enic.ko
version: 2.1.1.52
license: GPL v2
author: Scott Feldman <scofeldm@cisco.com>
description: Cisco VIC Ethernet NIC Driver
srcversion: F55DFDB1146824B7E94F5F5
alias: pci:v00001137d00000071sv*sd*bc*sc*i*
alias: pci:v00001137d00000044sv*sd*bc*sc*i*
alias: pci:v00001137d00000043sv*sd*bc*sc*i*
depends:
vermagic:2.6.32-358.el6.x86_64 SMP mod_unload modversions

手順 2. Fusion-io ioDrive2 カードの最新のファームウェアとユーティリティをインストールします。

root@fusionio-c240-1 Software Binaries]# rpm -ivh iomemory-vsl-2.6.32-358.el6.x86_64-3.2.6.1212-1.0.el6.x86_64.rpm
Preparing... ########################################### [100%]
1:iomemory-vsl-2.6.32-358########################################### [100%]
[root@fusionio-c240-1 Utilities]# ls
fio-util-3.2.6.1212-1.0.el6.x86_64.rpm
[root@fusionio-c240-1 Utilities]# rpm -ivh fio-util-3.2.6.1212-1.0.el6.x86_64.rpm
Preparing... ########################################### [100%]
1:fio-util ########################################### [100%]
[root@fusionio-c240-1 Firmware]# ls
fio-firmware-fusion-3.2.6.20131003-1.noarch.rpm  fusion_3.2.6-20131003.fff
[root@fusionio-c240-1 Firmware]# rpm -ivh fio-firmware-fusion-3.2.6.20131003-1.noarch.rpm
Preparing... ########################################### [100%]
1:fio-firmware-fusion ########################################### [100%]
[root@fusionio-c240-1 Firmware]#

手順 3. Fusion-io カードをフォーマットして接続します。

[root@fusionio-c240-1 ~]# fio-format /dev/fct0

/dev/fct0: Creating block device.
Block device of size 1205.00GBytes (1122.24GiBytes).
Using block (sector) size of 4096 bytes.

WARNING: Formatting will destroy any existing data on the device!
Do you wish to continue [y/n]? y

WARNING: Do not interrupt the formatting! If interrupted, the fio-sure-erase utility may help recover from format errors. 
Please see documentation or contact support.

Formatting: [====================] (100%) /
/dev/fct0 - format successful.
[root@fusionio-c240-1 ~]# fio-format /dev/fct1

/dev/fct1: Creating block device.
Block device of size 1205.00GBytes (1122.24GiBytes).
Using block (sector) size of 4096 bytes.

WARNING: Formatting will destroy any existing data on the device!
Do you wish to continue [y/n]? y

WARNING: Do not interrupt the formatting! If interrupted, the fio-sure-erase utility may help recover from format errors. 
Please see documentation or contact support.

Formatting: [====================] (100%) |
/dev/fct1 - format successful.
[root@fusionio-c240-1 ~]#

[root@fusionio-c240-1 ~]# fio-attach /dev/fct0
Attaching: [====================] (100%) /
fioa - attached.
[root@fusionio-c240-1 ~]# fio-attach /dev/fct1
Attaching: [====================] (100%) /
fiob - attached.
[root@fusionio-c240-1 ~]#

手順 4. 各 Fusion-io カード(/dev/fioa および /dev/fiob)を、各 675 GB の 4 つのパーティションにフォーマットします。

[root@fusionio-c240-1 ~]# parted /dev/fioa
GNU Parted 2.1
Using /dev/fioa
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
(parted) mkpart primary 2048s 675GB
(parted) print

Number  Start   End    Size   File system  Name     Flags
 1      1049kB  675GB  675GB               primary

(parted) mkpart primary 675GB 1350GB
(parted) mkpart primary 1350GB 2025GB
(parted) mkpart primary 2025GB 2700GB
(parted) print
Model: Unknown (unknown)
Disk /dev/fioa: 3000GB
Sector size (logical/physical): 4096B/4096B
Partition Table: gpt

Number  Start   End     Size   File system  Name     Flags
 1      1049kB  719GB   719GB               primary
 2      719GB   1439GB  719GB               primary
 3      1439GB  2158GB  719GB               primary
 4      2158GB  2878GB  719GB               primary

(parted) quit
Information: You may need to update /etc/fstab.

Oracle Database 11g の設定

Oracle Database は、3 TB Fusion-io ioDrive2 カードのミラー化されたグループに設定します。Oracle Database 11g の主要な設定手順の一部を示します。

手順 1. Oracle Database をインストールする前に、RHEL 6.4 ですべての前提条件コンポーネントがインストールされていることを確認します(http://docs.oracle.com/cd/E16655_01/install.121/e17888/prelinux.htm [英語] を参照)。

手順 2. Oracle ASM パッケージをダウンロードして Red Hat カーネルにインストールします(https://access.redhat.com/solutions/315643 [英語])を参照)。

手順 3. Oracle ASM が次のパラメータで設定されていることを確認します。

[oracle@fusionio-c240-1 ~]$ oracleasm configure
ORACLEASM_ENABLED=true
ORACLEASM_UID=oracle
ORACLEASM_GID=oinstall
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER="fi"
ORACLEASM_SCANEXCLUDE="sd"
ORACLEASM_USE_LOGICAL_BLOCK_SIZE="true"

手順 4. asm_diskstring パラメータを設定します(システム設定 asm_diskstring='ORCL:*' scope=both sid='*'; を変更)

手順 5. 各 Fusion-io カードに作成した 4 つのパーティションで Oracle ASM ディスクを作成します。

/usr/sbin/asmtool -C -l /dev/oracleasm -n fioa1 -s /dev/fioa1 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fioa2 -s /dev/fioa2 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fioa3 -s /dev/fioa3 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fioa4 -s /dev/fioa4 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fiob1 -s /dev/fiob1 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fiob2 -s /dev/fiob2 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fiob3 -s /dev/fiob3 -a force=yes
/usr/sbin/asmtool -C -l /dev/oracleasm -n fiob4 -s /dev/fiob4 -a force=yes

手順 6. Oracle ASM ディスク グループを作成する前に、すべてのディスクが候補ディスクとして表示されることを確認します。

SQL> select header_status,sector_size from v$asm_disk;

HEADER_STATU SECTOR_SIZE
------------ -----------
CANDIDATE            4096
CANDIDATE            4096
CANDIDATE            4096
CANDIDATE            4096

CANDIDATE            4096
CANDIDATE            4096
CANDIDATE            4096
CANDIDATE            4096
8 rows selected.

手順 7. Oracle ASM ディスク グループを作成します。

CREATE DISKGROUP fiodg NORMAL REDUNDANCY
FAILGROUP fio1 DISK
'ORCL:fioa1',
'ORCL:fioa2',
'ORCL:fioa3',
'ORCL:fioa4'
FAILGROUP fio2 DISK
'ORCL:fiob1',
'ORCL:fiob2',
'ORCL:fiob3',
'ORCL:fiob4'
ATTRIBUTE 'sector_size'='4096',
          'compatible.asm' = '11.2.0.4',
          'compatible.rdbms' = '11.2.0.4';

手順 8. Oracle ASM ディスク グループを設定した後、同じディスク グループのデータ ファイルとログ ファイルで Oracle Database を作成します。Fusion-io ioDrive2 3 TB カードのデフォルトのセクタ サイズは 4 KB のため、Oracle ASM ディスク グループは 4096 バイトのセクタ サイズで作成されています。

手順 9. Oracle ユーザで Oracle Database and Grid(リリース 11.2.0.4)インフラストラクチャを Cisco UCS C240 M3 サーバにインストールします。Oracle のバイナリはサーバのローカル ディスクにインストールされます。データおよび REDO ログ ファイルは、Fusion-io カード上に作成された Oracle ASM ディスク グループに存在します。

手順 10. データベース障害時の復元を有効にするため、アーカイブ REDO ログおよびバックアップ ファイルが別の NAS デバイスに設定されていることを確認します。

パフォーマンスおよびフェールオーバーの分析


ワークロードの説明

このソリューションでは、Swingbench を OLTP ワークロードのテストに使用します。Swingbench は、Java ベースの使いやすい無料ツールであり、データベース ワークロードを生成したり、Oracle Database 環境のさまざまなベンチマークを使用してストレス テストを実行したりするために使用されます。Swingbench には、Order Entry、Sales History、Calling Circle、Stress Test という 4 つのベンチマークがあります。このセクションで説明するワークロード テストでは、Swingbench の Order Entry ベンチマークを使用しました。Order Entry ベンチマークは Swingbench の Order Entry スキーマに基づき、トランザクションの種類に関しては TPC-C ベンチマークと似ています。このワークロードで使用する読み取り/書き込み率はおよそ 60/40 と非常にバランスがよく、連続的に実行して、データベース リソースの競合を発生させ、小規模なテーブルに対する典型的な Order Entry ワークロードのパフォーマンスをテストするように設計できます。

テスト シナリオ

エンタープライズ ソリューションの構築では、システム管理者とソリューション アーキテクトはデータベースのパフォーマンスと、ハードウェアまたはソフトウェアの障害時のサーバ復元プロセスの両方を確認する必要があります。このセクションでは、Cisco UCS C240 M3 サーバに搭載された Fusion-io カードのパフォーマンスを評価する 3 つのテスト シナリオと、ハードウェア障害時のデータベースのバックアップと復元に対するベスト プラクティスを説明します。

  • OLTP ワークロードを使用したパフォーマンスの検証:このテスト シナリオでは、CPU、メモリ、および OLTP ユーザが 100 から 450 に増えたときに生成される合計 IOPS の値など、サーバに関する主要な特性を評価します。
  • 1 枚の Fusion-io カードで障害が発生したときのパフォーマンスへの影響:このテスト シナリオでは、1 枚の Fusion-io カードで障害が発生したときのエンドユーザ応答時間およびスループットへの影響を分析します。
  • アーカイブおよびバックアップ ログからのデータベースの復元:サーバ障害に備えて、データベース管理者(DBA)および関係する管理者はデータベースを復元するための戦略が必要です。このシナリオでは、約 1.8 TB のデータベースの総復元時間を測定します。

OLTP ワークロードを使用したパフォーマンスの検証

このシナリオでは、2 枚の Fusion-io カードを備える Cisco UCS C240 M3 サーバに導入された Oracle Database のパフォーマンスを、ユーザ数 100 〜 450 の範囲で評価します。CPU、メモリ、ディスク I/O などのシステム リソースの使用状況は、nmon analyser ツールを使用して測定しました。1 秒あたりのトランザクション数(TPS)は、OLTP ユーザに対して 10 分ごとに生成される自動ワークロード リポジトリ(AWR)レポートから測定しました。ユーザ数の範囲は 100 〜 450 です。データベースの I/O、スループット、ディスク遅延を測定するために、Oracle Enterprise Manager を設定しました。

図 7 は、OLTP ユーザが 100 から 450 に増えたときに直線を描くような拡張性を示しています。450 ユーザ時の 1 秒あたりの総トランザクション数は、Oracle AWR レポートの測定によると約 14,000 TPS でした。

図 7 OLTP ワークロードに対するトランザクション スループット

図 7 OLTP ワークロードに対するトランザクション スループット


CPU 使用率

Cisco UCS C240 M3 サーバは、2.4 GHz のクロック周波数で動作する 2 ソケットの Intel Xeon プロセッサ E5-2680 v2 を搭載しました。図 8 で示されているように、OLTP ユーザ数を 100 から 450 に増やすと、CPU の使用率は約 18 パーセントから最大で約 80 パーセントに上昇しました。システムの CPU 使用率は徐々に増加しており、直線を描くようなワークロードの拡張性を反映しています。

図 8 OLTP ワークロードに対する CPU 使用率

図 8 OLTP ワークロードに対する CPU 使用率


図 9 は、Swingbench による OLTP ユーザ数 450 に対する拡張性テスト時に nmon analyser ツールによって取得された CPU 使用率を示しています。

図 9 450 ユーザ時の OLTP ワークロードに対する CPU 使用率

図 9 450 ユーザ時の OLTP ワークロードに対する CPU 使用率


I/O パフォーマンス

Cisco UCS C240 M3 サーバには、ミラー化された Oracle ASM ディスク グループとして設定された 2 枚の 3 TB Fusion-io ioDrive2 カードを搭載しました。図 10 で示されているように、生成された IOPS の最大値は、OLTP ユーザ数 450 にシステムが拡張されたときの約 39,400 IOPS でした。ディスクの読み取りと書き込みの合計待機時間は、ユーザ数 100 〜 450 の範囲すべてにおいて 1 ミリ秒(ms)未満でした。ワークロードの読み取りと書き込みの比は、450 ユーザ時において約 60:40 でした。これらの IOPS 値は、nmon analyser と Oracle AWR レポートの両方で測定されました。

図 10 I/O パフォーマンス

図 10 I/O パフォーマンス


図 11 は、Swingbench による OLTP ユーザ数 450 に対する拡張性テスト時に取得された Oracle AWR のデータを示しています。強調表示されている値は、450 ユーザ時の OLTP テストで生成された読み取りと書き込みの I/O を示します。

図 11 450 ユーザ時の Oracle AWR データ

図 11 450 ユーザ時の Oracle AWR データ


Oracle Enterprise Manager のスナップショット

図 12 は、OLTP ユーザ数 450 時の Oracle Enterprise Manager のスナップショットを示します。このデータは、前のセクションで示されている統計情報を裏付けています。

この図で示されているように、IOPS の合計値が約 39,000 であるのに対し、I/O スループットは約 350 MBps でした。

図 12 Oracle Enterprise Manager の統計情報

図 12 Oracle Enterprise Manager の統計情報


1 枚の Fusion-io カードの障害によるパフォーマンスへの影響

Cisco UCS C240 M3 サーバ上に構築された Oracle Database には、ミラー化された Oracle ASM ディスク グループとして設定された 2 枚の 3 TB Fusion-io ioDrive2 カードが搭載されています。このセクションでは、1 枚の Fusion-io カード障害時のエンドユーザ スループットの違いを示します。以下のイベント時のシステム特性の詳細を説明します。

  • 正常フェーズ:両方の Fusion-io カードが OLTP ユーザ ワークロードに対して正常に動作しています。
  • 障害フェーズ:1 つの Oracle ASM ディスク グループがオフラインになり、CPU 使用率や IOPS などのシステム特性に対する影響が分析されました。
  • 復元フェーズ:障害が発生したカードがオンラインに戻り、正常動作状態になるまでシステム特性が分析されました。

図 13 は、これら 3 つのフェーズにおける TPS と IOPS の値を示しています。

図 13 Fusion-io カード障害時のパフォーマンスへの影響

図 13 Fusion-io カード障害時のパフォーマンスへの影響


図 14 は、1 枚の Fusion-io カードを接続および切断する間の全フェーズのサーバ CPU 使用率を示しています。

図 14 Fusion-io カード障害時の CPU 使用率

図 14 Fusion-io カード障害時の CPU 使用率


正常フェーズ:450 ユーザ時のワークロード

図 15 は、OLTP ユーザ数 450 のシステム負荷時の Oracle Enterprise Manager のスナップショットを示しています。約 39,000 の合計 IOPS、約 380 MBps のスループット、1 ms 未満のディスク遅延が示されています。この時点で約 70 のアクティブなセッションがありました。Oracle AWR レポートで測定された合計 TPS は、約 13,800 TPS でした。


図 15 正常状態:450 ユーザ時のワークロード

図 15 正常状態:450 ユーザ時のワークロード


障害フェーズ:450 ユーザ時のワークロード

このフェーズは、1 枚 の Fusion-io カードのディスク グループがオフラインになります。Swingbench はユーザ数 450 の OLTP ワークロードを実行しました。図 16 で示されているように、合計 IOPS または 1 秒あたりの合計スループットには変化はありませんでした。ディスク遅延は少し上昇しましたが、それでも 1 ms 未満であり、アクティブなユーザ セッション数の合計はごくわずかだけ増えました。Oracle AWR レポートで測定された合計 TPS の値は、約 13,400 TPS でした。


図 16 障害状態:450 ユーザ時のワークロード

図 16 障害状態:450 ユーザ時のワークロード


復元フェーズ:450 ユーザ時のワークロード

このフェーズは、Fusion-io カードの Oracle ASM ディスク グループがオンラインに戻った直後とその後のシステム特性を示します。このフェーズは、2 つの主要なイベントで構成されます。

  • Oracle ASM がオンラインの Cisco ASM ディスク グループと同期します。
  • 同期の後、データベースが正常状態で動作します。

図 17 で示されているように、Oracle ASM がオンラインの Oracle ASM ディスク グループと同期するとき、約 5 ms という高いディスク遅延が発生します。データベース上のアクティブなセッション数は、約 70 から 170 セッションに増加します。ディスクの IOPS の値は約 30,000 IOPS に低下し、Cisco AWR によって測定された合計 TPS の値は約 10,500 TPS でした。約 1.8 TB のデータベースの同期フェーズは、50 〜 60 分で完了しました。



図 17 復元状態:Oracle ASM ディスク同期における 450 ユーザ時のワークロード

図 17 復元状態:Oracle ASM ディスク同期における 450 ユーザ時のワークロード


同期の後、データベースが正常状態で動作します。図 18 で示されているように、システムは期待どおり 39,000 IOPS および約 380 MBps のスループットを達成します。トランザクションの数は約 13,500 TPS でした。



図 18 復元状態:同期後の正常状態における 450 ユーザ時のワークロード

図 18 復元状態:同期後の正常状態における 450 ユーザ時のワークロード


アーカイブおよびバックアップ ログからのデータベースの復元

Fusion-io カードを搭載した Cisco UCS C240 M3 サーバに導入された Oracle Database(単一インスタンス)について、複数の種類の障害時の分析をしました。前のセクションでは Oracle ASM ミラーリングでインストールされている 2 枚の Fusion-io カードのうちの 1 枚に障害が発生したときの、障害フェーズおよびデータベース同期フェーズ時のパフォーマンスを詳しく調べました。障害の種類によってはシステムが使用不可能になり、ビジネス継続のためにシステム管理者およびデータベース管理者による作業が必要になる場合があります。ここでは、障害のうち次について説明します。

  • Fusion-io カードの障害:1 枚の Fusion-io カードが Cisco UCS C240 M3 サーバにインストールされています。
  • Oracle Database の障害:バックアップからデータベースを復元する必要があります。
  • ローカル ディスクの障害:オペレーティング システムおよび Oracle リレーショナル データベース管理システム(RDBMS)のバイナリの再ホストが必要です。
  • CPU またはメモリの障害:ダウンタイムを短縮するため、ワークロードを別のサーバに移動する必要があります。

最後の 2 つのケースは、このドキュメントの対象外です。ケース 3 は、ディスクの交換と OS および RDBMS のバイナリのインストールが必要です。ケース 4 は、別のサーバが必要です。ただし、Cisco UCS サービス プロファイルを使用すると、これら 2 つの障害シナリオでのダウンタイムが大幅に減少できます。

第 1 のケースは、1 枚の Fusion-io カードがサーバにインストールされていて、障害が発生します。この障害が発生した場合、サーバの Fusion-io カードを交換すると、Oracle Database ファイルが NAS バックアップから復元されます。

第 2 のケースは、Oracle Database の障害が発生します。Oracle Database の障害にはさまざまな種類があります。DBA による簡単な手順や Oracle サポートのヘルプで迅速に対応できる障害もあります。しかし、データベース ファイルを復元し、Oracle RMAN を使用して完全なテーブル領域の復旧を行うしか手段がない障害もあります。テスト ベッドでは、PCIe ベースの Fusion-io カードの I/O スループットが高いため、複数のテストを実行して外部ストレージでの Oracle Database のバックアップとリカバリを解明しました。

RMAN の完全なデータベース復元に要する合計時間は、1.8 GB のデータベースで約 52 分でした。

まとめ


Cisco UCS C240 M3 ラック サーバの高いパフォーマンスと内部ストレージは、アーキテクチャ、テクノロジー、パートナーシップ、サービスにおける革新の長い歴史に基づいて、単一ベンダーによって提供されます。Cisco UCS C240 M3 はデータとストレージに対する需要が増加している組織のために設計されています。エンタープライズクラスの Cisco UCS C240 M3 は Intel Xeon プロセッサ E5-2600 テクノロジーを装備しており、トップクラスのパフォーマンス、エネルギー効率、柔軟性を提供します。シスコのエンジニアは、ワークグループ コラボレーション、仮想化、統合、大規模データ インフラストラクチャ、中規模企業(SMB)データベースなどの広範囲のアプリケーションに対応するように、Cisco UCS C240 M3 および Cisco UCS 1225 VIC を設計しました。

Cisco UCS C240 M3 とその包括的なテクノロジー製品スタックは、優れたコンピューティングおよびネットワーク パフォーマンスを備え、仮想化テクノロジーおよび小中規模での需要の拡大という課題に応える内部ストレージを単一のシステムに統合して提供します。

Cisco UCS C240 M3 サーバ、Fusion-io ioMemory プラットフォーム、Oracle Database の組み合わせにより、パフォーマンスが劇的に向上します。このソリューションは、情報への高速アクセスを実現し、ビジネスの決定に役立つ重要な考察を得られるようにします。単一の Oracle Database インスタンスであっても、今日のニーズを低コストで満たす優れたパフォーマンスとフェールオーバー戦略を提供します。このソリューションが達成する約 39,000 IOPS と 60:40 の読み取り/書き込み比は、小中規模程度のエンタープライズクラスのストレージのパフォーマンスに匹敵します。1 枚の Fusion-io カードで障害が発生した場合でも、サーバは正常な動作時のスループットと IOPS を維持します。サーバ障害時は、Cisco

UCS ラック サーバへの直接接続によってシステムのダウンタイムが短縮され、Cisco UCS のステートレス性が遺憾なく発揮されます。Cisco UCS、Fusion-io、Oracle Database をまとめて導入することで、エンタープライズクラスの高パフォーマンス、低遅延、信頼性、拡張性を備えたソリューションが得られます。お客様やユーザのロイヤルティが高まるとともに競争力が向上し、運用コストが削減されます。このドキュメントで解説されているパフォーマンス調査では、Cisco UCS C240 M3 ラック サーバに Fusion-io カードを装備すると、アプリケーションのパフォーマンスと Oracle Database の運用効率が向上することがわかりました。

詳細情報