データセンター

ディレクタクラスの FCoE:Cisco Nexus 7000 シリーズ スイッチと Cisco MDS 9500 シリーズ マルチレイヤ ディレクタによるネットワークの統合

ガイド





ディレクタクラスの FCoE:Cisco Nexus 7000 シリーズ スイッチと Cisco MDS 9500 シリーズ マルチレイヤ ディレクタによるネットワークの統合



概要


このドキュメントは、ストレージの管理者とセールス エンジニアを対象に、シスコのディレクタクラスの FCoE(Fibre Channel over Ethernet)製品の理解を目的として作成されたものです。マルチホップ FCoE の展開についての基本的な要件、展開シナリオ、およびベスト プラクティスについて説明します。

FCoE の概要


データセンターは通常、遅延および復元力についての要件が異なる複数のネットワークを対象として設計されており、パケット損失に対する耐性がないストレージ専用のネットワーク(SAN)と、パケット損失に対する耐性がある従来のイーサネット専用のネットワーク(LAN)が別々に展開されます。複数のネットワークの管理には、冗長なネットワーク アダプタ、ケーブル配線、およびスイッチが必要になり、管理者にとって困難で柔軟性のない環境となります。

FCoE は、パケット損失のないイーサネット LAN での伝送のためにファイバ チャネルからイーサネットへネイティブでマッピングを行う標準ベースのプロトコルです。FCoE によってデータセンターの I/O の統合が可能になり、現在のデータセンターに関する多くの課題に対処できます。FCoE の詳しい紹介については、「FCoE ストレージ ネットワーキングの進化」を参照してください。

FCoE 関連の用語


このドキュメントでは、以下のような FCoE 関連の用語を使用します。

  • Data Center Bridging(DCB; データセンター ブリッジング):データセンターでの使用のために従来のイーサネット プロトコルを拡張する標準の集合
  • DCB Exchange(DCBX) プロトコル:ピア間での DCB パラメータのやりとりを可能にし、パケット損失のないイーサネットの動作を支援するプロトコル
  • Enhanced Transmission Selection(ETS; 拡張伝送選択):1 つのリンクで使用可能な帯域幅の割合を、指定されている優先度グループ間で分割できる機能(IEEE 802.1Qaz の標準で定義されている機能)
  • Fibre Channel Forwarder(FCF; ファイバ チャネル フォワーダ):FCoE のフレームを複数のホップ間で切り替えることができる、FCoE 対応のデバイスの機能
  • FCoE Initialization Protocol(FIP):イーサネットなどのマルチアクセス ネットワークでポイントツーポイントの仮想ファイバ チャネル リンクの確立が可能な、初期化のプロトコル
  • ファイバ チャネル:SAN で使用される一般的なプロトコル(決定論的でパケット損失のない信頼性を持つため、ストレージ トラフィックに適しています)
  • SAN:ストレージ トラフィック用のネットワーク
  • Virtual SAN(VSAN; 仮想 SAN):同じ物理ネットワークにある論理 SAN をグループ化したもの

シスコの FCoE の要件


ソフトウェア要件

Cisco Nexus® 7000 シリーズ スイッチと Cisco® MDS 9500 シリーズ マルチレイヤ ディレクタでの FCoE 機能は、Cisco NX-OS ソフトウェア リリース 5.2 以降でサポートされています。

ハードウェア要件

ハードウェア要件は、FCoE 接続に使用されるプラットフォームによって異なります。このドキュメントで説明されているマルチホップ トポロジを構築するためのプラットフォームごとの要件を表 1 にまとめました。また、マルチホップ FCoE トポロジでは、サーバ接続に CNA(統合型ネットワーク アダプタ)が必要です。現在 CNA は、EMC、QLogic、および Cisco Unified Computing System™ で提供されています。

表 1 シスコの FCoE のハードウェア要件

プラットフォーム 製品番号 説明
Cisco MDS 9500 シリーズ DS-X9708-K9 Cisco MDS 9000 10 Gbps、8 ポート FCoE モジュール
Cisco MDS 9500 シリーズ DS-X9530-SF2AK9 Cisco MDS 9500 シリーズ スーパーバイザ:2A モジュール
Cisco Nexus 7000 シリーズ N7K-F132XP-15 32 ポート 1/10 ギガビット イーサネット モジュール(SFP(着脱可能小型フォームファクタ)および SFP+(Enhanced SFP))


ライセンス要件

Cisco Nexus 7000 シリーズ ラインカードの FCoE 機能を有効にするには、FCoE ライセンスが必要です。ラインカードごとに 1 つのライセンスが必要です(表 2)。

表 2 シスコの FCoE のライセンス要件

プラットフォーム 製品番号 説明
Cisco Nexus 7000 シリーズ N7K-FCOEF132XP Cisco Nexus 7000 シリーズ 32 ポート 10 ギガビット イーサネット SFP+(F1)用の FCoE ライセンス


ストレージのハイ アベイラビリティ


どのようなデータセンターの設計でも、ハイ アベイラビリティは重要な要件です。統合型ネットワーク(パケット損失に対する耐性がないストレージ トラフィックが、パケット損失に対する耐性があるイーサネット トラフィックと、ネットワーク インフラストラクチャを共有する環境)では、特に重要です。ハイ アベイラビリティは、ネットワークのさまざまなレベル(シャーシ、リンク、およびプロセスのレベル)で実装されます。Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチには、ネットワーク設計者がデータセンターのハイ アベイラビリティの要件に対応し、統合型の環境でアップタイムとストレージ トラフィックの完全性を確保するのに役立つ、ハードウェアの機能とソフトウェアの機能があります。これらの機能の詳細については、Fibre Channel over Ethernet の耐障害性:統合ネットワークでのハイ アベイラビリティの実現 [英語] を参照してください。

従来、SAN の設計者は、ネットワークでのハイ アベイラビリティの実現のために、冗長なネットワーク リンクとネットワーク機器を使用してきました。こういった設計では、異なる並列の SAN のプロビジョニングと管理が行われます。こういった並列の独立した SAN は、SAN A および SAN B と呼ばれることがよくあります。

データセンターの設計者は、統合型のネットワークを設計する場合はハイ アベイラビリティのオプションを考慮する必要があります。

ストレージ トラフィックのセキュリティ


データセンター ネットワークを設計する場合、セキュリティも重要な考慮事項です。考慮する必要があるのは、データ トラフィックのセキュリティについてだけではありません。ネットワーク リソースへのアクセスのセキュリティ、ロールの設定および管理についても考慮する必要があります。ストレージ トラフィックのセキュリティには、多くの要素があります。ストレージのリソースへの不正アクセスを防止して、管理プレーンをセキュリティで保護する必要があります。これは、ゾーン分割と VSAN の分離によって実現できます。ストレージと LAN のトラフィックが同じインフラストラクチャを共有する統合型ネットワークでは、ストレージ トラフィックについてもイーサネット ネットワークで異常が発生しないように保護する必要があります。イーサネットのブロードキャスト ストームによって発生するトラフィック パターンは、パケット損失に対する耐性がないストレージ トラフィックの損失や遅延が起こらないように、すばやく軽減と分離を行う必要があります。さらに、ストレージ コントロール プレーンを、ネットワークを不安定にする可能性のある不正な変更から保護する必要があります。

データセンターで統合されるデバイスの数の増加にしたがって、デバイスの管理も統合されます。統合によって、ネットワーク上の物理デバイスの数は少なくなりますが、それらのデバイスでは複数の機能が実行され、デバイスを管理する管理者のグループも複数必要になります。そのようなシナリオでは、ネットワーク上のデバイスの数は少なくなり、担当する管理者の人数は多くなります。そのため、こういったネットワーク リソースへのアクセスに関してロールベースのポリシーを定義することは、オペレーティング システムの重要なセキュリティ機能となります。

Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチには、データセンターの管理者が抱える、上記をはじめとしたセキュリティに関する懸念に対処できるハードウェアの機能とソフトウェアの機能があります。これらの機能の詳細については、Fibre Channel over Ethernet の耐障害性:統合ネットワークでのハイ アベイラビリティの実現 [英語] を参照してください。

オーバーサブスクリプション


オーバーサブスクリプションとは、複数のデバイスで共通のリソースを共有している状態です。通常、ネットワークでは、接続されているリンクおよびエンド デバイスよりも大きな集約帯域幅を持ったエンド デバイスが使用されていて、帯域幅はオーバーサブスクリプションの状態です。この状態の説明には、オーバーサブスクリプション比(ポート、デバイス、およびリンクの 1 つの組み合わせで使用できる帯域幅と、別のポート、デバイス、およびリンクの組み合わせで使用できる帯域幅の比率)がよく使用されます。SAN では、最も一般的な比率はホストの帯域幅とストレージの帯域幅の比率です。1 つのリンクのオーバーサブスクリプションの度合いは、ホストと対象の I/O の機能と、使用されるアプリケーションによって異なります。リンクのオーバーサブスクリプションの比率が高い設計で I/O 要件が厳しくないアプリケーションに対応できる場合もあれば、逆に、I/O 要件が厳しいアプリケーションに、オーバーサブスクリプション比が低いリンクが必要な場合もあります。

アプリケーションのパフォーマンス要件が、スイッチやホストのネゴシエートされたポート速度の要件よりもはるかに低い場合があるので、ネットワークのオーバーサブスクリプションによって、パフォーマンスを犠牲にすることなく、ポート数の多い展開が可能になります。エンドツーエンドの FCoE ネットワークを設計する場合、ネットワーク設計者は、アプリケーションの要件を考慮する必要があります。図 1 は、エンドツーエンドでのホストとストレージのオーバーサブスクリプション比が 10:1 の、標準的なネットワーク設計を示しています。

図 1 SAN でのオーバーサブスクリプション

図 1 SAN でのオーバーサブスクリプション


ネットワーク トポロジと展開シナリオ


標準的なデータセンターでは、サーバは、IP 接続を行う LAN と、ストレージ接続を行うファイバ チャネル SAN の、2 つの異なる独立したネットワークに接続されています。図 2 はそういったデータセンター ネットワークを示していて、ホストが冗長な方法で LAN と ファイバ チャネル SAN に接続されています。このネットワーク設計では、ホストで使用されるアダプタの数と、ネットワークで使用される専用のデータ スイッチング装置の数によって、スケーラビリティが制限されます。

図 2 従来のデータセンター ネットワーク

図 2 従来のデータセンター ネットワーク


Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ ディレクタ スイッチで使用できる FCoE 対応のラインカードによって、あらゆる要件に対応するさまざまなトポロジを構築できます。これらの FCoE 対応のデバイスによって、データセンターで展開されているプロトコルごとのホスト アダプタと個別のスイッチング プラットフォームの数を削減できます。次のセクションからは、一般的なエンドツーエンドの FCoE の展開と、ネットワーク管理者およびネットワーク オペレータが得られる価値について説明します。

アクセス レイヤの統合

ホスト アダプタと個別のスイッチング プラットフォームの数を削減する最初の論理的な手順は、アクセス レイヤの LAN と SAN のスイッチを、1 セットのホスト アダプタと 1 つのスイッチング プラットフォームに統合することです。アクセス レイヤの統合によって、導入コスト(CapEx)と運用コスト(OpEx)が大幅に削減され、アクセス レイヤにとどまらない統合の拡張によって、そういった利点が拡大します。図 3 は、統合されたアクセス レイヤを示しています。Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチの両方で FCoE 対応のラインカードを展開することによって、専用のファイバ チャネルのハードウェアの必要性が減り、こうしたハードウェアが必要になるのはファイバ チャネル SAN のコアだけになります。この方法は IT 管理者に大きな利点をもたらします。統合の利点が得られ、LAN で使用する管理ツールと同じツールを使用して SAN でミッション クリティカルなアプリケーションを監視できます。

図 3 統合型のアクセス ネットワーク

図 3 統合型のアクセス ネットワーク


統合型のアクセスの設計とファイバ チャネル SAN をつなぐ機能によって、ファイバ チャネル SAN への既存の継続的な投資が保護されます。また、この設計によって IT オペレータは、これらのスイッチで提供されるディレクタの CoS(ハイ アベイラビリティ、高いポート密度、インテリジェント SAN サービスなど)との統合への移行を開始できます。データセンターのオペレータは、段階的な統合によって、さらに高度な FCoE ストレージ ソリューションを利用できるようになるのにあわせて展開を拡張でき、同時に、イーサネットの経済性の利点を得られる統合型ネットワークへの移行を推進できます。

図 4 は、Cisco Nexus 7000 18 スロット スイッチと Cisco MDS 9513 マルチレイヤ ディレクタを使用してストレージ全体のオーバーサブスクリプション比 7:1 を実現する、コア-エッジの設計の例を示しています。

図 4 マルチホップ FCoE のコア-エッジの設計の例

図 4 マルチホップ FCoE のコア-エッジの設計の例


アグリゲーション レイヤの統合

シスコのマルチホップ FCoE ソリューションでは、Cisco Nexus 7000 シリーズ スイッチを、統合型のイーサネットのアグリゲーション スイッチおよび SAN のコア スイッチとして使用できます。その場合、このスイッチは、エッジ-コア-エッジの 3 層の SAN の設計で、Cisco MDS 9500 シリーズ スイッチに接続できます。図 5 は、標準的な統合型のネットワークの設計を示しています。ここでは、FCoE トラフィックは、アクセス レイヤからアグリゲーション スイッチへの専用のリンクで伝送され、さらにエッジ SAN ネットワークで伝送されます。このシナリオでは専用のリンクを使用してアクセス レイヤをアグリゲーション レイヤに接続することによって、ストレージ トラフィックを分離でき、各ファブリックが分離されます。これは、多くの SAN のオペレータにとっての要件となっています。

図 5 統合型のネットワークの設計

図 5 統合型のネットワークの設計


さらに、アクセス レイヤに Cisco Nexus 7000 シリーズがある場合は、設計者と管理者はアクセス レイヤでシスコの virtual PortChannel(vPC)または FabricPath のテクノロジーを LAN ポートで展開できるので、FCoE のストレージ トラフィックを別のリンクで分離した状態で、アグリゲーション レイヤとアクセス レイヤの間のポートの利用率を向上させることができ、IP ストレージ(iSCSI または NAS)および LAN トラフィックのためのサーバへのアクセスの帯域幅を拡大できます。この方法によって、従来のエッジ-コア-エッジの 3 層の SAN のネットワーク設計を維持した状態で、イーサネットのすべての機能を IP ストレージおよび LAN のトラフィックに適用できます。

エッジ-コア-エッジのトポロジは、ネットワークが拡大してストレージ ポートの数がコアで使用できるポートの数を超えると予測される環境に適しています。図 6 は、設計の例を示しています。

図 6 マルチホップ FCoE のエッジ-コア-エッジの設計の例

図 6 マルチホップ FCoE のエッジ-コア-エッジの設計の例
※画像をクリックすると、大きな画面で表示されますpopup_icon


エンドツーエンドのイーサネット ソリューションの提供

SAN の展開方法には、Cisco Nexus 7000 シリーズをコアの構成要素として使用して、エンドツーエンドの FCoE ベースのネットワークを構築する方法もあります。前述の例のように、分離されているイーサネット SAN は、LAN と SAN トラフィックの分離が要求される環境や、組織の境界が厳密に存在する環境では特に魅力的な方法です。この方法(図 7)によって、SAN の管理者は、イーサネットの規模と経済性のモデルを活用でき、さらに容量の大きなイーサネットの速度が利用可能になるのにあわせて拡張できます。

図 7 専用のイーサネット SAN コアを使用する統合型のアクセス

図 7 専用のイーサネット SAN コアを使用する統合型のアクセス


また、LAN および SAN の設計者は、Cisco Nexus 7000 シリーズ スイッチによって実現されるポート密度を利用して、ネットワークで FCoE ストレージ アレイを Cisco Nexus 7000 シリーズ アグリゲーション スイッチに直接接続できます(図 8)。アクセス レイヤにとどまらない SAN の分離も、専用の FCoE リンクを使用して実現できます。ネットワークの設計者は、既存の LAN 上に FCoE ネットワークを直接構築でき、FCoE ストレージへのアクセスが可能なデバイスの数が増加します。一方で、SAN の分離を維持する必要がある場合は、Virtual Device Context(VDC; 仮想デバイス コンテキスト)および専用の Inter-Switch Link(ISL; スイッチ間リンク)を使用して実現できます。ストレージをアグリゲーション スイッチに直接接続することで、コア-エッジの SAN トポロジが構築され、ストレージのオペレータは、これらのコア スイッチで利用できるディレクタクラスのサービス(ハイ アベイラビリティ、セキュリティ、ポートのスケーラビリティなど)を利用できます。

図 8 ストレージが接続される、統合型のネットワークの設計

図 8 ストレージが接続される、統合型のネットワークの設計


図 9 は、この統合型ネットワークのコア-エッジのネットワークの例です。この図では、Cisco Nexus 7000 18 ポート スイッチをスケーラビリティの優れたイーサネット ストレージ ディレクタとして使用して、Cisco MDS 9500 シリーズをベースにしたエッジ-コア-エッジの設計(図 6)の場合と同様のスケーラビリティを実現する方法を示しています。

図 9 ストレージが接続される、マルチホップ FCoE のエッジ-コアの設計の例

図 9 ストレージが接続される、マルチホップ FCoE のエッジ-コアの設計の例


統合型ネットワークの考慮事項


エンドツーエンドの FCoE 対応のネットワークを設計する場合、設計者は、ネットワークとエンド デバイスの要件、特に、展開される VSAN の数、ゾーン分割、必要なファブリック ログインの規模を考慮する必要があります。Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズの製品では、これらの機能を提供するソフトウェアは共通です。

VSAN

VSAN テクノロジーによって、物理ストレージ ファブリックを、各 VSAN のトラフィックが分離される論理エンティティに分割することができます。VSAN のプロビジョニングが可能で、ネットワークに物理的な変更を加える必要がないので、この分離によって、ネットワークのセキュリティと管理が向上します。特定のオペレーティング システムへの特定の VSAN の割り当てや、事業や部門ごとのトラフィックの分離など、さまざまな VSAN の使用例があります。

統合型の環境では、Cisco Nexus 7000 シリーズ スイッチで、FCoE トラフィックの伝送に使用されているイーサネット VLAN を Cisco MDS 9500 シリーズ スイッチのファイバ チャネル VSAN に直接マッピングできます。このマッピングによって、従来のイーサネットと FCoE のトラフィックが、論理的に分離された状態で、同じポートを共有できます。Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチでは、物理ファブリックで最大 4000 の VSAN をサポートできます。

ゾーン分割

ゾーン分割は、ネットワークのセキュリティという点で VSAN を補完します。ゾーン分割は、同じ FCoE VLAN またはファイバ チャネル VSAN を異なる機能エリアで使用しているデバイス間の、アクセスと可視性を制限する手段となります。ゾーン分割によって、すべて同じ FCoE VLAN または ファイバ チャネル VSAN にログインしている場合にどのホストがどの対象にアクセスできるかが定義されます。また、ゾーン分割によって同じゾーンのデバイスへの状態変更の通知が制限されるので、ネットワークで、コントロール トラフィックとミッション クリティカルなデバイスの不要な中断が削減されます。すべてのケースで、これらのゾーンはシスコのスイッチによってソフトウェアによる方法で適用され、またハードウェアでも適用されます。

転送ポートがイーサネットの統合型の環境では、ゾーン分割の構成および適用が行われるのは FCoE トラフィックのみです。それぞれの FCoE VLAN には独自のゾーン セットおよびゾーンがあり、従来のファイバ チャネル SAN でのゾーン分割の利点はすべて、統合型の FCoE 環境でも利用できます。Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチでは、物理ファブリックで最大 8000 のゾーンと 20,000 のゾーン メンバーがサポートされます。

ファブリック ログイン

ファイバ チャネル ネットワークのすべてのエンド ノード(主にサーバおよびストレージ ポート)では、ネットワークに接続するたびにログインの手順が実行されます。こういったログインの主要な目的は、サービス パラメータの設定とポート ID の割り当てです。

設計と展開の制限となる主な考慮事項は、サポートされる必要があるファブリック ログインの数です。SAN のデバイスがサポートできるファブリック ログインの数は、VSAN の数、ポートの数、およびゾーン分割によって異なります。この場合の重要な考慮事項は、ポート、ラインカード、およびスイッチごとにサポートされているログインの数です。こういった制限は、FCoE とファイバ チャネルのいずれがベースになっている場合でも、SAN の設計と将来的な拡大に影響します。Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチでは、ネットワークで展開されている VSAN の数に関わらず、物理ファブリックで最大 10,000 のファブリック ログインがサポートされます。

表 3 は、Cisco NX-OS ソフトウェア リリース 5.2 での制限についてまとめたものです (これらの制限はリリースによって異なる場合があります。各リリースでの制限については、関連するデータ シートを参照してください)。

表 3 ファブリックのスケーラビリティの制限:Cisco NX-OS 5.2

物理ファブリックごとの制限 シスコで検証済みの制限 シスコの最大の制限
VSAN の数 ファブリックごとに 80 ファブリックごとに 4,000
ファブリック ログインの数 10,000 10,000
スイッチごとのファブリック ログインの数 2,000 2,000
ラインカードごとのファブリック ログインの数 400 400
ポートごとのファブリック ログインの数 256 256
ゾーン メンバー ファブリックごとに 16,000(すべての VSAN を含む) ファブリックごとに 20,000(すべての VSAN を含む)
ゾーン スイッチごとに 8,000(すべての VSAN を含む) スイッチごとに 8,000(すべての VSAN を含む)
ゾーン セット スイッチごとに 500(すべての VSAN を含む) スイッチごとに 1,000(すべての VSAN を含む)
FCoE ホップの数 7 7


その他の設計上の考慮事項

  • 上記のシナリオでは、展開される Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチは、FCF として機能します。マルチプロトコル スイッチまたはルータの FCF は、FCoE フォワーディング(FCoE のフレームのカプセル化とカプセル化の解除の基本的な機能)を有効にする機能です。
  • 仮想 E ポート(VE ポート)は、イーサネット リンクで E ポートをエミュレートするポートです。示されている設計シナリオでは、FCF の VE ポートを別の FCF の VE ポートに接続して 2 つの FCF 間で ISL を構築できます。
  • Cisco Nexus 7000 シリーズ スイッチで利用できる VDC によってスイッチ レベルでの仮想化が可能です。これにより論理エンティティが作成されて、プロセスの分離と耐障害性が実現されます。専用の FCoE リンクを、入力トラフィックが別個の VDC であるストレージの VDC で処理されるように構成できます。Cisco Nexus 7000 シリーズのストレージ VDC の詳細については、Cisco NX-OS の VDC [英語] を参照してください。
  • 最大で 16 個の専用 FCoE リンクを PortChannel に設定でき、スイッチ間で利用できる集約された帯域幅を拡大できます。これらのリンクは、シャーシ内の場所に関係なく、PortChannel に設定できます。この方法は、ハイ アベイラビリティの観点で非常に魅力的で、管理者は必要に応じてストレージ トラフィックをさらに分離できます。

まとめ


データセンターが拡大を続けるにつれて、データセンター アーキテクトは、現在のニーズを満たすだけでなく将来的な要件にも対応できるように拡大が可能なネットワークの設計という課題に直面しています。異なるデータセンター ネットワークを 1 つのユビキタスなインフラストラクチャに統合することで、CapEx と OpEx の両方を削減でき、データセンターをビジネス要件にあわせて拡張できます。FCoE 機能を備えた Cisco Nexus 7000 シリーズと Cisco MDS 9500 シリーズ スイッチによって、こういったイーサネット インフラストラクチャへの統合を実現できます。これらのスイッチによって、FCoE がホストから既存のファイバ チャネルをベースにした SAN まで拡大され、データセンターのオペレータは設置済みのストレージ デバイスを活用できるため、総所有コスト(TCO)が削減されます。また、これらのスイッチで実現されるポート密度によって、ネットワークでの今後のあらゆる拡張に対してこれらのスイッチが役立ちます。このようなデータセンターを設計するアーキテクトは、このドキュメントのガイドラインを参考に、柔軟性とスケーラビリティに優れたデータセンター ネットワークを設計できます。

関連情報


http://www.cisco.com/jp/go/unifiedfabric/

お問い合わせ