Cisco VFrame Third Party インテグレーション ガイド Release 3.1.1
ケーブル配線のガイドライン
ケーブル配線のガイドライン
発行日;2012/01/07 | ドキュメントご利用ガイド | ダウンロード ; この章pdf , ドキュメント全体pdf (PDF - 3MB) | フィードバック

目次

ケーブル配線のガイドライン

概要

ケーブルの曲げ半径

最小半径

アセンブリでの 90 度曲げ半径

用語

ケーブル配線のベスト プラクティス

作業とタイミングの概要

ケーブルのマッピングおよびラベル付け

基本事項

ノードからリーフ スイッチ ポートまで

リーフ スイッチからコア スイッチ ポートまで

インストレーションのアクティビティ

必要なケーブル数の棚卸し

最も条件の悪い配線経路の試行

ケーブルをほどく

コア ケーブルの両端にラベルを付ける

トランキング

推奨される補給品

スイッチのインストールとラックへの搭載

リーフ スイッチからコア スイッチへの IB ケーブルの接続

リーフ スイッチからコア スイッチへの接続

ノードからリーフ スイッチへの接続

不良ケーブルのトラブルシューティング

リスク

IB コア ケーブル束

予備品

P-Touch Editor に関する注意事項

ケーブル配線のガイドライン

この章の内容は次のとおりです。

「概要」

「ケーブルの曲げ半径」

「用語」

「ケーブル配線のベスト プラクティス」

概要

この章では、ノード数の多い InfiniBand ファブリックのケーブル配線に関する推奨事項について説明します。物理 IB ネットワークのインストール方法を中心に説明します。

IB ファブリックのインストレーションに要する時間および人員は、クラスタの規模によって異なります。この章の推奨事項を参照すると、ネットワークの規模にかかわらず、インストレーションの全体時間を削減できます。

ケーブルの曲げ半径

ここでは、ケーブルの曲げ半径および 90 度曲げ半径について説明します。最小ケーブル半径とは、ケーブルで作成できる最小円の半径を意味します。90 度曲げ半径は、床と平行に置かれたシャーシに接続されるケーブルが対象になります。この半径は、ケーブルが接続されているシャーシの端から、ケーブルが曲がってシャーシと垂直になる位置におけるケーブルの最も外側の端までの距離です。

最小半径

ケーブル両端を固定しない状態のケーブルの中央で測定。最小曲げ半径は次のとおりです。

 

表2-1 4x ケーブルの半径

ゲージ
半径
ケーブル

24 AWG

2.7

(ケーブル OD: 0.400")

26 AWG

2.3

(ケーブル OD: 0.345")

28 AWG

2.2

(ケーブル OD: 0.310")

 

表2-2 12x ケーブルの半径

ゲージ
半径
ケーブル

24 AWG

3.8

(ケーブル OD: 0.635")

26 AWG

3.2

(ケーブル OD: 0.540")

28 AWG

2.9

(ケーブル OD: 0.490")

アセンブリでの 90 度曲げ半径

 

表2-3 4x ケーブルの曲げ半径

ゲージ
半径

24 AWG

5.2

26 AWG

4.8

28 AWG

4.7

 

表2-4 12x ケーブルの曲げ半径

ゲージ
半径

24 AWG

6.3

26 AWG

5.7

28 AWG

5.4

用語

この章では 表2-5 の用語を使用します。

 

表2-5 インストレーションの用語

用語
定義

ノード

1 つまたは複数の CPU を搭載したホスト

HCA

InfiniBand のホスト チャネル アダプタ

リーフ スイッチ

第 1 ティアの InfiniBand スイッチ(この章では通常、24 ポートの Cisco SFS 7000)

コア スイッチ

第 2 ティアの InfiniBand スイッチ(この章では通常、96 ポートの Cisco SFS 7008)

アドミニストレーション/管理ネットワーク

ノードおよびスイッチのアドミニストレーションおよび管理に使用される 100 BT またはギガビット イーサネット ネットワーク

InfiniBand ファブリック

ノード、HCA、リーフ スイッチ、およびコア スイッチからなる集合

フレーム

ホストおよびスイッチをインストールできるラック

ケーブル配線のベスト プラクティス

VFrame の IB ネットワークをケーブル接続する前に、このセクションの内容を考慮してください。

作業とタイミングの概要

ハードウェア インストレーションを容易にするには、次の推奨事項に留意してください。

ラックにたくさん詰め込まないようにします。1U 以上の作業スペースを残してください。

リース スイッチをラックに搭載して、ケーブル配線作業を容易にします。

プランニングについては、インストレーション時間の 85% を次の作業に配分します。

ケーブルの分類

リーフ スイッチおよびコア スイッチの間のケーブル トランクの作成

リーフ スイッチとコア スイッチの間のケーブル トランクの敷設

ノードとスイッチの間の InfiniBand ケーブルの接続

ケーブルのマッピングおよびラベル付け

ここでは、マシン ノードから第 1 ティアのリーフ ノードまでと、第 1 ティアのリーフ ノードから第 2 ティアのコア スイッチまでのマッピングおよびケーブル経路について説明します。

基本事項

次のベスト プラクティスはすべてのハードウェア インストレーションに適用されます。

通常、すべてのスイッチに接続されるケーブルは、ラックの左右両側で均等な数を通します。

スイッチの最も左側にあるポートのケーブルは、すべてラックの左側を通します。同様に、最も右側にあるポートのケーブルはラックの右側を通します。

ノードからリーフ スイッチ ポートまで

リーフ スイッチのポートのすべての列に用途を割り当てます。コア スイッチまたはノードに接続するために各列を指定します。付番されたノードと付番されたポートを昇順に接続します。たとえば、ノード 10 と IB ポート 13、ノード 11 と IB ポート 14、のように列全体を接続します。

ノードとリーフ スイッチを接続するケーブルにラベルを付けます。ラベルには、ノード(名前または番号)、次にリーフ スイッチ(名前または番号)、そしてポート番号(スロット番号/ポート番号の形式)の順に書きます。

リーフ スイッチからコア スイッチ ポートまで

ほとんどの HPC クラスタにみられる分散型のコア トポロジでは、各コア スイッチに接続される各リーフ スイッチのポート数はそれぞれのリーフ スイッチで同じ数になります。複数のリーフ スイッチを複数のコア スイッチに接続する場合、各リーフ スイッチを各コア スイッチの同じポート番号に接続します。たとえば、リーフ X を接続する場合は、コア A のポート 1 と 2、コア B のポート 1 と 2、およびコア C のポート 1 と 2 に接続します。次にリーフ Y は、コア A のポート 3 と 4、コア B のポート 3 と 4、コア C のポート 3 と 4 に接続します。


) リーフ スイッチとコア スイッチの間のケーブルには、すべてラベルを付けることを強く推奨します。リーフ スイッチとコア スイッチの間のケーブルにラベルを付けないと、クラスタが起動されている場合に不良ケーブルの切り分け、特定、およびトラブルシューティングのベストエフォ-トを妨げることになります。HPC インストレーションにおける InfiniBand ケーブルの故障率は、使用されるすべてのケーブルの約 1% と想定されています。


インストレーションのアクティビティ

インストレーションにおいて最も時間を費やすのは、リーフとコア スイッチの間のケーブルにラベルを付ける作業やトランキングなどのケーブルの管理です。この作業を迅速に行うには、このセクションの推奨事項に従ってください。

必要なケーブル数の棚卸し

インストレーションの完了に必要な、適切な長さを持つ十分な数のケーブルがあることを確認します。

最も条件の悪い配線経路の試行

ケーブルが、最も条件の悪い配線経路でも対応できる十分な長さであることを確認します。リーフ スイッチとコア スイッチの間で最も条件の悪い距離を実際にサンプル ケーブルを通してみることで、事前に想定していたケーブルの長さが妥当であるかどうかを確認します。実際に必要なケーブルの長さを基にして、最終的なケーブルのプロビジョニング プランを作成します。

ケーブルをほどく

コイル状のケーブルをほどいて、フロア スペースの長い配線路を平らに敷設する必要があります。巻いてあるケーブルをその場でほどくことはできません。転がしながらほどいて平らにする必要があります。コイル状のケーブルをほどくときは、歩きながら両手でケーブルをたぐり、できるだけケーブルが平らになるようにします。ケーブルをほどいてラベルを付けるときは、1 度にトランク 1 つまたは 2 つ分のケーブルをまとめて行います。

コア ケーブルの両端にラベルを付ける

ケーブルにラベルを付ける場合は次の点に考慮します。

ノードとリーフ スイッチの間のラベル方式は次のとおりです。

node# leaf#/port#
 

リーフとコア スイッチの間のケーブルで推奨されるラベルと連携の方式は次のとおりです。

leaf#/port# core#/slot#/port#
 

これにより、ケーブルの接続元と接続先の両方を容易に確認できます。

3/4 インチのラベルを使用し、ケーブルと平行にラベルを付けます。可能であれば、ラベルは左側からでも右側からでも読めるように、ミラー形式で印刷します。

Brother P-touch Editor バージョン 3.2 を使用します。これを使用するとエクセルの CSV 形式のデータベースをインポートできるのでラベル処理の効率が上がります。扱いやすいように、ラベルを 12 枚単位で印刷します。ラベルの裏面中央に沿ってはがしやすいテープを使用するようにしてください。「P-Touch Editor に関する注意事項」を参照してください。

ケーブルがコイル状のままでラベルを付けます。先にケーブルをほどかないようにしてください。ケーブルの両端に同じラベルが付いていることを確認します。

スイッチの背面に面している人の観点ですべてのケーブルにラベルを付けます。ラベルはすべて同じ向きで、スイッチ ポートに面している読み手を向くようにします。ラベルの位置はコネクタの基底から 6 インチ離れた場所にします。コネクタのすぐ近くには付けないようにしてください。

トランキング

束ねるトランク IB ケーブルの数は、リーフ スイッチ 1 台当たりのノード数またはリーフとコア間の接続数と等しくします。非ブロッキング構成の場合、通常この数は 12 になります。

接続するまでは、ケーブル トランクの両端をバブル ラップまたはプラスチック バッグで覆ってコネクタを保護します。

ケーブル トランク内のコア方向のケーブル群は、コア ラックの数に応じてさらにまとめて結束します。たとえば、すべてのコア スイッチが 2 つのフレーム内に収容されている場合、リーフとコアの間の各ケーブル トランクは、同じコア フレームに向かうすべてのケーブルを一緒にまとめ、2 つのグループにして結束します。これが該当するのはコア方向のケーブル群だけです。リーフ方向のケーブル群には当てはまりません。これによって、リーフとコアの間でケーブル配線が上げ床の下を敷設されている、あるいは架空レールの中を敷設されている場合でも、コア スイッチに向かうケーブルを分割する作業が容易になります。

推奨される補給品

次のものをインストレーションの現場に用意することを推奨します。

巻きまたはカット済みの 1/2 インチ Velcro 面ファスナーを不足なく用意(ケーブルを束ねるために使用)

はがしやすい、ラベル用 TZ テープを不足なく用意

スイッチのインストールとラックへの搭載

一般には、出荷前にすべてのリーフ スイッチおよびコア スイッチをラックにインストールすることが 推奨 されます。このようにすることでスイッチの開梱やラックへの搭載をインストレーション現場で行う必要がなくなります。

また、すべてのリーフ スイッチを取り付けること強く推奨します。それによってケーブル配線を容易に管理できます。高密度に搭載するフレームの場合、フレームに対しリーフ スイッチの背面をそろえて取り付けると、すべてのスイッチ ポートで容易に作業できます。高密度に搭載しないフレームの場合、すべてのポートで容易に作業ができれば、リーフ スイッチをフレームに対し前面をそろえて取り付けることもできます。

リーフ スイッチからコア スイッチへの IB ケーブルの接続

ケーブル トランクは、「トランキング」に記載のリーフとコア フレーム グループに基づいて、複数の架空レール トラックを櫛のように使用してコア フレーム上で分離させることが必要になる場合があります。これは複数のフレームにコア スイッチを収容する場合に特に必要になります。

ケーブルがたるまない(ゆるまない)よう、留意してください。コア フレームの周辺は、特にケーブルが密集しがちな場所です。このため、リーフとコアの間のトランクの全体のたるみは、リーフ フレーム近くの空間(架空レール内または上げ床の下)で解消させることを推奨します。

リーフ スイッチからコア スイッチへの接続

コア スイッチに接続する場合、一般には最下部のポート列から始めて上に向かって接続していきます。

また、一般には左端のポートおよび右端のポートから始めて内側に向かって接続していきます。例:ポート 1、12、2、11、3、10 の順番。

コア スイッチが接続されているときは、中央部分に向かう作業空間に何も置かないようにしてください。大きな結束用バンドを使用して、コア ケーブル群をフレームの左側と右側の間で均等にカーテン状になるようにします。コア スイッチへのケーブルの接続が済んだら、余分なたるみを取ります。


) コア スイッチ周囲に作業空間が確保されるように配慮してください。ケーブルや LM の交換などその後の保守作業が容易になります。


ノードからリーフ スイッチへの接続

余分なたるみを取り、可能あるいは適切な場合はケーブルをフレームの側面方向に結束します。

不良ケーブルのトラブルシューティング

ケーブルの故障予想率は全ケーブルの 1% の範囲です。500 ノードの非ブロッキング クラスタの場合、これは約 10 本(1000 本中)の不良ケーブルになることを意味します。不良ケーブルを特定して交換する作業は困難であることが少なくありません。

各スイッチの CLI で show interface ib all statistics を実行し、表示される in-unknown-protos の値がゼロでないものを探します。通常、ゼロでないものはリーフとコアの間のケーブルが不良であることを示しています。

ホスト側で /proc/topspin/core/ca1/port1/counters を調べて、Symbol error counter の値がゼロでないものを探します。通常、ゼロでないものはノードとリーフの間のケーブルが不良であることを示しています。

不良ケーブルが識別できれば、あとは両端からコネクタを残して切り離すだけです。これで不良ケーブルを大きなケーブルの束から比較的に抵抗なくゆっくり引き出すことができます。うまく引き戻せない不良ケーブルは、メイン ケーブル束の妨げにならないできるだけ上のほうで切ります。

プライマリ コア スイッチの CLI で show logging end を実行し、ロギングの活動がないことを確認するとシステムの安定度を測る 1 つの指標になります。

リスク

稼働環境で発生するリスクまたは潜在的な問題について認識している必要があります。

IB コア ケーブル束

コア ケーブル束の管理には特別な注意が必要です。特に次の点に注意してください。

コア ケーブルの集合を支えることができるように架空シーリング トレイには十分な支持が必要です。リーフ スイッチとコア スイッチを接続するために使用する長距離ケーブルの場合、重量は 1 m 当たり約 1.5 ポンドになります。

コア スイッチが存在するフレーム内およびコア ケーブルの集合が存在する架空レール内の両方には、十分な作業空間を確保する必要があります。インストレーション中、障害物のない作業空間があると作業を進める上で非常に有効です。

予備品

次に示す予備品などを含め、適切な予備品が入手できるように事前に計画します。

すべての長さの IB ケーブル

Server Switch の適切な電源装置

Server Switch の適切な 現場交換可能ユニット(FRU)

HCA

P-Touch Editor に関する注意事項

操作には、データベース管理モードおよびラベル フォーマット モードの 2 つがあります。

データベース管理モードでは Excel の CSV ファイルを次の方法でインポートできます。

File > New > Database または File > New > Database (インポートの場合)

File->New->Label は、新しいラベルのフォーマットが可能です。Printer->Page Setup でのサイズが使用するカートリッジのサイズと一致していることを確認します。

ラベルがどの方向からも読めるように、次のようなミラー形式のラベルを作成します。

"node 385 leaf 33/13 node 385 leaf 33/13"

データベースとラベル形式を連携させるには、ラベル フォーマット ウィンドウを強調表示させ、Insert->Database Field をクリックします。

印刷する手順は、次のとおりです。

操作中のデータベースを表示しているウィンドウで、印刷する複数の行を選択して強調表示させます。

クリックしてラベル フォーマット ウィンドウに戻ります(プログラム メニュー形式の変更)。

File->Print

Print Range ボタンをクリックします。Selected Records ボタンをクリックします。コピー部数を 2 にします(ケーブルの各端に 1 つずつ)。