ダイナミックロードバランシングの構成

ダイナミックロードバランシング

ダイナミックロードバランシング（DLB）は、高度でインテリジェントなハッシュメカニズムであり、

従来の ECMP 転送を強化、
リンクの負荷を考慮してトラフィック分散を最適化、そして、
十分に活用されていないリンクを介してトラフィックをダイナミックに誘導します。

これは IP レイヤ（OSI モデルのレイヤ 3）で実行されるもので、最新のネットワーキングハードウェアの多くに実装されています。これには、Nexus 9000 シリーズスイッチなども含まれます。

ECMP は、ネットワーク内の任意の 2 ポイント間を流れるトラフィックに、並列の複数のパスを許可することで、アプリケーションで使用可能な帯域幅を増やすために使用されます。複数の等コストパスを持つ接続先にパケットを転送する必要がある場合、ルータはハッシュアルゴリズムを使用して、そのパケットに使用する経路を決定します。このアルゴリズムでは、通常、送信元と宛先の IP アドレス、送信元と宛先のポート番号、場合によってはプロトコルタイプなどのパラメータが考慮されます。

従来のロードバランシングでは、ネットワークトポロジが変更されたり、ネットワーク管理者が手動で再構成したりしない限り、特定の IP フローに対して選択されたパスが時間の経過とともに変化することはありません。対照的に、レイヤ 3 ECMP のダイナミックロードバランシングでは、ネットワークの現在の状態に応じてパスの選択を変更できるようになっています。ルータまたはスイッチは、各パスのトラフィック負荷をモニターし、リンク使用率が最も低いパスを選択して、使用可能なすべてのパスにトラフィックをより適切に分散できます。したがって、サポートされている Nexus 9000 スイッチのレイヤ 3 ECMP DLB 機能を使用すると、ネットワーク内の複数の等コストパスにトラフィックを効率的に分配することができます。

レイヤ 3 ECMP DLB は、人工知能と機械学習（AI/ML）トレーニングネットワークのバックエンドで使用される、リーフ/スパイン型アーキテクチャを備えたイーサネット上の RDMA（RoCE）とともにサポートされます。DLB を備えたファブリックは、PFC とともに ECN と組み合わせると、使用率の向上、低遅延、および損失のないファブリックとして最適なネットワーク動作を実現します。

機能

ダイナミックロードバランシングのいくつかの重要な機能は次のとおりです。

静的 ECMP ロードバランシングに関する従来のハッシュエントロピーの問題を回避し、
利用可能なネットワークパスを最大限に使用し、
すべてのパスにトラフィックを均等に展開させることで、輻輳を最小限に抑え、
インフラストラクチャの追加や特殊なインフラストラクチャを必要とせずに、ネットワーク全体のパフォーマンスを向上させ、そして
リンクまたはノード障害が発生した場合に高速コンバージェンスと冗長性を提供します

AI/ML ネットワークでの DLB トポロジの仕組み

ダイナミックロードバランシング（DLB）トポロジは、AI/ML トレーニングネットワークで役立ちます。これらのネットワークは、図に示すスパインリーフアーキテクチャを使用しています。

このトポロジでは、AI および ML ホスト（サーバ）は、リーフスイッチのインターフェイス 1（Intf-1）とインターフェイス 2（Intf-2）に接続されています。リーフスイッチの Intf-3 と Intf-4 は、2 つのスパイン（スパイン 1 とスパイン 2）に接続されています。AI/ML ホスト間でデータ（トレーニングデータなど）を同期している間、トレーニングデータは、スパインリーフファブリックを介してすべてのホスト間で転送されます。

Workflow

Result

リーフスイッチは複数のリンクでスパインに接続されているため、 ECMP は複数のリンク間でトラフィックを負荷分散するために使用されます。AI/ML トレーニングネットワークは、従来のネットワークと比較して、一意の 5 タプル IP フィールドを持つトラフィックフローが少ない。このようなフローの数が限られているため、従来の ECMP では偏りの問題が発生します。これは、冗長パスの使用が最適化されないという意味です。その結果、一部のリンクまたはインターフェイスでオーバーサブスクリプションが発生する可能性があります。これにより、ファブリック全体のスループットが低下する可能性があります。

ECMP DLB 機能では、すべてのリンクの適切な使用を保証することにより、使用率がない、または不足しているなどのリンク使用率の問題を解決します。ECMP グループの一部であるすべてのポートで DLB を有効にする場合、新しいフローごとに、使用可能なリンクの中から Tx リンク使用率が最低のリンクが選択されます。画像では、Intf-3 と Intf-4 で DLB が有効になっています。intf-3 が完全に使用されて、新しいフローが到着した場合、intf-4 が選択されます。従来の ECMP では、オーバーサブスクリプションが生じていても、Intf-3 が選択される可能性があります。

ECMP DLB は静的ピン接続もサポートします。これにより、ユーザーは特定の送信元ポートからのトラフィックを常に特定の DLB 対応出力ポートに送信できます。この画像では、Intf-3 と Intf-4 がメンバーである DLB ECMP グループを取得するトラフィックの場合、ユーザーは常に Intf-1 からトラフィックをピン接続して常に Intf-3 を取得し、Intf-2 を使用して常に Intf-4 を取得できます。

NX-OS リリースのダイナミックロードバランシング機能

Cisco NX-OSリリース 10.5(1)F から、レイヤ 3 ECMP ダイナミックロードバランシング（DLB）機能は、発信リンクの現在の使用状況に応じて、トラフィックを効率的にロードバランシングするためのサポートを提供します。この機能のサポートは、表に示すように、さまざまな NX-OS リリースを介してさまざまな Nexus スイッチで提供されます。


スイッチ	リリース
9300-FX3、-GX、-GX2、-H1、-H2R TOR などの Nexus CloudScale スイッチ	Cisco NX-OS リリース 10.5(1)F
Silicon One スイッチ：N93C64E-SG2-Q および N9364E-SG2-O スイッチのみ	Cisco NX-OS リリース 10.5(3)F

CloudScale スイッチのダイナミックロードバランシング

CloudScale スイッチの概念、ガイドライン、制限事項、および構成セクションは、Silicon One スイッチとは異なるため、このセクションで説明します。

CloudScale スイッチのダイナミックロードバランシングの主なコンセプト

このセクションでは、CloudScale スイッチで DLB を構成する前に知っておく必要がある主な概念について説明します。

⁪高速リンクフェールオーバー

Nexus 9000 スイッチの DLB ECMP ロードバランシングの背景における高速リンクフェールオーバーとは、ネットワークが物理リンク障害に迅速に対応し、回復できるようにする機能のことです。ECMP グループで使用されるリンクに障害が発生した場合、高速リンクフェールオーバーにより、トラフィックは残りの動作可能なリンクにすぐにリダイレクトされます。リンクのフェールオーバーはハードウェアによって検出され、残りのリンクから新しいリンクが自動的に選択されます。これはハードウェア層で実行されるため、コンバージェンスが高速化されます。

ダイナミック使用率評価機能

Dynamic Rate Estimator（DRE）は、現在のリンク使用率を測定するためにハードウェアに実装されています。DLB における DRE の役割は、さまざまなリンクのトラフィックレートをリアルタイムで推定することです。このリアルタイム分析により、スイッチはトラフィックを分散する際に、より多くの情報に基づいた決定を行うことができ、単一の経路が過飽和にならないようにします。新しいフローを開始するとき、DLB は DRE メトリックを使用して、DLB ECMP グループ内の複数の経路内で使用率が最も低いパスを決定します。

任意の時点で、DLB 対応インターフェイスは、リンクの使用率と構成された DRE しきい値に基づいて、レベル 1 からレベル 7 の DRE レベルのいずれかになります。レベル 1 は最も低い使用率を示し、レベル 7 は最も高い使用率を示します。DLB は判断する際、常に最も低い DRE レベルのリンクを選択します。複数のリンクが、同じ最も低い DRE レベルである場合、それらの中のリンクの 1 つがランダムに選択されます。詳細については、「リンク使用率レベルの計算」を参照してください。

モード

レイヤ 3 ECMP ダイナミックロードバランシングは、グローバル構成で次のいずれかのモードをサポートします。

フローレットロードバランシング（FLB）：このモードでは、DRE メトリックに基づいてフローレットレベルでロードバランシングを実行されます。これがデフォルトのモードです。
パケット単位のロードバランシング（PLB）：このモードでは、フローレットレベルではなくパケット単位でロードバランシングの判断が行われます。

Flowlet ロードバランシング

フローレットは、フローからのパケットのバーストであり、5 タプル（つまりパケットから選択されたフィールド）で識別されます。並べ替えを発生させることなく個別にルーティングできるように、十分に大きなギャップで区切られています。

フローレットは、DLB がフローレットモードで動作するときに使用されるトラフィックの単位です。フローレットごとに、ポート単位の DRE によって示される、Tx 使用率が最小のものが、最適な発信ポートとしてハードウェアによって選択されます。使用率がすべてのポートで同じ場合、ポートの 1 つがランダムに選択されます。

あるフローレット用にポートが選択されると、そのフローからの後続のすべてのパケットに同じポートが使用されます。新しいポートは、構成されたフローレットエージング時間を超えるパケット間ギャップがフローレットにある場合、または現在使用されているポートがダウンした場合にのみ、選択されます。

パケット別ロードバランシング

パケット単位のロードバランシングは、エンドポイント（スマート NIC など）でパケットの並べ替えが可能なシナリオで使用できます。このモードは、DLB ECMP 内の使用可能なリンク全体にトラフィックを分散させることにより、ネットワークの輻輳を軽減します。フロー内のパケットごとに、新しい出力ポートが選択されます。そのため、同じフローからのパケットが複数のパスを介して送信され、パケットの順序が変更される可能性があります。ポート選択プロセスでは DRE が使用されます。つまり、どのパケットでも、DRE メトリックが最小のポートが選択されます。DRE がすべてのポートで同じである場合、ポートの 1 つがランダムに選択されます。

静的ピン接続

静的ピン接続は、DLB でサポートされています。静的ピン接続では、送信元ポートは、DLB 対応の ECMP グループの一部である宛先ポートにピン止めされます。このポートがこのフローに使用される DLB ECMP グループの一部である場合、この送信元ポートからのすべてのトラフィックは、ピン止めされた宛先ポートに送信されます。前面パネルのポート（ブレークアウトポートを含む）は、静的ピン接続の送信元インターフェイスとして使用できます。宛先インターフェイスは、DLB インターフェイスリストに含まれている必要があります。

静的ピン接続が有効になっている場合、静的ピン接続は DLB DRE ベースのポート選択を上書きします。

DLB ポートが静的ピン接続の宛先ポートとして使用されている場合、そのポートの静的ピン接続構成が削除されない限り、このポートを DLB インターフェイスリストから削除することはできません。

（注）

静的ピン接続または PLB モードについては、どちらか一方のみを有効にできます。両方を同時にイネーブルにはできません。

（注）

Cisco NX-OS リリース 10.5(2)F 以降、システムは最大 512 の静的ピン接続ペアをサポートします。

CloudScale スイッチのダイナミックロードバランシングに関するガイドラインと制限事項

CloudScale スイッチのレイヤ 3 ダイナミックロードバランシングのガイドラインと制限事項は、次の 4 つのサブセクションに分類されます。

ECMP グループ、
機能サポート、
ポート、および
DLB パラメータです。

ECMP グループ

DLB を有効にするかどうかの判断は、次の 3 つの条件に基づき、ECMP グループの作成時に行う必要があります。
- ECMP グループのすべてのメンバーが、DLB 対応インターフェイスリストに含まれています。ECMP グループに DLB インターフェイスリストにないメンバーが 1 つ以上ある場合、その ECMP グループには通常の ECMP を使用されます。
- ECMP グループのメンバーは、レイヤー 3 インターフェイスのみです。ブレークアウトポート、サブインターフェイス、 SVI、およびポートチャネルを DLB ECMP グループのメンバーにすることはできません。
- ECMP は重み付け ECMP またはレジリエント ECMP ではありません。
レジリエント ECMP機能と DLB 機能を同時に有効にすることはできません。レジリエント ECMP の詳細については、Cisco Nexus 9000 シリーズ NX-OS インターフェイス構成ガイドを参照してください。
重み付け ECMP グループの場合、DLB は適用されません。加重 ECMP または、UCMP の詳細については、BGP 経由不等コストマルチパス（UCMP）を参照します。
show routing hash コマンドは、DLB ECMP グループを使用するルートでは機能しません。これは、DLB が有効になっている場合、ポートの選択は静的ハッシュではなくリンク使用率に基づいて動的に行われるためです。
DLB ECMP スケールに達した場合、または何らかの条件により DLB を有効にできない場合は、DLB なしの通常の ECMP が使用されます。

（注）

DLB 対応 ECMP グループのメンバーポートの 1 つがダウンすると、ハードウェアは、ポートを通してのトラフィックの送信をすぐに停止します。これにより、リンク障害時のトラフィック損失を最小限に抑えることができます。

機能のサポート

この機能は、以下でのみサポートされています。
- レイヤ 3 物理インターフェイス
- IP ルーテッドファブリックおよび VXLAN ファブリック
- 9300-FX3、-GX、-GX2、H1 および H2R TOR プラットフォーム。
この機能は、ラインカード拡張モジュール（LEM）および N9K-C9408 を搭載した TOR ではサポートされません。
出力インターフェイスで構成された出力アクセスリストポリシー、出力 QoS ポリシー、および TX SPAN は、 ECMP DLB を使用するフローには適用されません。
MPLS/GRE トンネルは DLB ECMP を使用せず、通常の ECMP にフォールバックします。
この機能を使用する場合、DLB ECMP スケールが大きい場合は、システム pic-core オプションを使用することを推奨します。システム pic-core オプションを使用すると、スイッチのリロードが必要です。詳細については、「BGP PIC コアの構成」を参照します。
DLB は、ポリシーベースルーティング（PBR）ロジックが適用されるトラフィックフローには適用されません。これらのフローは、通常の ECMP 機能を使用します。
MTU は、DLB フローで使用されるパケットの最大サイズに基づいて、すべての DLB 対応インターフェイスで構成する必要があります。そうしなかった場合、出力がドロップするとトラフィックは出力インターフェイスでドロップされます。
Only IPv4 と IPv6 ユニキャストトラフィックのみがサポートされています。

ポート

ブレークアウトポート、ポートチャネル、SVI、ポートチャネルメンバー、またはサブインターフェイスを DLB 対応インターフェイスリストに含めることはできません。
最大 63 個の物理ポートを DLB インターフェイスリストに含めることができます。

DLB パラメータ

このセクションでは、 MAC、エージング、DRE しきい値、モード、静的ピン接続などの DLB 関連パラメータのガイドラインを示します。

DLB インターフェイスリストを初めて構成する場合、または変更した場合には、スイッチをリロードして構成を有効にする必要があります。
フローレットエージングタイムは、ファブリックでのラウンドトリップ時間に基づいて選択します。そうしなかった場合、フローの順序が変わる可能性があります。
DLB 構成のすべての DLB 関連パラメータは、有効な適用済み DLB インターフェイスリストがある場合にのみ、ハードウェアでプログラムされます。
MAC、エージング、モード、または DRE しきい値構成のいずれかを削除すると、すべてのパラメータがデフォルト値に設定されます。
ポートを DLB インターフェイスリストに追加した後、ポートがブレークアウトポートに変更されるか、PO の一部になるように追加されるか、このインターフェイスでサブインターフェイスが作成されるかすると、DLB は、ポートを含む ECMP グループに対して有効ではなくなります。ユーザーは、DLB インターフェイスリストからポートを削除する必要があります。
DRE しきい値を変更すると、DLB 対応フローのトラフィックに一時的な影響が及ぶ可能性があります。これは中断を伴うトリガーです。
DLB MAC 構成は、ファブリック内のすべてのノードで同一である必要があります。これらのフローを受信するファブリック内の接続ノードで DLB MAC 構成を変更せずに、スイッチでその構成を変更すると、トラフィックはドロップされます。
静的ピン接続モードと、パケットごとの DLB モードは、同時にサポートできません。
ブレークアウトポートは、静的ピン接続の送信元インターフェイスの一部にすることができます。ただし、サブインターフェイスとポートチャネルを、静的ピン接続の送信元インターフェイスの一部にすることはできません。

CloudScale スイッチのダイナミックロードバランシングの構成

CloudScale スイッチでレイヤ 3 ダイナミックロードバランシングを構成するには、このセクションに記載されているコマンドを hardware profile dlb サブモードで実行します。

始める前に

configure terminal コマンドを使用して、グローバルコンフィギュレーションモードになっていることを確認します。

手順

ステップ 1

hardware profile dlb コマンドを使用して、ハードウェアプロファイルのダイナミックロードバランシングモードを開始します。このコマンドでは、リロードする必要があります。

例:

switch(config)# hardware profile dlb

ステップ 2

dlb-interface <interface_range> コマンドを使用して、DLB を有効にするインターフェイスのリストを指定します。カンマ区切りで、インターフェイスを追加します。このリストは動的には変更できません。インターフェイスリストを有効にするには、スイッチのリロードが必要です。

（注）

インターフェイスリストを変更した場合は、構成を有効にするためにリロードが必要です。
現在の適用済みリストを確認するには、show hardware profile dlb コマンドを実行します。
インターフェイスリストへの部分的な追加や削除はサポートされていません。構成は、新しく提供されたインターフェイスに置き換えられます。

例:

switch(config-dlb)# dlb-interface Eth1/5,Eth1/7,Eth1/17,Eth1/21,Eth1/26

ステップ 3

（任意） dre-thresholds [level-1 percentage_1 | level-2 percentage_2 | level-3 percentage_3 | level-4 percentage_4 | level-5 percentage_5 | level-6 percentage_6 | level-7 percentage_7] コマンドを DLB モードに入力して、DRE レベルをレベル 1 からレベル 7 に定義します。レベルごとに構成される値は、前のレベルからのポート帯域幅の使用率の範囲です。指定するすべてのレベルの合計は、100 にする必要があります。DRE しきい値レベルを構成しなかった場合は、デフォルト値として、30、20、15、10、10、10、および 5 が使用されます。

DRE レベルのリンク使用率の詳細については、リンク使用率レベルの計算を参照してください。

例:

switch(config-dlb)# dre-thresholds level-1 15 level-2 20 level-3 30 level-4 15 level-5 10 level-6 5 level-7 5

ステップ 4

（任意） DLB モードで flowlet-aging usec コマンドを使用して、usec でフローレットエージングタイムを構成します。デフォルトは 500 マイクロ秒で、最大値は 2 秒つまり 2000000 マイクロ秒です。

（注）

フローレットのエージング時間は慎重に選択してください。不用意に選択すると、フローの順序が変わってしまう可能性があります。

例:

switch(config-dlb)# flowlet-aging 600

ステップ 5

（任意） DLB MAC アドレスを構成するには、DLB モードで mac-address macaddr コマンドを使用します。このアドレスは、DLB を使用するすべてのフローのネクストホップ MAC アドレスとして使用されます。この DLB MACは、出力インターフェイスの学習されたネクストホップMAC アドレスを変更するものとして、DLB フローの宛先 MAC を書き換えるために使用されます。

ガイドラインおよび制約事項は次のとおりです：

このコマンドを構成しなかった場合、機能の初期化中に使用されるデフォルトの DLB MAC アドレス（00:CC:CC:CC:CC:CC）が、デフォルトの DMAC として使用されます。
DLB のMAC アドレスを構成すると、デフォルトの MAC は、新しい構成可能 MAC アドレスで置き換えられます。
このスイッチで、この DLB MAC を宛先 MAC として受信されたすべてのパケットは、ルーテッドパケットとして扱われます。
この設定を適用する場合は、ファブリック内の他のすべてのノードが同じ DLB MAC で構成されていることを確認してください。
dlb-interface リストが適用されていない場合、DLB MAC を追加のルータ MACとして使用することはできません。
ブロードキャストおよびマルチキャスト MAC アドレスを DLB MAC アドレスとして設定することはできません。

例:

switch(config-dlb)# mac-address aa:bb:cc:dd:ee:ff

ステップ 6

（任意） mode [flowlet | per-packet] コマンドを DLB モードで使用して、フローレットまたはパケットごとの DLB モードを有効にします。デフォルトのモードはフローレットです。

（注）

パケット単位モードの場合、静的ピン接続を有効にすることはできません。

例:

switch(config-dlb)# mode flowlet

ステップ 7

（任意） static-pinning コマンドを DLB モードで使用して、静的ピン接続機能を設定します。

（注）

静的ピン接続の場合、パケット単位モードを有効にすることはできません。

例:

switch(config-dlb)# static-pinning

ステップ 8

（任意）静的ピン接続用に送信元インターフェイスと宛先インターフェイスを構成するには source source physical interface destination destination physical interface コマンドを使用します。ただし、これらは物理インターフェイスのみでなければなりません。つまり、前面パネルのイーサネットインターフェイスです。SVI、ポートチャネル、またはサブインターフェイスを送信元または接続先インターフェイスにすることはできません。

ガイドラインおよび制約事項は次のとおりです：

接続先インターフェイスは、DLB が適用または構成されたインターフェイスリストの一部である必要がありますが、送信元インターフェイスをこのリストの一部にすることはできません。
Cisco NX-OS リリース 10.5(2)F 以降では、DLB が適用または構成された interface-list のインターフェイスは、静的ピン接続の送信元インターフェイスとしても使用できます。
2 つの構成で同じ送信元インターフェイスが使用されている場合、最初の接続先インターフェイスは 2 番目の接続先インターフェイスで置き換えられます。送信元インターフェイスは同じだからです。
ブレークアウトポートは、送信元インターフェイスとして構成できます。
ポートでブレークアウトまたはブレークアウト操作が実行されていない場合、ユーザーは DLB または静的ピン接続構成を更新する必要があります。
静的ピン接続の接続先インターフェイスとして構成されているインターフェイスは、DLB インターフェイスリストから削除できません。削除するには、最初に静的ピン接続構成を削除して、その後 DLB インターフェイスリストからインターフェイスを削除します。

例:

switch(config-dlb-static-pinning)# source ethernet 1/1 destination ethernet 1/2

リンク使用率レベルの計算

各レベルのリンク使用率は、次のように計算されます。

現在のレベル範囲の開始：以前のすべてのレベルに指定された % 値の合計。
現在のレベル範囲の終了：現在のレベル範囲の開始 + 現在のレベルの値。

次に例を示します。

Level-1：30、Level-2：20、Level-3：15、Level-4：10、Level-5：10、Level-6：10、Level-7：5。

レベル 5 範囲の開始：75%（30 + 20 + 15 + 10）
レベル 5 範囲の終了：85%（75 + 10）

DRE しきい値レベルのガイドライン

Dynamic Rate Estimator （DRE）のしきい値レベルに関連するガイドラインと制限事項を次に示します。

上記のロジックは、いずれかのレベルがゼロ（0）のシナリオに適用されます。レベルを追加すると、そのレベルは、ゼロ以外の値を持つ前のレベルと同じ範囲になります。

次の例を参考にしてください。

Level-1：30、Level-2：0、Level-3：35、Level-4：10、Level-5：10、Level-6：10、Level-7：5。
- レベル 2 の範囲：レベル 2 はレベル 1 と同じ、つまり 30% になります。
以前の値がすべてゼロの場合、現在のレベルは最初に指定されたゼロ以外のレベルになります。

次の例を参考にしてください。

Level-1：0、Level-2：0、Level-3：0、Level-4：0、Level-5：50、Level-6：30、Level-7：20。
- この場合、リンク使用率の開始レベルは Level-5 になります。
すべてのレベルを指定してください。いくつかのレベルが指定されていない場合、それらはゼロと見なされます。

次の例を参考にしてください。

Level-1：50、Level-2：0、Level-3：0、Level-4：0、Level-5：0、Level-6：30、Level-7：20
- レベル 2、3、4、および 5 はゼロと見なされます。

ダイナミックロードバランシングの設定

Nexus 9000 シリーズスイッチで DLB を有効にするには、設定例を参考にしてください。CloudScale および Silicon Oneハードウェアプラットフォーム向けに個別の設定例が提供されています。

CloudScale スイッチには、この設定を使用してください。

switch# configure terminal switch(config)# hardware profile dlb switch(config-dlb)# dlb-interface Eth1/5,Eth1/7,Eth1/17,Eth1/21,Eth1/26 switch(config-dlb)# dre-thresholds level-1 15 level-2 20 level-3 30 level-4 15 level-5 10 level-6 5 level-7 5 switch(config-dlb)# flowlet-aging 600 switch(config-dlb)# mac-address aa:bb:cc:dd:ee:ff switch(config-dlb)# mode flowlet switch(config-dlb)# static-pinning switch(config-dlb-static-pinning)# source ethernet 1/1 destination ethernet 1/2

Silicon One スイッチには、この設定を使用してください。