内容

概要

前提条件

要件

使用するコンポーネント

背景説明

問題

解決方法

関連情報

概要

このドキュメントでは、スポークルータからのトラフィックが、同じプレフィクスをアドバタイズする複数のハブルータでロードバランシングされない場合の、SD-WANファブリックでのEqual-Cost Multipath(ECMP)ルーティングの一般的な問題について説明します。また、この問題を解決する方法と、17.2 Cisco IOS®-XEソフトウェアで追加されたルーティング問題のトラブルシューティングにshow sdwan policy service-pathを含む各種のトラブルシューティングコマンドを使用する方法についても説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

- オーバーレイ管理プロトコル(OMP)の基礎知識

- SD-WANコンポーネントとコンポーネント間のインタラクション

使用するコンポーネント

このデモンストレーションでは、次のソフトウェアルータを使用しました。

- 4台のCisco IOS XE CSR1000vルータ(コントローラモード(SD-WAN)で稼働する17.2.1vソフトウェアバージョンが稼働)

- 20.1.12ソフトウェアバージョンを実行するvSmartコントローラ

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

このドキュメントでは、次のラボトポロジを使用します。

SD-WANファブリック内の各デバイスに割り当てられたサイトIDおよびシステムIPパラメータの要約を次に示します。

ホスト名

system-ip

site-id

cE1(hub1)

192.168.30.214

214

cE2(hub2)

192.168.30.215

215

cE3（スポーク1）

192.168.30.216

216

vsmart

192.168.30.113

1

各ハブには、トポロジ図に従って色が割り当てられた4つのTLOC(Transport location identifier)があり、各ハブは、192.168.2.0/24サブネットとともにデフォルトルート0.0.0.0/0をスポーク（ブランチルータcE3）にアドバタイズします。任意のパス/デバイスを優先するようにvSmartにポリシーが設定されておらず、すべてのデバイスですべてのOMP設定もデフォルトに設定されています。その他の設定は、基本的なSD-WANオーバーレイ機能のための標準的な最小限の設定であるため、簡略化のために提供されません。ハブルータへのアクティブ – アクティブ冗長性と出力トラフィックは、ブランチルータから利用可能なすべてのアップリンクにロードバランシングされます。

問題

ブランチルータは、cE1ルータ(hub1)経由でのみデフォルトルートと192.168.2.0/24サブネットへのルートをインストールします。

ce3#show ip route vrf 2 | b Gateway

Gateway of last resort is 192.168.30.214 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.214, 00:08:30, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.214, 00:10:01, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

これは、cE3がデフォルトルート0.0.0.0/0および192.168.2.0/24の4つのルートのみを受信するためです。

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61614  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61615  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61616  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61617  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

vSmartでは、8つのルート（各ハブのTLOC色ごとに4つのルート）をすべて受信していることがわかります。

vsmart1# show omp routes vpn 2 | b PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

cE1(hub1)からのデフォルトルートが失われた場合、スポークルータはcE2(hub2)からのルートをインストールします。 したがって、アクティブ – アクティブ冗長性はなく、プライマリルータとして機能するcE1を使用してアクティブ – スタンバイになります。

また、次の例に示すように、show sdwan policy service-pathコマンドを使用して、特定のトラフィックフローに対してどの出力パスが使用されるかも確認できます。

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

特定のトラフィックタイプで使用可能なすべてのパスを表示するには、allキーワードを使用します。

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh all

Number of possible next hops: 4

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.108.216 12367 Destination: 192.168.108.214 12407 Local Color: private2 Remote Color: private2 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.107.216 12367 Destination: 192.168.107.214 12407 Local Color: private1 Remote Color: private1 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.109.214 12387 Local Color: biz-internet Remote Color: biz-internet Remote System IP: 192.168.30.214

したがって、これにより、ルータcE3(spoke2)では8ではなく4つのパスしか使用できないことも確認できます。

正確なvSmartアドバタイズを確認すると、cE3に向けて4つのルートだけがアドバタイズされます。

vsmart1# show omp routes vpn 2 0.0.0.0/0 detail | nomore | exclude not\ set | b ADVERTISED\ TO: | b peer\ \ \ \ 192.168.30.216

peer    192.168.30.216

Attributes:

originator       192.168.30.214

label            1003

path-id          61629

tloc             192.168.30.214, private2, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61626

tloc             192.168.30.214, mpls, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61628

tloc             192.168.30.214, private1, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61627

tloc             192.168.30.214, biz-internet, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

この出力から、この問題はvSmartコントローラが原因であると結論付けることができます。

解決方法

この動作は、vSmartコントローラでのsend-path-limitのデフォルト設定によって発生します。send-path-limitは、エッジルータからvSmartコントローラおよびvSmartコントローラから他のエッジルータにアドバタイズされるECMPルートの最大数を定義します。デフォルト値は4で、通常はエッジルータ（各ハブルータに4つのアップリンクがあるトポロジなど）には十分ですが、vSmartコントローラが他のエッジルータに使用可能なパスをすべて送信できるほど十分ではありません。send-path-limitに設定できる最大値は16ですが、極端な場合は、最大値を128に増やすために開かれた拡張要求CSCvs89015があるにも関わらず、この値では十分でない場合もあります。

この問題を解決するには、次の例のようにvSmart設定を再設定する必要があります。

vsmart1# conf t

Entering configuration mode terminal

vsmart1(config)# omp

vsmart1(config-omp)# send-path-limit 8

vsmart1(config-omp)# commit

Commit complete.

vsmart1(config-omp)# end

vsmart1# show run omp

omp

no shutdown

send-path-limit  8

graceful-restart

!

vsmart1#

次に、8つすべてのルートがvSmartによってブランチルータにアドバタイズされ、これらのルータによって受信されます。

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61626  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61627  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61628  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61629  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61637  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61638  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61639  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61640  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61633  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61634  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61635  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61636  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

それでもブランチルータはcE1(hub1)経由でのみルートをインストールします。

ce3#sh ip route vrf 2 0.0.0.0

Routing Table: 2

Routing entry for 0.0.0.0/0, supernet

Known via "omp", distance 251, metric 0, candidate default path, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:11:26 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:11:26 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#sh ip route vrf 2 192.168.2.0

Routing Table: 2

Routing entry for 192.168.2.0/24

Known via "omp", distance 251, metric 0, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:33:56 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:33:56 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#

show sdwan policy service-pathは同じことを確認するため、出力は簡略化のために提供されません。

この理由は、別のコマンドecmp-limit値のデフォルト設定にもあります。デフォルトでは、エッジルータはルーティングテーブルに最初の4つのECMPパスのみをインストールするため、この問題を修正するには、次の例のようにスポークルータを再設定する必要があります。

ce3#config-t

admin connected from 127.0.0.1 using console on ce3

ce3(config)# sdwan

ce3(config-sdwan)# omp

ce3(config-omp)# ecmp-limit 8

ce3(config-omp)# commit

Commit complete.

show ip routeは、両方のハブを経由する両方のルートが現在インストールされていることを確認します。

ce3#sh ip ro vrf 2 | b Gateway

Gateway of last resort is 192.168.30.215 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

ce3#

機能テンプレートに基づくvManageデバイステンプレートを使用する場合は、次のスクリーンショットのようにOMP機能テンプレートを調整する必要があります（ルータで使用されるOMP機能テンプレートのECMP制限とvSmartで使用されるOMP機能のごとのパスの数）。

関連情報

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp3085259372

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp2570227565

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/operational-cmd.html#wp5579365410

- テクニカル サポートとドキュメント – Cisco Systems