Inhalt

Einführung

Voraussetzungen

Anforderungen

Verwendete Komponenten

Hintergrundinformationen

Problem

Lösung

Zugehörige Informationen

Einführung

In diesem Dokument wird ein typisches Problem beim ECMP-Routing (Equal-Cost Multipath) in der SD-WAN-Fabric beschrieben, wenn der Datenverkehr von einem Spoke-Router nicht über mehrere Hub-Router, die dasselbe Präfix angeben, verteilt wird. Darüber hinaus wird erläutert, wie dieses Problem gelöst wird und wie verschiedene Befehle zur Fehlerbehebung verwendet werden, z. B. show sdwan policy service path zur Behebung von Routing-Problemen, die in der Cisco IOS®-XE-Software 17.2 hinzugefügt wurden.

Voraussetzungen

Anforderungen

Cisco empfiehlt, über Kenntnisse in folgenden Bereichen zu verfügen:

- Grundlegende Kenntnisse von Overlay Management Protocol (OMP)

- SD-WAN-Komponenten und deren Interaktion

Verwendete Komponenten

Zu Demonstrationszwecken wurden folgende Software-Router verwendet:

- 4 Cisco IOS-XE CSR1000v-Router mit 17.2.1v-Softwareversion, ausgeführt im Controller-Modus (SD-WAN)

- vSmart Controller mit 20.1.12-Softwareversion

Die Informationen in diesem Dokument wurden von den Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die potenziellen Auswirkungen eines Befehls verstehen.

Hintergrundinformationen

Für die Zwecke dieses Dokuments wird diese Labortopologie verwendet:

Hier finden Sie eine Zusammenfassung der zugewiesenen Standort-ID- und System-IP-Parameter für jedes Gerät in der SD-WAN-Fabric:

Hostname

system-ip

Standort-ID

cE1 (Hub1)

192.168.30.214

214

cE2 (Hub2)

192.168.30.215

215

cE3 (Spoke1)

192.168.30.216

216

vSmart

192.168.30.113

1

Jeder Hub verfügt über 4 TLOCs (Transport Location Identifier), wobei die Farben gemäß Topologiediagramm zugewiesen sind. Jeder Hub kündigt die Standardroute 0.0.0.0/0 an, um zu sprechen (Branch-Router cE3) zusammen mit dem Subnetz 192.168.2.0/24 an. Für vSmart ist keine Richtlinie konfiguriert, um einen Pfad bzw. ein Gerät vorzuziehen. Alle OMP-Einstellungen sind außerdem auf allen Geräten standardmäßig eingestellt. Die restliche Konfiguration ist die minimale Standardkonfiguration für die grundlegende SD-WAN-Overlay-Funktionalität und wird daher aus Gründen der Kürze nicht bereitgestellt. Sie können eine Aktiv-Aktiv-Redundanz und einen Lastausgleich des Egress-Datenverkehrs zu Hub-Routern über alle verfügbaren Uplinks vom Zweigstellen-Router erwarten.

Problem

Zweigstellen-Router installieren Standardroute und leiten das Subnetz nur über den cE1-Router (Hub1) zum 192.168.2.0/24 weiter:

ce3#show ip route vrf 2 | b Gateway

Gateway of last resort is 192.168.30.214 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.214, 00:08:30, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.214, 00:10:01, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

Dies liegt daran, dass cE3 nur vier Routen für das Standard-Routing 0.0.0.0/0 sowie für 192.168.2.0/24 empfängt.

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61614  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61615  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61616  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61617  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

In vSmart werden zwar alle 8 Routen empfangen (4 Routen für jede TLOC-Farbe auf jedem Hub):

vsmart1# show omp routes vpn 2 | b PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

Wenn die Standardroute von cE1 (Hub1) verloren geht, installieren Spoke-Router die Route von cE2 (Hub2). Daher gibt es keine Aktiv/Aktiv-Redundanz und eher Aktiv/Standby, wobei cE1 als primärer Router fungiert.

Sie können auch überprüfen, welcher Ausgangspfad für einen bestimmten Datenverkehrsfluss verwendet wird. Verwenden Sie dazu den Befehl sdwan policy service-path wie im Beispiel hier:

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Um alle verfügbaren Pfade für einen bestimmten Datenverkehrstyp anzuzeigen, verwenden Sie alle Schlüsselwörter:

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh all

Number of possible next hops: 4

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.108.216 12367 Destination: 192.168.108.214 12407 Local Color: private2 Remote Color: private2 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.107.216 12367 Destination: 192.168.107.214 12407 Local Color: private1 Remote Color: private1 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.109.214 12387 Local Color: biz-internet Remote Color: biz-internet Remote System IP: 192.168.30.214

Dies bestätigt auch, dass für Router cE3 (Spoke2) nur vier statt acht Pfade verfügbar sind.

Wenn Sie genau überprüfen, welche vSmart-Meldungen angezeigt werden, sehen Sie nur vier für cE3 angekündigte Routen:

vsmart1# show omp routes vpn 2 0.0.0.0/0 detail | nomore | exclude not\ set | b ADVERTISED\ TO: | b peer\ \ \ \ 192.168.30.216

peer    192.168.30.216

Attributes:

originator       192.168.30.214

label            1003

path-id          61629

tloc             192.168.30.214, private2, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61626

tloc             192.168.30.214, mpls, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61628

tloc             192.168.30.214, private1, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61627

tloc             192.168.30.214, biz-internet, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Basierend auf dieser Ausgabe können Sie feststellen, dass das Problem durch den vSmart-Controller verursacht wird.

Lösung

Dieses Verhalten wird durch die Standardkonfiguration des Sendepfad-Limit auf dem vSmart-Controller verursacht. send-path-limit definiert die maximale Anzahl von ECMP-Routen, die vom Edge-Router zum vSmart-Controller und vom vSmart-Controller zu anderen Edge-Routern angekündigt werden. Der Standardwert ist 4 und normalerweise reicht es für Edge-Router (wie in dieser Topologie mit 4 Uplinks auf jedem Hub-Router) aus, aber nicht aus, dass der vSmart-Controller den gesamten verfügbaren Pfad an die anderen Edge-Router sendet. Der maximale Wert, der für send-path-limit festgelegt werden kann, beträgt 16, in einigen Extremfällen kann dies jedoch noch nicht ausreichen, obwohl CSCvs89015 für eine Erhöhung des Höchstwerts auf 128 geöffnet ist.

Um dieses Problem zu beheben, müssen Sie die vSmart-Einstellungen wie im Beispiel hier beschrieben neu konfigurieren:

vsmart1# conf t

Entering configuration mode terminal

vsmart1(config)# omp

vsmart1(config-omp)# send-path-limit 8

vsmart1(config-omp)# commit

Commit complete.

vsmart1(config-omp)# end

vsmart1# show run omp

omp

no shutdown

send-path-limit  8

graceful-restart

!

vsmart1#

Alle acht Routen werden dann von vSmart an Zweigstellen-Router gemeldet und von diesen empfangen:

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61626  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61627  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61628  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61629  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61637  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61638  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61639  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61640  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61633  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61634  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61635  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61636  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Obwohl die Router in der Außenstelle Routen nur über cE1 (Hub1) installieren, gilt Folgendes:

ce3#sh ip route vrf 2 0.0.0.0

Routing Table: 2

Routing entry for 0.0.0.0/0, supernet

Known via "omp", distance 251, metric 0, candidate default path, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:11:26 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:11:26 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#sh ip route vrf 2 192.168.2.0

Routing Table: 2

Routing entry for 192.168.2.0/24

Known via "omp", distance 251, metric 0, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:33:56 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:33:56 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#

show sdwan policy service path wird dasselbe bestätigen, und daher wird die Ausgabe nicht für die Kürze bereitgestellt.

Der Grund hierfür ist auch die Standardkonfiguration eines anderen Befehls ecmp-limit-Werts. Standardmäßig installiert der Edge-Router nur die ersten vier ECMP-Pfade in die Routing-Tabelle. Um dieses Problem zu beheben, müssen Sie die Spoke-Router wie im Beispiel hier neu konfigurieren:

ce3#config-t

admin connected from 127.0.0.1 using console on ce3

ce3(config)# sdwan

ce3(config-sdwan)# omp

ce3(config-omp)# ecmp-limit 8

ce3(config-omp)# commit

Commit complete.

show ip route bestätigt, dass beide Routen über beide Hubs jetzt installiert sind:

ce3#sh ip ro vrf 2 | b Gateway

Gateway of last resort is 192.168.30.215 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

ce3#

Wenn Sie vManage-Gerätevorlagen verwenden, die auf Funktionsvorlagen basieren, müssen Sie die Vorlage für die OMP-Funktion entsprechend anpassen, die in diesem Screenshot (ECMP-Grenzwert für OMP-Funktionsvorlagen, die von Routern verwendet werden, und Anzahl der Pfade, die pro Präfix für OMP-Funktionsvorlage angezeigt werden, verwendet von vSmart):

Zugehörige Informationen

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp3085259372

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp2570227565

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/operational-cmd.html#wp5579365410

- Technischer Support und Dokumentation - Cisco Systems