Table des matières

Introduction

Conditions préalables

Exigences

Composants utilisés

Informations générales

Problème

Solution

Informations connexes

Introduction

Ce document décrit un problème typique avec le routage ECMP (Equal-Cost Multipath) dans le fabric SD-WAN lorsque le trafic d'un routeur en étoile n'est pas équilibré en charge sur plusieurs routeurs concentrateurs qui annoncent le même préfixe. Il explique également comment résoudre ce problème et comment utiliser diverses commandes de dépannage, y compris show sdwan policy service-path pour dépanner les problèmes de routage qui a été ajouté dans la version 17.2 du logiciel Cisco IOS®-XE.

Conditions préalables

Exigences

Cisco vous recommande de prendre connaissance des rubriques suivantes :

- Compréhension de base du protocole OMP (Overlay Management Protocol)

- Composants SD-WAN et interaction entre eux

Composants utilisés

Pour les besoins de la démonstration, les routeurs logiciels suivants ont été utilisés :

- 4 routeurs Cisco IOS-XE CSR1000v exécutant la version logicielle 17.2.1v en mode contrôleur (SD-WAN)

- Contrôleur vSmart exécutant la version logicielle 20.1.12

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Informations générales

Dans le cadre de ce document, cette topologie de travaux pratiques est utilisée :

Vous trouverez ici un résumé des paramètres d'ID de site et d'IP de système attribués à chaque périphérique dans le fabric SD-WAN :

nom de l'hôte

system-ip

site-id

cE1 (concentrateur 1)

192.168.30.214

214

cE2 (concentrateur 2)

192.168.30.215

215

cE3 (rayon1)

192.168.30.216

216

vSmart

192.168.30.113

1

Chaque concentrateur dispose de 4 TLOC (Transport location identifier) avec des couleurs attribuées selon le schéma de topologie et chaque concentrateur annonce la route par défaut 0.0.0.0/0 à spoke (routeur de filiale cE3) avec le sous-réseau 192.168.2.0/24. Aucune stratégie n'est configurée sur vSmart afin de privilégier n'importe quel chemin/périphérique et tous les paramètres OMP sont également définis sur la valeur par défaut sur tous les périphériques. Le reste de la configuration est la configuration minimale standard pour la fonctionnalité de superposition SD-WAN de base et n'est donc pas fournie par souci de concision. Vous pouvez vous attendre à une redondance active-active et à un trafic de sortie vers les routeurs concentrateurs avec équilibrage de charge sur toutes les liaisons ascendantes disponibles à partir du routeur de filiale.

Problème

Les routeurs de filiale installent la route par défaut et la route vers le sous-réseau 192.168.2.0/24 uniquement via le routeur cE1 (hub1) :

ce3#show ip route vrf 2 | b Gateway

Gateway of last resort is 192.168.30.214 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.214, 00:08:30, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.214, 00:10:01, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

En effet, cE3 ne reçoit que 4 routes pour la route par défaut 0.0.0.0/0 ainsi que pour 192.168.2.0/24.

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61614  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61615  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61616  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61617  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Bien que sur vSmart, vous pouvez voir qu'il reçoit les 8 routes (4 routes pour chaque couleur TLOC sur chaque concentrateur) :

vsmart1# show omp routes vpn 2 | b PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

Si la route par défaut à partir de cE1 (concentrateur1) est perdue, les routeurs en étoile installent la route à partir de cE2 (concentrateur2). Par conséquent, il n'y a pas de redondance active-active et plutôt active-standby avec cE1 agissant en tant que routeur principal.

Vous pouvez également vérifier quel chemin de sortie est emprunté pour un flux de trafic spécifique avec l'aide de la commande show sdwan policy service-path comme dans l'exemple ici :

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Afin de voir tous les chemins disponibles pour un type de trafic spécifique, utilisez all mot-clé :

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh all

Number of possible next hops: 4

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.108.216 12367 Destination: 192.168.108.214 12407 Local Color: private2 Remote Color: private2 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.107.216 12367 Destination: 192.168.107.214 12407 Local Color: private1 Remote Color: private1 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.109.214 12387 Local Color: biz-internet Remote Color: biz-internet Remote System IP: 192.168.30.214

Ainsi, cela confirme également que seuls 4 chemins sont disponibles au lieu de 8 pour le routeur cE3 (spoke2).

Si vous vérifiez ce que vSmart annonce exactement, vous ne voyez que 4 routes annoncées vers cE3 :

vsmart1# show omp routes vpn 2 0.0.0.0/0 detail | nomore | exclude not\ set | b ADVERTISED\ TO: | b peer\ \ \ \ 192.168.30.216

peer    192.168.30.216

Attributes:

originator       192.168.30.214

label            1003

path-id          61629

tloc             192.168.30.214, private2, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61626

tloc             192.168.30.214, mpls, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61628

tloc             192.168.30.214, private1, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61627

tloc             192.168.30.214, biz-internet, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Sur la base de ce résultat, vous pouvez conclure que le problème est causé par le contrôleur vSmart.

Solution

Ce comportement est provoqué par la configuration par défaut de send-path-limit sur le contrôleur vSmart. send-path-limit définit le nombre maximal de routes ECMP annoncées du routeur Edge au contrôleur vSmart et du contrôleur vSmart aux autres routeurs Edge. La valeur par défaut est 4 et elle est généralement suffisante pour un routeur Edge (comme dans cette topologie avec 4 liaisons ascendantes sur chaque routeur concentrateur), mais pas suffisante pour que le contrôleur vSmart envoie tous les chemins disponibles aux autres routeurs Edge. La valeur maximale qui peut être définie pour send-path-limit est de 16 mais dans certains cas extrêmes, cela peut toujours ne pas être suffisant, bien qu'il y ait une demande d'amélioration CSCvs89015 ouverte pour augmenter la valeur maximale à 128.

Afin de résoudre ce problème, vous devez reconfigurer les paramètres vSmart comme dans l'exemple ci-dessous :

vsmart1# conf t

Entering configuration mode terminal

vsmart1(config)# omp

vsmart1(config-omp)# send-path-limit 8

vsmart1(config-omp)# commit

Commit complete.

vsmart1(config-omp)# end

vsmart1# show run omp

omp

no shutdown

send-path-limit  8

graceful-restart

!

vsmart1#

Ensuite, les 8 routes sont annoncées par vSmart aux routeurs des filiales et reçues par ceux-ci :

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61626  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61627  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61628  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61629  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61637  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61638  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61639  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61640  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61633  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61634  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61635  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61636  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Bien que les routeurs de branchement installent des routes uniquement via cE1 (concentrateur 1) :

ce3#sh ip route vrf 2 0.0.0.0

Routing Table: 2

Routing entry for 0.0.0.0/0, supernet

Known via "omp", distance 251, metric 0, candidate default path, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:11:26 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:11:26 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#sh ip route vrf 2 192.168.2.0

Routing Table: 2

Routing entry for 192.168.2.0/24

Known via "omp", distance 251, metric 0, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:33:56 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:33:56 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#

show sdwan policy service-path confirmera la même chose et par conséquent le résultat n'est pas fourni pour plus de concision.

La raison en est également la configuration par défaut d'une autre commande ecmp-limit value. Par défaut, le routeur de périphérie installe uniquement les 4 premiers chemins ECMP dans la table de routage. Par conséquent, pour résoudre ce problème, vous devez reconfigurer les routeurs en étoile comme dans l'exemple ci-dessous :

ce3#config-t

admin connected from 127.0.0.1 using console on ce3

ce3(config)# sdwan

ce3(config-sdwan)# omp

ce3(config-omp)# ecmp-limit 8

ce3(config-omp)# commit

Commit complete.

show ip route confirme que les deux routes via les deux concentrateurs sont installées maintenant :

ce3#sh ip ro vrf 2 | b Gateway

Gateway of last resort is 192.168.30.215 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

ce3#

Si vous utilisez des modèles de périphériques vManage basés sur des modèles de fonctionnalités, afin d'obtenir le même résultat, vous devez ajuster votre modèle de fonctionnalités OMP que sur cette capture d'écran (limite ECMP pour le modèle de fonctionnalités OMP utilisé par les routeurs et nombre de chemins annoncés par préfixe pour le modèle de fonctionnalités OMP utilisé par vSmart) :

Informations connexes

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp3085259372

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp2570227565

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/operational-cmd.html#wp5579365410

- Assistance et documentation techniques - Cisco Systems