Contenido

Introducción

Prerequisites

Requirements

Componentes Utilizados

Antecedentes

Problema

Solución

Información Relacionada

Introducción

Este documento describe un problema típico con routing de múltiples rutas de igual costo (ECMP) en fabric SD-WAN cuando el tráfico de un router radial no se equilibra con la carga en varios routers hub que anuncian el mismo prefijo. También explica cómo resolver este problema y cómo utilizar varios comandos de resolución de problemas, incluyendo show sdwan policy service-path para resolver problemas de ruteo que se agregó en el software Cisco IOS®-XE 17.2.

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

- Comprensión básica del protocolo de administración superpuesta (OMP)

- Componentes SD-WAN e interacción entre ellos

Componentes Utilizados

Para el propósito de la demostración, se utilizaron estos routers de software:

- 4 routers Cisco IOS-XE CSR1000v que ejecutan la versión de software 17.2.1v en modo controlador (SD-WAN)

- Controlador vSmart que ejecuta la versión de software 20.1.12

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Antecedentes

Para el propósito de este documento, se utiliza esta topología de laboratorio:

Aquí puede encontrar un resumen de los parámetros asignados de ID de sitio y de ip del sistema para cada dispositivo en el fabric SD-WAN:

nombre del host

system-ip

Site-ID

cE1 (hub1)

192.168.30.214

214

cE2 (hub2)

192.168.30.215

215

cE3 (spoke1)

192.168.30.216

216

vSmart

192.168.30.113

1

Cada hub tiene 4 TLOC (identificador de ubicación de transporte) con colores asignados según el diagrama de topología y cada hub anuncia la ruta predeterminada 0.0.0.0/0 a spoke (router de sucursal cE3) junto con la subred 192.168.2.0/24. No hay ninguna política configurada en vSmart para preferir ninguna ruta/dispositivo y todas las configuraciones de OMP también están configuradas como predeterminadas en todos los dispositivos. El resto de la configuración es la configuración mínima estándar para la funcionalidad básica de superposición SD-WAN y, por lo tanto, no se proporciona en aras de la brevedad. Puede esperar redundancia activa-activa y tráfico de salida hacia routers hub con carga equilibrada en todos los enlaces ascendentes disponibles desde el router de la sucursal.

Problema

Los routers de sucursal instalan la ruta predeterminada y la ruta a la subred 192.168.2.0/24 sólo a través del router cE1 (hub1):

ce3#show ip route vrf 2 | b Gateway

Gateway of last resort is 192.168.30.214 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.214, 00:08:30, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.214, 00:10:01, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

Esto se debe a que cE3 recibe solamente 4 rutas para la ruta predeterminada 0.0.0.0/0 así como para 192.168.2.0/24.

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61614  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61615  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61616  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61617  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Aunque en vSmart, puede ver que recibe las 8 rutas (4 rutas para cada color TLOC en cada hub):

vsmart1# show omp routes vpn 2 | b PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

Si se pierde la ruta predeterminada de cE1 (hub1), los routers radiales instalan la ruta desde cE2 (hub2). Por lo tanto, no hay redundancia activo-activo y, más bien, activo-en espera con cE1 actuando como router primario.

También puede verificar qué trayectoria de salida se toma para un flujo de tráfico específico con la ayuda del comando show sdwan policy service-path como en el ejemplo aquí:

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Para ver todas las trayectorias disponibles para un tipo de tráfico específico, utilice all palabra clave:

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh all

Number of possible next hops: 4

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.108.216 12367 Destination: 192.168.108.214 12407 Local Color: private2 Remote Color: private2 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.107.216 12367 Destination: 192.168.107.214 12407 Local Color: private1 Remote Color: private1 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.109.214 12387 Local Color: biz-internet Remote Color: biz-internet Remote System IP: 192.168.30.214

Por lo tanto, esto también confirma que sólo hay disponibles 4 rutas en lugar de 8 para el router cE3 (spoke2).

Si marca exactamente qué anuncios de vSmart, solo verá 4 rutas anunciadas hacia cE3:

vsmart1# show omp routes vpn 2 0.0.0.0/0 detail | nomore | exclude not\ set | b ADVERTISED\ TO: | b peer\ \ \ \ 192.168.30.216

peer    192.168.30.216

Attributes:

originator       192.168.30.214

label            1003

path-id          61629

tloc             192.168.30.214, private2, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61626

tloc             192.168.30.214, mpls, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61628

tloc             192.168.30.214, private1, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61627

tloc             192.168.30.214, biz-internet, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Basándose en este resultado, puede concluir que el problema es causado por el controlador vSmart.

Solución

Este comportamiento es causado por la configuración predeterminada de send-path-limit en el controlador vSmart. send-path-limit define el número máximo de rutas ECMP anunciadas del router de borde al controlador vSmart y del controlador vSmart a otros routers de borde. El valor predeterminado es 4 y, normalmente, es suficiente para el router Edge (como en esta topología con 4 enlaces ascendentes en cada router hub), pero no lo suficiente para que el controlador vSmart envíe toda la ruta disponible a los otros routers Edge. El valor máximo que se puede establecer para send-path-limit es 16, pero en algunos casos extremos, esto todavía no puede ser suficiente, aunque hay una solicitud de mejora CSCvs89015 abierta para aumentar el valor máximo a 128.

Para resolver este problema, debe reconfigurar los parámetros vSmart como en el ejemplo aquí:

vsmart1# conf t

Entering configuration mode terminal

vsmart1(config)# omp

vsmart1(config-omp)# send-path-limit 8

vsmart1(config-omp)# commit

Commit complete.

vsmart1(config-omp)# end

vsmart1# show run omp

omp

no shutdown

send-path-limit  8

graceful-restart

!

vsmart1#

Y luego, las 8 rutas son anunciadas por vSmart a los routers de sucursales y recibidas por ellos:

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61626  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61627  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61628  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61629  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61637  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61638  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61639  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61640  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61633  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61634  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61635  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61636  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Aunque los routers de sucursales fijas instalan rutas solamente a través de cE1 (hub1):

ce3#sh ip route vrf 2 0.0.0.0

Routing Table: 2

Routing entry for 0.0.0.0/0, supernet

Known via "omp", distance 251, metric 0, candidate default path, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:11:26 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:11:26 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#sh ip route vrf 2 192.168.2.0

Routing Table: 2

Routing entry for 192.168.2.0/24

Known via "omp", distance 251, metric 0, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:33:56 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:33:56 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#

show sdwan policy service-path confirmará lo mismo y, por lo tanto, el resultado no se proporciona para la brevedad.

El motivo de esto también es la configuración predeterminada de otro comando ecmp-limit value. De forma predeterminada, el router Edge instala sólo las primeras 4 rutas ECMP en la tabla de ruteo, por lo que para solucionar este problema, debe reconfigurar los routers radiales como en el ejemplo aquí:

ce3#config-t

admin connected from 127.0.0.1 using console on ce3

ce3(config)# sdwan

ce3(config-sdwan)# omp

ce3(config-omp)# ecmp-limit 8

ce3(config-omp)# commit

Commit complete.

show ip route confirma que ambas rutas a través de ambos hubs están instaladas ahora:

ce3#sh ip ro vrf 2 | b Gateway

Gateway of last resort is 192.168.30.215 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

ce3#

Si utiliza plantillas de dispositivos vManage basadas en plantillas de funciones, para lograr el mismo resultado, debe ajustar su plantilla de funciones de OMP como en esta captura de pantalla (límite de ECMP para la plantilla de funciones de OMP utilizada por los routers y número de rutas anunciadas por plantilla de características de OMP utilizada por vSmart):

Información Relacionada

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp3085259372

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp2570227565

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/operational-cmd.html#wp5579365410

- Soporte Técnico y Documentación - Cisco Systems