Contents

Introduction

Prerequisites

Requirements

Componentes Utilizados

Informações de Apoio

Problema

Solução

Informações Relacionadas

Introduction

Este documento descreve um problema típico com o roteamento ECMP (Equal-Cost Multipath) na estrutura SD-WAN quando o tráfego de um roteador spoke não tem a carga balanceada em vários roteadores de hub que anunciam o mesmo prefixo. Ele também explica como resolver esse problema e como usar vários comandos de solução de problemas, incluindo show sdwan policy service-path para a solução de problemas de roteamento adicionados ao software Cisco IOS®-XE 17.2.

Prerequisites

Requirements

A Cisco recomenda que você tenha conhecimento destes tópicos:

- Compreensão básica do protocolo de gerenciamento de sobreposição (OMP)

- Componentes SD-WAN e interação entre eles

Componentes Utilizados

Para os fins da demonstração, esses roteadores de software foram usados:

- 4 roteadores Cisco IOS-XE CSR1000v executando versão de software 17.2.1v em modo controlador (SD-WAN)

- Controlador vSmart executando versão de software 20.1.12

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

Para o propósito deste documento, esta topologia de laboratório é usada:

Aqui você pode encontrar um resumo dos parâmetros de site-id e system-ip atribuídos a cada dispositivo na estrutura SD-WAN:

hostname

system-ip

ID do site

cE1 (hub1)

192.168.30.214

214

cE2 (hub2)

192.168.30.215

215

cE3 (spoke1)

192.168.30.216

216

vSmart

192.168.30.113

1

Cada hub tem 4 TLOCs (Transport location identifier) com cores atribuídas de acordo com o diagrama de topologia e cada hub anuncia a rota padrão 0.0.0.0/0 para spoke (branch router cE3) juntamente com a sub-rede 192.168.2.0/24. Não há nenhuma política configurada no vSmart para preferir qualquer caminho/dispositivo e todas as configurações de OMP também são definidas como padrão em todos os dispositivos. O restante da configuração é a configuração mínima padrão para a funcionalidade básica de sobreposição SD-WAN e, portanto, não é fornecida por uma questão de brevidade. Você pode esperar redundância ativa-ativa e tráfego de saída para os roteadores de hub balanceados de carga em todos os uplinks disponíveis do roteador da filial.

Problema

Os roteadores da filial instalam a rota padrão e a rota para a sub-rede 192.168.2.0/24 somente através do roteador cE1 (hub1):

ce3#show ip route vrf 2 | b Gateway

Gateway of last resort is 192.168.30.214 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.214, 00:08:30, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.214, 00:10:01, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

Isso ocorre porque cE3 recebe apenas 4 rotas para a rota padrão 0.0.0.0/0 e para 192.168.2.0/24.

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61614  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61615  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61616  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61617  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Embora no vSmart, você pode ver que ele recebe todas as 8 rotas (4 rotas para cada cor de TLOC em cada hub):

vsmart1# show omp routes vpn 2 | b PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -

192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -

192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -

192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

Se a rota padrão do cE1 (hub1) for perdida, os roteadores spoke instalarão a rota do cE2 (hub2). Portanto, não há redundância ativa-ativa e standby ativo com cE1 atuando como um roteador principal.

Você também pode verificar qual caminho de saída é tomado para um fluxo de tráfego específico com a ajuda do comando show sdwan policy service-path, como no exemplo aqui:

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Para ver todos os caminhos disponíveis para um tipo de tráfego específico, use todas as palavras-chave:

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh all

Number of possible next hops: 4

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.108.216 12367 Destination: 192.168.108.214 12407 Local Color: private2 Remote Color: private2 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.107.216 12367 Destination: 192.168.107.214 12407 Local Color: private1 Remote Color: private1 Remote System IP: 192.168.30.214

Next Hop: IPsec

Source: 192.168.109.216 12347 Destination: 192.168.109.214 12387 Local Color: biz-internet Remote Color: biz-internet Remote System IP: 192.168.30.214

Isso também confirma que apenas 4 caminhos estão disponíveis em vez de 8 para o roteador cE3 (spoke2).

Se você verificar exatamente o que o vSmart anuncia, verá apenas 4 rotas anunciadas para cE3:

vsmart1# show omp routes vpn 2 0.0.0.0/0 detail | nomore | exclude not\ set | b ADVERTISED\ TO: | b peer\ \ \ \ 192.168.30.216

peer    192.168.30.216

Attributes:

originator       192.168.30.214

label            1003

path-id          61629

tloc             192.168.30.214, private2, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61626

tloc             192.168.30.214, mpls, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61628

tloc             192.168.30.214, private1, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Attributes:

originator       192.168.30.214

label            1003

path-id          61627

tloc             192.168.30.214, biz-internet, ipsec

site-id          214

overlay-id        1

origin-proto     static

origin-metric    0

Com base nessa saída, você pode concluir que o problema é causado pelo controlador vSmart.

Solução

Esse comportamento é causado pela configuração padrão de send-path-limit no controlador vSmart. send-path-limit define o número máximo de rotas ECMP anunciadas do roteador Edge para o controlador vSmart e do controlador vSmart para outros roteadores Edge. O valor padrão é 4 e, geralmente, é suficiente para o roteador Edge (como nesta topologia com 4 uplinks em cada roteador de hub), mas não suficiente para que o controlador vSmart envie todo o caminho disponível para os outros roteadores Edge. O valor máximo que pode ser definido para send-path-limit é 16, mas em alguns casos extremos, isso ainda pode não ser suficiente, embora haja uma solicitação de aprimoramento CSCvs89015 aberta para aumentar o valor máximo para 128.

Para resolver esse problema, você deve redefinir as configurações do vSmart como no exemplo aqui:

vsmart1# conf t

Entering configuration mode terminal

vsmart1(config)# omp

vsmart1(config-omp)# send-path-limit 8

vsmart1(config-omp)# commit

Commit complete.

vsmart1(config-omp)# end

vsmart1# show run omp

omp

no shutdown

send-path-limit  8

graceful-restart

!

vsmart1#

Em seguida, todas as 8 rotas são anunciadas pelo vSmart aos roteadores de filial e recebidas por eles:

ce3#show sdwan omp routes vpn 2 | begin PATH

PATH                      ATTRIBUTE

VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE

--------------------------------------------------------------------------------------------------------------------------------------

2      0.0.0.0/0           192.168.30.113   61626  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61627  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61628  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61629  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61637  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61638  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61639  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61640  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -

192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -

192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -

192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -

192.168.30.113   61633  1003     C,R       installed  192.168.30.215   mpls             ipsec  -

192.168.30.113   61634  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -

192.168.30.113   61635  1003     C,R       installed  192.168.30.215   private1         ipsec  -

192.168.30.113   61636  1003     C,R       installed  192.168.30.215   private2         ipsec  -

2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -

0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -

0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

Embora os roteadores ainda de filial instalem rotas somente via cE1 (hub1):

ce3#sh ip route vrf 2 0.0.0.0

Routing Table: 2

Routing entry for 0.0.0.0/0, supernet

Known via "omp", distance 251, metric 0, candidate default path, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:11:26 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:11:26 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#sh ip route vrf 2 192.168.2.0

Routing Table: 2

Routing entry for 192.168.2.0/24

Known via "omp", distance 251, metric 0, type omp

Last update from 192.168.30.214 on sdwan_system_ip, 01:33:56 ago

Routing Descriptor Blocks:

* 192.168.30.214 (default), from 192.168.30.214, 01:33:56 ago, via sdwan_system_ip

Route metric is 0, traffic share count is 1

ce3#

show sdwan policy service-path confirmará o mesmo e, portanto, a saída não é fornecida para ser breve.

O motivo para isso também é a configuração padrão de outro comando ecmp-limit value. Por padrão, o roteador de borda instala apenas os quatro primeiros caminhos ECMP na tabela de roteamento, portanto, para corrigir esse problema, você deve reconfigurar os roteadores spoke como no exemplo aqui:

ce3#config-t

admin connected from 127.0.0.1 using console on ce3

ce3(config)# sdwan

ce3(config-sdwan)# omp

ce3(config-omp)# ecmp-limit 8

ce3(config-omp)# commit

Commit complete.

show ip route confirma que ambas as rotas através de ambos os hubs estão instaladas agora:

ce3#sh ip ro vrf 2 | b Gateway

Gateway of last resort is 192.168.30.215 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

m     192.168.2.0/24 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip

[251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip

192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks

C        192.168.216.0/24 is directly connected, Loopback2

L        192.168.216.216/32 is directly connected, Loopback2

ce3#

Se você usar modelos de dispositivo do vManage com base em modelos de recurso, para obter o mesmo resultado, é necessário ajustar seu modelo de recurso OMP como nesta imagem (limite ECMP para modelo de recurso OMP usado por roteadores e Número de Caminhos Anunciados por Prefixo para modelo de recurso OMP usado pelo vSmart):

Informações Relacionadas

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp3085259372

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp2570227565

- https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/operational-cmd.html#wp5579365410

- Suporte Técnico e Documentação - Cisco Systems