SD-WAN 허브 라우터에서 ECMP 경로를 통해 트래픽이 로드 밸런싱되지 않는 이유

소개

이 문서에서는 스포크 라우터의 트래픽이 동일한 접두사를 광고하는 여러 허브 라우터를 통해 로드 밸런싱되지 않을 경우 SD-WAN 패브릭에서 ECMP(Equal-Cost Multipath) 라우팅의 일반적인 문제에 대해 설명합니다.또한 이 문제를 해결하는 방법과 17.2 Cisco IOS®-XE 소프트웨어에 추가된 라우팅 문제 해결을 위해 show sdwan policy service-path를 비롯한 다양한 트러블슈팅 명령을 사용하는 방법에 대해서도 설명합니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

• OMP(Overlay Management Protocol)에 대한 기본적인 이해
• SD-WAN 구성 요소 및 상호 작용

사용되는 구성 요소

데모에서는 다음과 같은 소프트웨어 라우터가 사용되었습니다.

• 컨트롤러 모드(SD-WAN)에서 실행되는 17.2.1v 소프트웨어 버전을 실행하는 Cisco IOS-XE CSR1000v 라우터 4개
• 20.1.12 소프트웨어 버전을 실행하는 vSmart 컨트롤러

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 이해해야 합니다.

배경 정보

이 문서에서는 이 랩 토폴로지가 사용됩니다.

여기서는 SD-WAN 패브릭의 각 디바이스에 할당된 site-id 및 system-ip 매개변수의 요약을 확인할 수 있습니다.

호스트 이름	시스템 IP	사이트 ID
cE1(허브1)	192.168.30.214	214
cE2(허브2)	192.168.30.215	215
cE3(spoke1)	192.168.30.216	216
vSmart	192.168.30.113	1

각 허브에는 4개의 TLOC(전송 위치 식별자)가 있으며 토폴로지 다이어그램에 따라 색상이 할당되어 있으며, 각 허브는 192.168.2.0/24 서브넷과 함께 스포크(브랜치 라우터 cE3)에 기본 경로 0.0.0.0/0을 알립니다.경로/디바이스를 선호하기 위해 vSmart에 구성된 정책이 없으며 모든 디바이스에서 모든 OMP 설정도 기본값으로 설정됩니다.컨피그레이션의 나머지는 기본 SD-WAN 오버레이 기능을 위한 표준 최소 컨피그레이션이므로 간극을 위해 제공되지 않습니다.브랜치 라우터에서 사용 가능한 모든 업링크를 통해 허브 라우터에 대한 액티브-액티브 이중화 및 이그레스 트래픽을 로드 밸런싱할 수 있습니다.

문제

브랜치 라우터는 cE1 라우터(hub1)를 통해서만 기본 경로를 설치하고 192.168.2.0/24 서브넷으로 라우팅합니다.

ce3#show ip route vrf 2 | b Gateway
Gateway of last resort is 192.168.30.214 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.214, 00:08:30, sdwan_system_ip
m     192.168.2.0/24 [251/0] via 192.168.30.214, 00:10:01, sdwan_system_ip
      192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks
C        192.168.216.0/24 is directly connected, Loopback2
L        192.168.216.216/32 is directly connected, Loopback2

이는 cE3가 기본 경로 0.0.0.0/0 및 192.168.2.0/24에 대해 4개의 경로만 수신되기 때문입니다.

ce3#show sdwan omp routes vpn 2 | begin PATH
                                            PATH                      ATTRIBUTE
VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE
--------------------------------------------------------------------------------------------------------------------------------------
2      0.0.0.0/0           192.168.30.113   61614  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -
                           192.168.30.113   61615  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -
                           192.168.30.113   61616  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -
                           192.168.30.113   61617  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -
2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -
                           192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -
                           192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -
                           192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -
2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -
                           0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -
                           0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

vSmart에서는 모든 8개의 경로(각 허브의 각 TLOC 색상에 대한 4개의 경로)를 수신함을 확인할 수 있습니다.

vsmart1# show omp routes vpn 2 | b PATH
                                            PATH                      ATTRIBUTE
VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE
--------------------------------------------------------------------------------------------------------------------------------------
2      0.0.0.0/0           192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -
                           192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -
                           192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -
                           192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -
                           192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -
                           192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -
                           192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -
                           192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -
2      192.168.2.0/24      192.168.30.214   66     1003     C,R       installed  192.168.30.214   mpls             ipsec  -
                           192.168.30.214   68     1003     C,R       installed  192.168.30.214   biz-internet     ipsec  -
                           192.168.30.214   81     1003     C,R       installed  192.168.30.214   private1         ipsec  -
                           192.168.30.214   82     1003     C,R       installed  192.168.30.214   private2         ipsec  -
                           192.168.30.215   66     1003     C,R       installed  192.168.30.215   mpls             ipsec  -
                           192.168.30.215   68     1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -
                           192.168.30.215   81     1003     C,R       installed  192.168.30.215   private1         ipsec  -
                           192.168.30.215   82     1003     C,R       installed  192.168.30.215   private2         ipsec  -

cE1(hub1)의 기본 경로가 손실되면 스포크 라우터는 cE2(hub2)에서 경로를 설치합니다. 따라서 액티브-액티브 이중화 및 cE1이 기본 라우터로 작동하는 액티브-스탠바이 상태가 없습니다.

또한 show sdwan policy service-path 명령의 도움을 받아 특정 트래픽 플로우에 대해 어떤 이그레스 경로가 사용되는지 확인할 수 있습니다.

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh
Next Hop: IPsec
  Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214

특정 트래픽 유형에 대해 사용 가능한 모든 경로를 보려면 all 키워드를 사용합니다.

ce3#show sdwan policy service-path vpn 2  interface Loopback2 source-ip 192.168.216.216 dest-ip 192.168.2.1 protocol 6 source-port 53453 dest-port 22 dscp 48 app ssh all
Number of possible next hops: 4
Next Hop: IPsec
  Source: 192.168.109.216 12347 Destination: 192.168.110.214 12427 Local Color: biz-internet Remote Color: mpls Remote System IP: 192.168.30.214
Next Hop: IPsec
  Source: 192.168.108.216 12367 Destination: 192.168.108.214 12407 Local Color: private2 Remote Color: private2 Remote System IP: 192.168.30.214
Next Hop: IPsec
  Source: 192.168.107.216 12367 Destination: 192.168.107.214 12407 Local Color: private1 Remote Color: private1 Remote System IP: 192.168.30.214
Next Hop: IPsec
  Source: 192.168.109.216 12347 Destination: 192.168.109.214 12387 Local Color: biz-internet Remote Color: biz-internet Remote System IP: 192.168.30.214

따라서 라우터 cE3(spoke2)의 경우 8개가 아니라 4개의 경로만 사용할 수 있음을 확인합니다.

vSmart가 정확히 광고하는 것을 확인하면 cE3에 광고되는 경로는 4개만 표시됩니다.

vsmart1# show omp routes vpn 2 0.0.0.0/0 detail | nomore | exclude not\ set | b ADVERTISED\ TO: | b peer\ \ \ \ 192.168.30.216
peer    192.168.30.216
    Attributes:
     originator       192.168.30.214
     label            1003
     path-id          61629
     tloc             192.168.30.214, private2, ipsec
     site-id          214
     overlay-id        1
     origin-proto     static
     origin-metric    0
    Attributes:
     originator       192.168.30.214
     label            1003
     path-id          61626
     tloc             192.168.30.214, mpls, ipsec
     site-id          214
     overlay-id        1
     origin-proto     static
     origin-metric    0
    Attributes:
     originator       192.168.30.214
     label            1003
     path-id          61628
     tloc             192.168.30.214, private1, ipsec
     site-id          214
     overlay-id        1
     origin-proto     static
     origin-metric    0
    Attributes:
     originator       192.168.30.214
     label            1003
     path-id          61627
     tloc             192.168.30.214, biz-internet, ipsec
     site-id          214
     overlay-id        1
     origin-proto     static
     origin-metric    0

이 출력에 따라 문제가 vSmart 컨트롤러에 의해 발생되었다고 결론지을 수 있습니다.

솔루션

이 동작은 vSmart 컨트롤러에서 send-path-limit의 기본 컨피그레이션으로 인해 발생합니다. send-path-limit는 에지 라우터에서 vSmart 컨트롤러로, vSmart 컨트롤러에서 다른 에지 라우터로 광고되는 최대 ECMP 경로 수를 정의합니다.기본값은 4이며, 일반적으로 에지 라우터에는 충분하지만(예: 각 허브 라우터에 업링크가 4개 있는 이 토폴로지에서는) vSmart 컨트롤러가 사용 가능한 모든 경로를 다른 에지 라우터로 전송하기에는 충분하지 않습니다.send-path-limit에 대해 설정할 수 있는 최대 값은 16이지만, 일부 극단적인 경우에는 CSCvs89015가 최대 값을 128로 증가시키기 위해 열렸음에도 불구하고 이 값이 충분하지 않습니다. 

이 문제를 해결하려면 다음 예와 같이 vSmart 설정을 재구성해야 합니다.

vsmart1# conf t
Entering configuration mode terminal
vsmart1(config)# omp
vsmart1(config-omp)# send-path-limit 8
vsmart1(config-omp)# commit
Commit complete.
vsmart1(config-omp)# end
vsmart1# show run omp
omp
 no shutdown
 send-path-limit  8
 graceful-restart
!
vsmart1#

그런 다음 vSmart에서 브랜치 라우터로 모든 8개 경로를 광고하고 이를 통해 수신합니다.

ce3#show sdwan omp routes vpn 2 | begin PATH
                                            PATH                      ATTRIBUTE
VPN    PREFIX              FROM PEER        ID     LABEL    STATUS    TYPE       TLOC IP          COLOR            ENCAP  PREFERENCE
--------------------------------------------------------------------------------------------------------------------------------------
2      0.0.0.0/0           192.168.30.113   61626  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -
                           192.168.30.113   61627  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -
                           192.168.30.113   61628  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -
                           192.168.30.113   61629  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -
                           192.168.30.113   61637  1003     C,R       installed  192.168.30.215   mpls             ipsec  -
                           192.168.30.113   61638  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -
                           192.168.30.113   61639  1003     C,R       installed  192.168.30.215   private1         ipsec  -
                           192.168.30.113   61640  1003     C,R       installed  192.168.30.215   private2         ipsec  -
2      192.168.2.0/24      192.168.30.113   61610  1003     C,I,R     installed  192.168.30.214   mpls             ipsec  -
                           192.168.30.113   61611  1003     C,I,R     installed  192.168.30.214   biz-internet     ipsec  -
                           192.168.30.113   61612  1003     C,I,R     installed  192.168.30.214   private1         ipsec  -
                           192.168.30.113   61613  1003     C,I,R     installed  192.168.30.214   private2         ipsec  -
                           192.168.30.113   61633  1003     C,R       installed  192.168.30.215   mpls             ipsec  -
                           192.168.30.113   61634  1003     C,R       installed  192.168.30.215   biz-internet     ipsec  -
                           192.168.30.113   61635  1003     C,R       installed  192.168.30.215   private1         ipsec  -
                           192.168.30.113   61636  1003     C,R       installed  192.168.30.215   private2         ipsec  -
2      192.168.216.0/24    0.0.0.0          68     1003     C,Red,R   installed  192.168.30.216   biz-internet     ipsec  -
                           0.0.0.0          81     1003     C,Red,R   installed  192.168.30.216   private1         ipsec  -
                           0.0.0.0          82     1003     C,Red,R   installed  192.168.30.216   private2         ipsec  -

여전히 브랜치 라우터는 cE1(hub1)을 통해서만 경로를 설치하지만,

ce3#sh ip route vrf 2 0.0.0.0

Routing Table: 2
Routing entry for 0.0.0.0/0, supernet
  Known via "omp", distance 251, metric 0, candidate default path, type omp
  Last update from 192.168.30.214 on sdwan_system_ip, 01:11:26 ago
  Routing Descriptor Blocks:
  * 192.168.30.214 (default), from 192.168.30.214, 01:11:26 ago, via sdwan_system_ip
      Route metric is 0, traffic share count is 1

ce3#sh ip route vrf 2 192.168.2.0

Routing Table: 2
Routing entry for 192.168.2.0/24
  Known via "omp", distance 251, metric 0, type omp
  Last update from 192.168.30.214 on sdwan_system_ip, 01:33:56 ago
  Routing Descriptor Blocks:
  * 192.168.30.214 (default), from 192.168.30.214, 01:33:56 ago, via sdwan_system_ip
      Route metric is 0, traffic share count is 1
ce3#

show sdwan policy service-path는 동일한 것을 확인하므로 출력이 breakability에 제공되지 않습니다.

이 이유는 다른 명령 ecmp-limit 값의 기본 컨피그레이션이기도 합니다.기본적으로 Edge 라우터는 라우팅 테이블에 처음 4개의 ECMP 경로만 설치하므로 이 문제를 해결하려면 다음 예와 같이 스포크 라우터를 재구성해야 합니다.

ce3#config-t

admin connected from 127.0.0.1 using console on ce3
ce3(config)# sdwan
ce3(config-sdwan)# omp
ce3(config-omp)# ecmp-limit 8
ce3(config-omp)# commit
Commit complete.

show ip route는 두 허브를 통해 두 경로가 모두 설치되었음을 확인합니다.

ce3#sh ip ro vrf 2 | b Gateway
Gateway of last resort is 192.168.30.215 to network 0.0.0.0

m*    0.0.0.0/0 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip
                [251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip
m     192.168.2.0/24 [251/0] via 192.168.30.215, 00:00:37, sdwan_system_ip
                     [251/0] via 192.168.30.214, 00:00:37, sdwan_system_ip
      192.168.216.0/24 is variably subnetted, 2 subnets, 2 masks
C        192.168.216.0/24 is directly connected, Loopback2
L        192.168.216.216/32 is directly connected, Loopback2
ce3#

기능 템플릿을 기반으로 vManage 디바이스 템플릿을 사용하는 경우 이 스크린샷과 동일한 결과를 얻으려면 OMP 기능 템플릿을 조정해야 합니다(라우터에서 사용하는 OMP 기능 템플릿에 대한 ECMP 제한 및 vSmart에서 사용하는 OMP 기능 템플릿에 대한 접두사당 광고되는 경로 수).

관련 정보

• https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp3085259372
• https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/config-cmd.html#wp2570227565
• https://www.cisco.com/c/en/us/td/docs/routers/sdwan/command/sdwan-cr-book/operational-cmd.html#wp5579365410
• 기술 지원 및 문서 − Cisco Systems