목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

활용 사례

vPC의 리프 스위치의 고아 포트

vPC의 리프 스위치에서 업링크 실패

vPC의 보더 리프 스위치

버드 노드

구성

네트워크 다이어그램

구성

다음을 확인합니다.

문제 해결

소개

이 문서에서는 NX-OS 운영 체제를 실행하는 Cisco Nexus 9000 스위치를 기반으로 하는 VXLAN BGP EVPN(Virtual Extensible LAN Border Gateway Protocol Ethernet VPN) 패브릭에서 system nve infra-vlans 명령의 용도에 대해 설명합니다.

Nexus 9000 스위치가 vPC(virtual Port Channel) 도메인에서 VXLAN VTEP(Tunnel End Points)라고도 하는 VXLAN 리프 스위치로 구성된 경우, 인터페이스 VLAN을 사용하여 vPC 피어 링크를 통해 두 스위치 간에 백업 레이어 3 라우팅 인접성을 가져야 합니다.이 VLAN은 VXLAN 패브릭을 통해 확장되지 않고 스위치에 로컬이어야 하며 기본 VRF(Global Routing Table)에 속해야 합니다.

EX, FX 및 FX2로 끝나는 Nexus 9300 스위치와 같이 CloudScale ASIC(Tahoe)가 있는 Nexus 900 플랫폼에서 system nve infra-vlans 명령이 업링크 역할을 하고 vPC 피어 링크를 통해 VXLAN 캡슐화로 프레임을 올바르게 전달하는지 확인합니다.

참고:이 문서는 ACI(Application Centric Infrastructure) 모드에서 실행되고 Cisco APIC(Application Policy Infrastructure Controller)에서 관리하는 Cisco Nexus 9000 스위치에는 적용되지 않습니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

- Nexus NX-OS 소프트웨어

- VXLAN BGP EVPN

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

- Cisco N9K-C93180YC-EX

- NXOS 버전 7.0(3)I7(6)

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 이해해야 합니다.

참고:이 문서에서는 Leaf Switch, VTEP 및 ToR이라는 용어를 번갈아 사용합니다.

활용 사례

다음 활용 사례는 system nve infra-vlan 명령을 구성하는 데 필요한 시기를 보여줍니다.이러한 모든 기능에서 할당된 VLAN 777은 system nve infra-vlan 명령의 일부로 정의되어야 하며 vPC 피어 링크를 통해 레이어 3 라우팅 백업 인접성을 인스턴스화하는 데 사용됩니다.이 VLAN 777은 기본 VRF(Global Routing Table)의 일부여야 합니다.

참고:이러한 활용 사례에서는 Cisco Nexus 9000 VXLAN Leaf 또는 Border Leaf 스위치에 물리적으로 직접 연결된 엔드 호스트 또는 라우터의 일반적인 시나리오를 설명합니다.마찬가지로, 레이어 2 스위치 또는 브리지가 Nexus 9000 리프 스위치와 엔드 호스트 또는 라우터 사이에 있는 경우에도 이러한 활용 사례가 적용됩니다.

vPC의 리프 스위치의 고아 포트

이 활용 사례는 vPC 도메인의 단일 Cisco Nexus 9000 VXLAN 리프 스위치 부분에 연결된 패브릭(Host-A) 내부의 엔드 호스트를 보여줍니다.고아 포트 연결이라고 합니다.라우팅의 일환으로 패브릭의 다른 리프 스위치에 연결된 엔드-호스트에서 생성되는 트래픽은 언더레이에서 vPC의 두 리프 스위치(스위치 리프 A 및 스위치 리프 B)에 의해 동시에 NVE 애니캐스트 IP 주소(10.12.12.12)으로 이동됩니다. 이는 ECMP(Equal Cost Multi-Path) 라우팅을 사용하여 모든 리프-스파인 업링크를 활용하는 것입니다.이 시나리오에서는 Spine을 통과한 후 Host-A로 향하는 VXLAN 프레임이 Host-A에 직접 연결되지 않은 Leaf B로 해시될 수 있습니다.트래픽이 vPC 피어 링크를 통과하려면 시스템 nve infra-vlan 및 백업 라우팅이 필요합니다.

vPC의 리프 스위치에서 업링크 실패

이 활용 사례에서는 패브릭 내부의 엔드 호스트(Host-A)가 vPC 도메인의 두 Cisco Nexus 9000 VXLAN 리프 스위치에 듀얼 홈(dual homed)됩니다.그러나 vPC에서 Spine 스위치로부터 완전히 격리할 수 있는 Leaf 스위치의 모든 업링크가 실패할 경우, 트래픽이 vPC 피어 링크를 통과하도록 하려면 시스템 nve infra-vlan 및 백업 라우팅이 필요합니다. vPC 피어 링크는 이제 Spine으로 향하는 유일한 경로입니다.예를 들어, 다이어그램은 Host-A의 트래픽이 프레임을 격리된 스위치 Leaf A로 해시했음을 보여줍니다.이제 프레임이 vPC 피어 링크를 통과해야 합니다.

vPC의 보더 리프 스위치

네트워크 접두사와 외부 라우터를 교환하여 VXLAN 패브릭에서 연결을 제공하는 Border Leaf 스위치는 vPC에서 사용할 수 있습니다.

외부 라우터에 대한 이러한 연결은 추상적으로 WAN에 대한 연결로 볼 수 있습니다.

WAN에 연결된 Border Leaf 스위치는 링크 장애 시 단일 홈이 될 수 있습니다.이러한 경우 다음 다이어그램에 표시된 대로 트래픽이 vPC 피어 링크를 통과하려면 시스템에서 infra-vlan 및 백업 라우팅이 필요합니다.

참고:다음 예를 위해 Global Routing Table의 VLAN에 있는 VLAN에는 vPC 피어 링크를 통해 Border Leaf 스위치 간에 Static Routes 또는 Routing Protocol을 사용하여 네트워크 접두사를 교환하는 Tenant-VRF의 VLAN 부분이 있어야 합니다.이는 Tenant-VRF 라우팅 테이블을 채우기 위해 필요합니다.

Border Leaf 스위치는 Static Routes 또는 Tenant-VRF에서 인스턴스화된 라우팅 프로토콜을 사용하여 vPC 피어 링크를 통해 인터페이스 루프백을 광고할 수도 있습니다.이 트래픽은 vPC 피어 링크에서도 전달됩니다.

마지막으로, Border Leaf 스위치에 연결된 외부 라우터 단일 홈에서는 네트워크 접두사를 광고할 수 있습니다. 다음 다이어그램에서 볼 수 있듯이 네트워크 트래픽 경로에 vPC 피어 링크가 있어야 합니다.

버드 노드

Bud 노드 활용 사례에서는 Cisco Nexus 9000 VXLAN Leaf 스위치에 연결된 하드웨어 또는 소프트웨어 기반 VTEP가 있을 수 있습니다.이 VTEP는 리프 스위치 VXLAN 캡슐화된 트래픽으로 전송할 수 있습니다.이 하드웨어 또는 소프트웨어 VTEP와의 연결에 사용되는 VLAN을 system nve infra-vlan 명령에 추가해야 합니다.

이 경우 VLAN 777에 추가로 VLAN 10이 적용됩니다.

구성

이 시나리오에서는 LEAF A와 LEAF B가 vPC의 VTEP입니다.

언더레이 라우팅 프로토콜에 참여하도록 VLAN 777을 선택했습니다. 이 경우 OSPF(Open Shortest Path First)입니다.

각 LEAF A 및 LEAF B 스위치에서 OSPF는 업링크를 통한 SPINE 스위치와 vPC 피어 링크를 통해 SPINE 스위치와의 인접성을 형성했습니다.

OSPF 또는 IS-IS(Intermediate System-to-Intermediate System)는 언더레이에서 사용 중인 라우팅 프로토콜일 수 있습니다.

참고:vlan 777 컨피그레이션 섹션 아래에 구성된 vn-segment 명령이 없습니다.이는 VLAN이 VXLAN 패브릭 전반에 걸쳐 확장되지 않고 스위치의 로컬임을 나타냅니다.

전역 컨피그레이션 모드에서 system nve infra-vlans 명령을 추가하고 vlan 777은 언더레이 OSPF 인접성에 사용되는 VLAN이므로 선택합니다.

참고:nve infra-vlans는 EX, FX 및 FX2로 끝나는 Nexus 9300과 같은 CloudScale ASIC(Tahoe)가 포함된 Nexus 900에서만 필요합니다.

리프 A

LEAF_A# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          00:02:52 10.255.255.254  Eth1/6

10.255.255.2      1 FULL/ -          02:16:10 10.1.2.2        Vlan777

LEAF_A#

LEAF_A# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:48:46 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_A#

LEAF_A# show running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:46:33 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_A#

LEAF_A# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_A(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_A(config)# system nve infra-vlans 777

LEAF_A(config)#

리프 B

LEAF_B# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          02:21:53 10.255.255.254  Eth1/5

10.255.255.1      1 FULL/ -          02:13:51 10.1.2.1        Vlan777

LEAF_B#

LEAF_B# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:49:19 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_B#

LEAF_B# sh running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:48:14 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_B#

LEAF_B# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_B(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_B(config)# system nve infra-vlans 777

LEAF_B(config)#

참고:infra-VLAN의 특정 조합을 구성해서는 안 됩니다.예를 들어, 2 및 514, 10, 522, 512입니다.

네트워크 다이어그램

구성

리프 A

configure terminal

!

hostname LEAF_A

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.99 source 10.82.140.98 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/6

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/54

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.1.1.1/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.1/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.1

!

router bgp 65535

router-id 10.255.255.1

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

리프 B

configure terminal

!

hostname LEAF_B

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.98 source 10.82.140.99 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/5

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.2.2.2/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.2/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.2

!

router bgp 65535

router-id 10.255.255.2

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

리프 C

configure terminal

!

hostname LEAF_C

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/1

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/49

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.3.3.3/32

ip router ospf 1 area 0.0.0.0

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.3/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.3

!

router bgp 65535

router-id 10.255.255.3

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

스파인

configure terminal

!

hostname SPINE

!

nv overlay evpn

feature ospf

feature bgp

feature nv overlay

!

interface Ethernet1/5

description TO LEAF A

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/6

description TO LEAF B

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/1

description TO LEAF C

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.254/32

ip router ospf 1 area 0.0.0.0

!

router ospf 1

router-id 10.255.255.254

!

router bgp 65535

router-id 10.255.255.254

address-family ipv4 unicast

address-family l2vpn evpn

retain route-target all

neighbor 10.255.255.1

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.2

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.3

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

!

end

다음을 확인합니다.

show system nve infra-vlan 명령을 실행하고 VLAN이 현재 활성 인프라 VLAN에 표시되는지 확인합니다.

리프 A

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#

리프 B

LEAF_B# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_B#

참고:레이어 3 물리적 인터페이스는 패브릭에서 VXLAN 트래픽을 전송하기 위한 업링크로 사용되는 권장 사항입니다.레이어 3 하위 인터페이스는 지원되지 않습니다.인터페이스 vlan을 사용하여 VXLAN 트래픽을 전송하려면 vlan이 vPC 피어 링크를 통해 시스템 nve infra-vlan 명령으로 식별되는지 확인합니다.

문제 해결

LEAF A 스위치가 업링크 장애를 겪고 더 이상 SPINE 스위치에 직접 연결되지 않을 경우, SPINE 스위치에 대한 백업 업링크로 사용되는 vPC 피어 링크를 통해 infra-vlan을 통해 연결을 계속 수행할 수 있습니다.

리프 A

LEAF_A# show mac address-table vlan 10

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan

VLAN     MAC Address      Type      age     Secure NTFY Ports

---------+-----------------+--------+---------+------+----+------------------

*   10     0000.0000.000a   dynamic  0         F      F    Eth1/54

C   10     0000.0000.000b   dynamic  0         F      F    nve1(10.3.3.3)

G   10     00be.755b.f1b7   static   -         F      F    sup-eth1(R)

G   10     4c77.6db9.a8db   static   -         F      F    vPC Peer-Link(R)

LEAF_A#

LEAF_A# show ip route 10.3.3.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.3.3.3/32, ubest/mbest: 1/0

*via 10.1.2.2, Vlan777, [110/49], 00:01:39, ospf-1, intra

LEAF_A#

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#