Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Scenari d'uso

Porta orfana su uno switch foglia in vPC

Errore di uplink su uno switch foglia in vPC

Switch Border Leaf in vPC

Nodo bug

Configurazione

Esempio di rete

Configurazioni

Verifica

Risoluzione dei problemi

Introduzione

In questo documento viene descritto lo scopo del comando system nve infra-vlan nei fabric Virtual Extensible LAN Border Gateway Protocol Ethernet VPN (VXLAN BGP EVPN) basati sugli switch Cisco Nexus 9000 con sistema operativo NX-OS.

Quando gli switch Nexus 9000 sono configurati come VXLAN Leaf Switch, noti anche come VXLAN Tunnel End Point (VTEP) nel dominio vPC (Virtual Port Channel), è necessario avere una adiacenza di routing di backup di layer 3 tra di essi sul collegamento peer vPC con l'uso di una vlan di interfaccia. Questa VLAN deve essere locale per gli switch, non estesa sulla struttura VXLAN e appartenere alla VRF (Global Routing Table) predefinita.

Verificare che il comando nve infra-vlan del sistema sia presente sulle piattaforme Nexus 9000 con CloudScale ASIC (Tahoe) come gli switch Nexus 9300 che terminano con EX, FX e FX2 per specificare che la VLAN può fungere da uplink e inoltrare correttamente i frame con incapsulamento VXLAN sul peer link vPC.

Nota: Il presente documento non è applicabile agli switch Cisco Nexus 9000 che vengono eseguiti in modalità infrastruttura incentrata sull'applicazione (ACI) e gestiti da Cisco Application Policy Infrastructure Controller (APIC).

Prerequisiti

Requisiti

Cisco raccomanda la conoscenza dei seguenti argomenti:

- Software Nexus NX-OS

- VXLAN BGP VPN

Componenti usati

Le informazioni fornite in questo documento si basano sulle seguenti versioni software e hardware:

- Cisco N9K-C93180YC-EX

- NXOS versione 7.0(3)I7(6)

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Nota: Nel documento vengono usati indifferentemente i termini Leaf Switch, VTEP e ToR.

Scenari d'uso

Nei casi di utilizzo successivi viene mostrato quando è necessario configurare il comando system nve infra-vlan. In tutti questi casi, la VLAN 77 allocata deve essere definita come parte del comando system nve infra-vlan e usata per creare un'istanza dell'adiacenza di backup del routing di layer 3 sul collegamento peer vPC. Questa VLAN 777 deve essere parte del VRF (Global Routing Table) predefinito.

Nota: Questi casi di utilizzo descrivono lo scenario comune tra un host finale o i router fisicamente connessi agli switch foglia o bordo Cisco Nexus 9000 VXLAN. Analogamente, queste situazioni di utilizzo si verificano quando tra gli switch foglia Nexus 9000 e l'host finale o i router è presente uno switch di layer 2 o un bridge.

Porta orfana su uno switch foglia in vPC

In questo scenario di utilizzo viene illustrato un host finale all'interno della struttura (host A) connesso a un singolo switch foglia Cisco Nexus 9000 VXLAN che fa parte di un dominio vPC. Questa connessione è nota come connessione a una porta orfana. Nell'ambito del routing, il traffico generato da un host terminale collegato a qualsiasi altro switch foglia del fabric è destinato, nella parte inferiore, all'indirizzo IP NVE Anycast (10.12.12.12) gestito contemporaneamente da entrambi gli switch foglia di vPC (switch foglia A e switch foglia B). In questo modo è possibile sfruttare tutti gli uplink da foglia a spina con l'uso del routing ECMP (Equal Cost Multi-Path). In questo scenario, dopo aver attraversato il dorso, i frame VXLAN destinati all'host A potrebbero generare l'hash sulla foglia B che non ha una connessione diretta all'host A. Per consentire al traffico di attraversare il collegamento peer vPC, è necessario configurare le infra-vlan e il routing di backup del sistema.

Errore di uplink su uno switch foglia in vPC

In questo caso di utilizzo, l'host finale (host A) all'interno della struttura ha una doppia sede per entrambi gli switch foglia Cisco Nexus 9000 VXLAN in un dominio vPC. Tuttavia, in caso di guasto di tutti gli uplink su uno degli switch Leaf in vPC in grado di isolarlo completamente dagli switch Spine, il sistema nve infra-vlan e il routing di backup sono richiesti per il traffico che attraversi il collegamento peer vPC che è ora l'unico percorso possibile verso il dorso. Ad esempio, il diagramma mostra come il traffico dell'host A abbia eseguito l'hashing del proprio frame allo switch isolato Foglia A. Il frame deve ora attraversare il collegamento peer vPC.

Switch Border Leaf in vPC

Gli switch Border Leaf che forniscono connettività dal fabric VXLAN tramite lo scambio di prefissi di rete con router esterni, possono essere installati nel vPC.

Questa connettività ai router esterni può essere vista astrattamente come connettività alla WAN.

In caso di errore del collegamento, gli switch Border Leaf con connettività alla WAN potrebbero avere una singola connessione. In questo caso, per consentire al traffico di attraversare il collegamento peer vPC, è necessario configurare le infra-vlan del sistema e il routing di backup, come mostrato nello schema successivo.

Nota: Per gli esempi seguenti, in aggiunta alla VLAN nella tabella di routing globale, deve essere presente una parte VLAN della VRF del tenant che basa lo scambio di prefissi di rete con l'uso di route statiche o di un protocollo di routing tra gli switch Border Leaf sul collegamento peer vPC. Questa operazione è necessaria per popolare la tabella di routing Tenant-VRF.

Gli switch Border Leaf possono anche annunciare i loopback dell'interfaccia sul collegamento peer vPC utilizzando route statiche o un protocollo di routing istanziato in un tenant-VRF. Il traffico verrà trasferito anche tramite il collegamento peer vPC.

Infine, i router esterni collegati da una singola rete domestica agli switch Border Leaf possono annunciare i prefissi di rete che possono essere richiesti per avere il collegamento peer vPC nel percorso del traffico di rete, come mostrato nel diagramma successivo.

Nodo bug

Nel caso di utilizzo di un nodo bud, è possibile collegare un VTEP basato su hardware o software agli switch foglia VXLAN Cisco Nexus 9000. Questo VTEP può inviare agli switch foglia VXLAN traffico incapsulato. La VLAN utilizzata per la connettività con questo VTEP hardware o software deve essere aggiunta al comando system nve infra-vlan.

In questo caso, oltre alla VLAN 77, è la VLAN 10.

Configurazione

In questo scenario, FOGLIA A e FOGLIA B sono VTEP in vPC.

La Vlan 777 è stata scelta per partecipare al protocollo di routing sottostante, in questo caso Open Shortest Path First (OSPF).

Su ciascuno switch LEAF A e LEAF B, OSPF ha formato un'adiacenza con lo switch SPINE sull'uplink e tra di essi sul collegamento peer vPC.

OSPF o Intermediate System-to-Intermediate System (IS-IS) può essere il protocollo di routing in uso nell'underlay.

Nota: nella sezione di configurazione della vlan 777 non è configurato alcun comando vn-segment. Ciò significa che la vlan non è estesa sul fabric VXLAN e che è locale sugli switch.

Aggiungere il comando system nve infra-vlan in modalità di configurazione globale e scegliere la vlan 777 perché è la vlan utilizzata per la adiacenza OSPF sottostante.

Nota: Le infra-vlan del sistema nve sono richieste solo su Nexus 9000 con CloudScale ASIC (Tahoe) come Nexus 9300 che termina in EX, FX e FX2.

FOGLIA A

LEAF_A# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          00:02:52 10.255.255.254  Eth1/6

10.255.255.2      1 FULL/ -          02:16:10 10.1.2.2        Vlan777

LEAF_A#

LEAF_A# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:48:46 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_A#

LEAF_A# show running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:46:33 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_A#

LEAF_A# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_A(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_A(config)# system nve infra-vlans 777

LEAF_A(config)#

FOGLIA B

LEAF_B# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          02:21:53 10.255.255.254  Eth1/5

10.255.255.1      1 FULL/ -          02:13:51 10.1.2.1        Vlan777

LEAF_B#

LEAF_B# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:49:19 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_B#

LEAF_B# sh running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:48:14 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_B#

LEAF_B# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_B(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_B(config)# system nve infra-vlans 777

LEAF_B(config)#

Nota: Non è necessario configurare alcune combinazioni di infra VLAN. Ad esempio, 2 e 514, 10 e 522, che sono distanti 512.

Esempio di rete

Configurazioni

FOGLIA A

configure terminal

!

hostname LEAF_A

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.99 source 10.82.140.98 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/6

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/54

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.1.1.1/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.1/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.1

!

router bgp 65535

router-id 10.255.255.1

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

FOGLIA B

configure terminal

!

hostname LEAF_B

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.98 source 10.82.140.99 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/5

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.2.2.2/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.2/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.2

!

router bgp 65535

router-id 10.255.255.2

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

FOGLIA C

configure terminal

!

hostname LEAF_C

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/1

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/49

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.3.3.3/32

ip router ospf 1 area 0.0.0.0

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.3/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.3

!

router bgp 65535

router-id 10.255.255.3

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

DORSO

configure terminal

!

hostname SPINE

!

nv overlay evpn

feature ospf

feature bgp

feature nv overlay

!

interface Ethernet1/5

description TO LEAF A

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/6

description TO LEAF B

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/1

description TO LEAF C

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.254/32

ip router ospf 1 area 0.0.0.0

!

router ospf 1

router-id 10.255.255.254

!

router bgp 65535

router-id 10.255.255.254

address-family ipv4 unicast

address-family l2vpn evpn

retain route-target all

neighbor 10.255.255.1

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.2

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.3

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

!

end

Verifica

Eseguire il comando show system nve infra-vlan e verificare che la vlan sia visualizzata in Vlan infra attualmente attive.

FOGLIA A

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#

FOGLIA B

LEAF_B# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_B#

Nota: Si consiglia di usare le interfacce fisiche di layer 3 come uplink per trasportare il traffico VXLAN nella struttura. Le sottointerfacce di layer 3 non sono supportate. Per usare le vlan di interfaccia per trasportare il traffico VXLAN, verificare che la vlan sia identificata anche con il sistema di comando nve infra-vlan sul collegamento peer vPC.

Risoluzione dei problemi

Nel caso in cui lo switch LEAF A soffra di un errore di uplink e non si connetta più direttamente allo switch SPINE, è comunque possibile raggiungere la porta usando l'infra-vlan sul collegamento peer vPC usato come uplink di backup verso lo switch SPINE.

FOGLIA A

LEAF_A# show mac address-table vlan 10

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan

VLAN     MAC Address      Type      age     Secure NTFY Ports

---------+-----------------+--------+---------+------+----+------------------

*   10     0000.0000.000a   dynamic  0         F      F    Eth1/54

C   10     0000.0000.000b   dynamic  0         F      F    nve1(10.3.3.3)

G   10     00be.755b.f1b7   static   -         F      F    sup-eth1(R)

G   10     4c77.6db9.a8db   static   -         F      F    vPC Peer-Link(R)

LEAF_A#

LEAF_A# show ip route 10.3.3.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.3.3.3/32, ubest/mbest: 1/0

*via 10.1.2.2, Vlan777, [110/49], 00:01:39, ospf-1, intra

LEAF_A#

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#