Contenu

Introduction

Conditions préalables

Conditions requises

Components Used

Scénarios :

Port orphelins sur un commutateur leaf dans vPC

Défaillance de la liaison ascendante sur un commutateur leaf dans vPC

Commutateurs leaf en limite dans vPC

Noeud de bourgeon

Configuration

Diagramme du réseau

Configurations

Vérification

Dépannage

Introduction

Ce document décrit l'objectif de la commande system nve infra-vlan dans les fabrics VPN Ethernet (VXLAN BGP EVPN) Virtual Extensible LAN Border Gateway Protocol basés sur les commutateurs Cisco Nexus 9000 qui exécutent le système d'exploitation NX-OS.

Lorsque les commutateurs Nexus 9000 sont configurés en tant que commutateurs leaf VXLAN également connus sous le nom de points d'extrémité de tunnel VXLAN (VTEP) dans le domaine vPC (Virtual Port Channel), vous devez disposer d'une contiguïté de routage de couche 3 de sauvegarde entre eux sur la liaison homologue vPC avec l'utilisation d'un VLAN d'interface. Ce VLAN doit être local aux commutateurs, et non étendu sur le fabric VXLAN, et appartient au VRF par défaut (Global Routing Table).

Assurez-vous que la commande system nve infra-vlan est en place sur les plates-formes Nexus 9000 avec CloudScale ASIC (Tahoe) comme les commutateurs Nexus 9300 qui se terminent par EX, FX et FX2 pour spécifier que le VLAN peut agir comme une liaison ascendante et transférer correctement les trames avec encapsulation VXLAN sur le vPC de liaison.

Note: Ce document ne s'applique pas aux commutateurs Cisco Nexus 9000 qui s'exécutent en mode ACI (Application Centric Infrastructure) et sont gérés par le contrôleur Cisco Application Policy Infrastructure Controller (APIC).

Conditions préalables

Conditions requises

Cisco vous recommande de prendre connaissance des rubriques suivantes :

- Logiciel Nexus NX-OS

- EVPN BGP VXLAN

Components Used

Les informations contenues dans ce document sont basées sur les versions de matériel et de logiciel suivantes :

- Cisco N9K-C93180YC-EX

- NXOS version 7.0(3)I7(6)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Note: Ce document utilise les termes Commutateur leaf, VTEP et ToR de manière interchangeable.

Scénarios :

Les exemples d'utilisation suivants indiquent quand il est nécessaire de configurer la commande system nve infra-vlans. Dans tous ces cas, le VLAN 777 alloué doit être défini comme faisant partie de la commande system nve infra-vlan et être utilisé pour instancier une contiguïté de sauvegarde de routage de couche 3 sur la liaison homologue vPC. Ce VLAN 777 doit faire partie du VRF par défaut (Global Routing Table).

Note: Ces exemples d'utilisation décrivent le scénario commun d'un hôte final ou de routeurs physiquement connectés directement aux commutateurs leaf ou leaf VXLAN Cisco Nexus 9000. De même, ces cas d'utilisation s'appliquent dans le cas d'un commutateur ou d'un pont de couche 2 entre les commutateurs leaf du Nexus 9000 et l'hôte final ou les routeurs.

Port orphelins sur un commutateur leaf dans vPC

Ce cas d'utilisation illustre un hôte final à l'intérieur du fabric (Hôte-A) connecté à un seul commutateur leaf Cisco Nexus 9000 VXLAN faisant partie d'un domaine vPC. Il s'agit d'une connexion au port d'orphelins. Dans le cadre du routage, le trafic généré par un hôte final connecté à tout autre commutateur leaf dans la structure est destiné, dans la sous-couche, à l'adresse IP Anycast NVE (10.12.12.12) qui appartient simultanément aux deux commutateurs leaf dans vPC (leaf de commutateur A et leaf de commutateur B). Ceci permet de tirer parti de toutes les liaisons ascendantes Leaf-to-Spine avec l'utilisation du routage ECMP (Equal Cost Multi-Path). Dans ce scénario, après avoir traversé la colonne vertébrale, les trames VXLAN destinées à l'hôte A peuvent se frayer un chemin vers la feuille B qui n'a aucune connexion directe à l'hôte A. Le système intègre des infra-vlan et le routage de sauvegarde est requis pour que le trafic traverse la liaison homologue vPC.

Défaillance de la liaison ascendante sur un commutateur leaf dans vPC

Dans ce cas d'utilisation, l'hôte d'extrémité (hôte A) du fabric est hébergé en double sur les deux commutateurs leaf Cisco Nexus 9000 VXLAN dans un domaine vPC. Cependant, en cas de défaillance de toutes les liaisons ascendantes sur n'importe quel commutateur Leaf dans vPC qui peut l'isoler complètement des commutateurs Spine, le système utilise des infra-vlan et le routage de secours pour que le trafic traverse la liaison homologue vPC, qui est désormais le seul chemin possible vers le Spine. Par exemple, le schéma montre que le trafic de l’hôte A a haché sa trame vers la feuille de commutateur A isolée. La trame doit maintenant traverser la liaison homologue vPC.

Commutateurs leaf en limite dans vPC

Les commutateurs de périphérie qui fournissent une connectivité à partir du fabric VXLAN par l'échange de préfixes réseau avec des routeurs externes peuvent être dans vPC.

Cette connectivité aux routeurs externes peut être vue de manière abstraite comme une connectivité au WAN.

En cas de défaillance de liaison, les commutateurs de périphérie avec connectivité au WAN peuvent se retrouver à résidence unique. Dans ce cas, le système utilise des infra-vlan et le routage de sauvegarde est requis pour que le trafic traverse la liaison homologue vPC comme indiqué dans le schéma suivant.

Note: Pour les exemples suivants, en plus du VLAN de la table de routage globale, il doit y avoir une partie VLAN du VRF du locataire qui base l'échange de préfixes réseau avec l'utilisation de routes statiques ou d'un protocole de routage entre les commutateurs de périphérie sur la liaison homologue vPC. Cette opération est requise pour remplir la table de routage du VRF du locataire.

Les commutateurs de périphérie peuvent également annoncer des bouclages d'interface sur la liaison homologue vPC avec l'utilisation de routes statiques ou d'un protocole de routage instancié dans un VRF locataire. Ce trafic sera également transporté sur la liaison homologue vPC.

Enfin, les routeurs externes à domicile connectés aux commutateurs de périphérie peuvent annoncer des préfixes réseau qui peuvent être nécessaires pour que la liaison homologue vPC se trouve dans le chemin du trafic réseau, comme le montre le schéma suivant.

Noeud de bourgeon

Dans le cas de l'utilisation du noeud Bud, il peut y avoir un VTEP matériel ou logiciel connecté aux commutateurs Leaf Cisco Nexus 9000 VXLAN. Ce VTEP peut envoyer au trafic encapsulé VXLAN des commutateurs leaf. Le VLAN utilisé pour la connectivité avec ce VTEP matériel ou logiciel doit être ajouté à la commande system nve infra-vlans.

Dans ce cas, il s’agit du VLAN 10 en plus du VLAN 777.

Configuration

Dans ce scénario, LEAF A et LEAF B sont des VTEP dans vPC.

Le VLAN 777 a été choisi pour participer au protocole de routage sous-jacent qui, dans ce cas, est OSPF (Open Shortest Path First).

Sur chaque commutateur LEAF A et LEAF B, OSPF a formé une contiguïté avec le commutateur SPINE sur la liaison ascendante et entre eux sur la liaison homologue vPC.

OSPF ou IS-IS (Intermediate System-to-Intermediate System) peut être le protocole de routage utilisé dans la sous-couche.

Note: Aucune commande vn-segment n'est configurée sous la section de configuration vlan 777. Cela indique que le VLAN n'est pas étiré sur le fabric VXLAN et qu'il est local dans les commutateurs.

Ajoutez la commande system nve infra-vlans en mode de configuration globale et choisissez vlan 777 car il s'agit du vlan utilisé pour la contiguïté OSPF sous-jacente.

Note: Le système nve infra-vlan n'est requis que sur le Nexus 9000 avec CloudScale ASIC (Tahoe) comme le Nexus 9300 qui se termine par EX, FX et FX2.

FEUILLE A

LEAF_A# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          00:02:52 10.255.255.254  Eth1/6

10.255.255.2      1 FULL/ -          02:16:10 10.1.2.2        Vlan777

LEAF_A#

LEAF_A# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:48:46 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_A#

LEAF_A# show running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:46:33 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_A#

LEAF_A# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_A(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_A(config)# system nve infra-vlans 777

LEAF_A(config)#

FEUILLE B

LEAF_B# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          02:21:53 10.255.255.254  Eth1/5

10.255.255.1      1 FULL/ -          02:13:51 10.1.2.1        Vlan777

LEAF_B#

LEAF_B# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:49:19 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_B#

LEAF_B# sh running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:48:14 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_B#

LEAF_B# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_B(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_B(config)# system nve infra-vlans 777

LEAF_B(config)#

Note: Vous ne devez pas configurer certaines combinaisons d’infra-VLAN. Par exemple, 2 et 514, 10 et 522, qui sont séparés par 512.

Diagramme du réseau

Configurations

FEUILLE A

configure terminal

!

hostname LEAF_A

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.99 source 10.82.140.98 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/6

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/54

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.1.1.1/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.1/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.1

!

router bgp 65535

router-id 10.255.255.1

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

FEUILLE B

configure terminal

!

hostname LEAF_B

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.98 source 10.82.140.99 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/5

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.2.2.2/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.2/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.2

!

router bgp 65535

router-id 10.255.255.2

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

FEUILLE C

configure terminal

!

hostname LEAF_C

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/1

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/49

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.3.3.3/32

ip router ospf 1 area 0.0.0.0

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.3/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.3

!

router bgp 65535

router-id 10.255.255.3

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

ESPÈCE

configure terminal

!

hostname SPINE

!

nv overlay evpn

feature ospf

feature bgp

feature nv overlay

!

interface Ethernet1/5

description TO LEAF A

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/6

description TO LEAF B

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/1

description TO LEAF C

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.254/32

ip router ospf 1 area 0.0.0.0

!

router ospf 1

router-id 10.255.255.254

!

router bgp 65535

router-id 10.255.255.254

address-family ipv4 unicast

address-family l2vpn evpn

retain route-target all

neighbor 10.255.255.1

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.2

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.3

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

!

end

Vérification

Exécutez la commande show system nve infra-vlan et assurez-vous que le vlan est affiché sous Vlan infra actuellement actifs.

FEUILLE A

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#

FEUILLE B

LEAF_B# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_B#

Note: Les interfaces physiques de couche 3 sont la recommandation à utiliser comme liaisons ascendantes pour transporter le trafic VXLAN dans le fabric. Les sous-interfaces de couche 3 ne sont pas prises en charge. Pour utiliser des VLAN d'interface pour transporter le trafic VXLAN, assurez-vous que le VLAN est également identifié avec le système de commande nve infra-vlan sur la liaison homologue vPC.

Dépannage

Dans le cas où LEAF Un commutateur souffre d'une défaillance de liaison ascendante et ne se connecte plus directement au commutateur SPINE, l'accessibilité peut toujours être réalisée avec l'infra-vlan via la liaison homologue vPC utilisée comme liaison ascendante de secours vers le commutateur SPINE.

FEUILLE A

LEAF_A# show mac address-table vlan 10

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan

VLAN     MAC Address      Type      age     Secure NTFY Ports

---------+-----------------+--------+---------+------+----+------------------

*   10     0000.0000.000a   dynamic  0         F      F    Eth1/54

C   10     0000.0000.000b   dynamic  0         F      F    nve1(10.3.3.3)

G   10     00be.755b.f1b7   static   -         F      F    sup-eth1(R)

G   10     4c77.6db9.a8db   static   -         F      F    vPC Peer-Link(R)

LEAF_A#

LEAF_A# show ip route 10.3.3.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.3.3.3/32, ubest/mbest: 1/0

*via 10.1.2.2, Vlan777, [110/49], 00:01:39, ospf-1, intra

LEAF_A#

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#