Configuration de L3out intersite avec fabric multisite ACI

Introduction

Ce document décrit les étapes de la configuration L3out intersite avec le fabric multisite ACI (Application Centric Infrastructure) de Cisco.

Conditions préalables

Conditions requises

Cisco vous recommande de prendre connaissance des rubriques suivantes :

• Configuration de fabric multisite ACI fonctionnelle
• Routeur/connectivité externe

Components Used

Les informations contenues dans ce document sont basées sur :

• Multi-Site Orchestrator (MSO) version 2.2(1) ou ultérieure

• ACI version 4.2(1) ou ultérieure

• Noeuds MSO
• Fabricants ACI
• Commutateur de la gamme Nexus 9000 (N9K) (simulation de périphérique externe L3out et hôte final)
• Commutateur de la gamme Nexus 9000 (N9K) (ISN (Inter-Site Network))

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Informations générales

Schémas pris en charge pour la configuration intersite L3out

Schema-config1

• Locataire étendu entre les sites (A et B).
• Routage et transfert virtuels (VRF) étendu entre les sites (A et B).
• Groupe de terminaux (EPG)/domaine de pont (BD) local à un site (A).
• L3out local à un autre site (B).
• EPG externe de L3out local au site (B).
• Création et configuration du contrat à partir de MSO.

Schema-config2

• Locataire étendu entre les sites (A et B).
• VRF étendu entre les sites (A et B).

• EPG/BD étiré entre les sites (A et B).
• L3out local à un site (B).
• EPG externe de L3out local au site (B).
• La configuration du contrat peut être effectuée à partir de MSO, ou chaque site a créé un contrat local à partir du contrôleur APIC (Application Policy Infrastructure Controller) et est relié localement entre l'EPG étiré et l'EPG externe L3out. Dans ce cas, shadow External_EPG apparaît sur le site A car il est nécessaire pour les relations de contrat et les implémentations de politiques locales.

Schema-config3

• Locataire étendu entre les sites (A et B).
• VRF étendu entre les sites (A et B).

• EPG/BD étiré entre les sites (A et B).
• L3out local à un site (B).
• EPG externe de L3out étendu entre les sites (A et B).
• La configuration du contrat peut être effectuée à partir de MSO, ou chaque site a la création du contrat local à partir de APIC et est relié localement entre le groupe de terminaux étendu et le groupe de terminaux externe étendu.

Schema-config4

• Locataire étendu entre les sites (A et B).
• VRF étendu entre les sites (A et B).

• EPG/BD local à un site (A) ou EPG/BD local à chaque site (EPG-A sur le site A et EPG-B sur le site B).
• L3out local à un site (B), ou pour la redondance vers la connectivité externe, vous pouvez avoir L3out local à chaque site (local au site A et local au site B).
• EPG externe de L3out étendu entre les sites (A et B).
• La configuration des contrats peut être effectuée à partir de MSO ou chaque site a la création de contrats locaux à partir de APIC et est relié localement entre EPG étiré et EPG externe étiré.

Schema-config5 (routage de transit)

• Locataire étendu entre les sites (A et B).
• VRF étendu entre les sites (A et B).

• L3out local à chaque site (local au site A et local au site B).
• EPG externe de local à chaque site (A et B).
• La configuration du contrat peut être effectuée à partir de MSO ou chaque site a la création du contrat local à partir de APIC et est relié localement entre EPG local externe et EPG externe secondaire local.

Schema-config5 (InterVRF Transit Routing)

• Locataire étendu entre les sites (A et B).
• VRF local à chaque site (A et B).

• L3out local à chaque site (local au site A et local au site B).
• EPG externe de local à chaque site (A et B).
• La configuration du contrat peut être effectuée à partir de MSO ou chaque site a la création du contrat local à partir de APIC et est relié localement entre EPG local externe et EPG externe secondaire local.

Remarque : ce document fournit les étapes de configuration et de vérification de base de la sortie L3out intersite. Dans cet exemple, Schema-config1 est utilisé.

Configuration

Diagrammes du réseau

Topologie physique

Topologie logique

Configurations

Dans cet exemple, nous utilisons Schema-config1. Cependant, cette configuration peut être effectuée de la même manière (avec des modifications mineures selon la relation de contrat) pour d'autres configurations de schéma prises en charge, sauf que l'objet étiré doit se trouver dans le modèle étiré au lieu du modèle de site spécifique.

Configuration de Schema-config1

• Locataire étendu entre les sites (A et B).
• VRF étendu entre les sites (A et B).
• EPG/BD local à un site (A).
• L3out local à un autre site (B).
• EPG externe de L3out local au site (B).
• Création et configuration de contrats à partir de MSO.
  Examinez les Lignes directrices et les limites de L3Out intersite.

• Configuration non prise en charge avec L3out intersite :

  • Récepteurs de multidiffusion dans un site qui reçoit la multidiffusion d'une source externe via un autre site L3out. La multidiffusion reçue dans un site à partir d'une source externe n'est jamais envoyée à d'autres sites. Lorsqu'un récepteur d'un site reçoit la multidiffusion d'une source externe, il doit être reçu sur un L3out local.

  • Une source de multidiffusion interne envoie une multidiffusion à un récepteur externe avec PIM-SM any source multicast (ASM). Une source de multidiffusion interne doit être en mesure d'atteindre un point de rendez-vous externe (RP) à partir d'une sortie L3 locale.

  • Tissu OverLay géant (GOLF).

  • Groupes favoris pour EPG externe.

Configurer les stratégies de fabric

Les politiques de fabric de chaque site sont une configuration essentielle, car ces configurations de stratégie sont liées à des connexions physiques locataire/EPG/port statique spécifiques ou L3out. Toute erreur de configuration avec les stratégies de fabric peut entraîner une défaillance de la configuration logique à partir d'APIC ou de MSO, d'où la configuration de la stratégie de fabric fournie qui a été utilisée dans une configuration de TP. Il aide à comprendre quel objet est lié à quel objet dans MSO ou APIC.

Stratégies de fabric de connexion de l'hôte A sur le site A

Stratégies de fabric de connexion L3out sur le site B

Étape facultative

Une fois que vous avez mis en place des stratégies de fabric pour les connexions respectives, vous pouvez vous assurer que toutes les feuilles/épines sont détectées et accessibles à partir du cluster APIC respectif. Ensuite, vous pouvez valider que les deux sites (clusters APIC) sont accessibles depuis MSO et que la configuration multisite est opérationnelle (et la connectivité IPN).

Configurer RTEP/ETEP

Le pool de terminaux de tunnel routable (RTEP) ou ETEP (Externe Tunnel Endpoint Pool) est la configuration requise pour la sortie L3 intersite. L'ancienne version de MSO affiche « Pools TEP routables » tandis que la nouvelle version de MSO affiche « Pools TEP externes », mais les deux sont synonymes. Ces pools TEP sont utilisés pour le VPN Ethernet (EVPN) BGP (Border Gateway Protocol) via VRF « Overlay-1 ».

Les routes externes de L3out sont annoncées via l'EVPN BGP vers un autre site. Ce RTEP/ETEP est également utilisé pour la configuration Leaf distante. Par conséquent, si vous avez une configuration ETEP/RTEP qui existe déjà dans APIC, elle doit être importée dans MSO.

Voici les étapes à suivre pour configurer ETEP à partir de l'interface utilisateur de MSO. Etant donné que la version est 3.X MSO, elle affiche ETEP. Les pools ETEP doivent être uniques sur chaque site et ne doivent pas chevaucher un sous-réseau EPG/BD interne de chaque site.

Site A

Étape 1. Dans la page GUI de MSO (ouvrez le contrôleur multisite dans une page Web), sélectionnez Infrastructure > Configuration infrarouge. Cliquez sur Configurer Infra. 

Étape 2. À l'intérieur de Configure Infra, choisissez Site-A, Site intérieur-A, choisissez pod-1. Ensuite, dans pod-1, configurez les pools TEP externes avec l'adresse IP TEP externe pour le site A. (Dans cet exemple, il s'agit de 192.168.200.0/24). Si vous avez Multi-POD dans Site-A, répétez cette étape pour les autres pods. 

Étape 3. Afin de vérifier la configuration des pools ETEP dans l'interface utilisateur graphique APIC, choisissez Fabric > Inventory > Pod Fabric Setup Policy > Pod-ID (double-cliquez pour ouvrir [Fabric Setup Policy a POD-Pod-x]) > External TEP.

Vous pouvez également vérifier la configuration à l'aide des commandes suivantes :

moquery -c fabricExtRoutablePodSubnet
moquery -c fabricExtRoutablePodSubnet -f 'fabric.ExtRoutablePodSubnet.pool=="192.168.200.0/24"'

APIC1# moquery -c fabricExtRoutablePodSubnet
Total Objects shown: 1
# fabric.ExtRoutablePodSubnet
pool                 : 192.168.200.0/24
annotation           : orchestrator:msc
childAction          : 
descr                : 
dn                   : uni/controller/setuppol/setupp-1/extrtpodsubnet-[192.168.200.0/24]
extMngdBy            : 
lcOwn                : local
modTs                : 2021-07-19T14:45:22.387+00:00
name                 : 
nameAlias            : 
reserveAddressCount  : 0
rn                   : extrtpodsubnet-[192.168.200.0/24]
state                : active
status               : 
uid                  : 0

Site B

Étape 1. Configurez le pool TEP externe pour le site B (les mêmes étapes que pour le site A). Dans la page GUI de MSO (ouvrez le contrôleur multisite dans une page Web), sélectionnez Infrastructure > Configuration infrarouge. Cliquez sur Configurer l'infrastructure. À l'intérieur de Configure Infra, sélectionnez Site-B. Dans le site B, sélectionnez pod-1. Ensuite, dans pod-1, configurez les pools TEP externes avec l'adresse IP TEP externe pour le site-B. (Dans cet exemple, il s'agit de 192.168.100.0/24). Si vous avez Multi-POD dans le site B, répétez cette étape pour les autres pods.

Étape 2. Afin de vérifier la configuration des pools ETEP dans l'interface utilisateur graphique APIC, choisissez Fabric > Inventory > Pod Fabric Setup Policy > Pod-ID (double-cliquez pour ouvrir [Fabric Setup Policy a POD-Pod-x]) > External TEP.

Pour l'APIC de site-B, entrez cette commande afin de vérifier le pool d'adresses ETEP. 

apic1# moquery -c fabricExtRoutablePodSubnet -f 'fabric.ExtRoutablePodSubnet.pool=="192.168.100.0/24"'
Total Objects shown: 1
# fabric.ExtRoutablePodSubnet
pool                 : 192.168.100.0/24
annotation           : orchestrator:msc  <<< This means, configuration pushed from MSO. 
childAction          : 
descr                : 
dn                   : uni/controller/setuppol/setupp-1/extrtpodsubnet-[192.168.100.0/24]
extMngdBy            : 
lcOwn                : local
modTs                : 2021-07-19T14:34:18.838+00:00
name                 : 
nameAlias            : 
reserveAddressCount  : 0
rn                   : extrtpodsubnet-[192.168.100.0/24]
state                : active
status               : 
uid                  : 0

Configurer le locataire d'extension

Étape 1. Dans l'interface utilisateur graphique de MSO, sélectionnez Gestion des applications > Locataires.  Cliquez sur Ajouter un locataire. Dans cet exemple, le nom du client est « TN_D ». 

Étape 2. Dans le champ Display Name, saisissez le nom du locataire. Dans la section Sites associés, cochez les cases Site A et Site B.

Étape 3. Vérifiez que le nouveau locataire « Tn_D » est créé. 

Vue logique

Lorsque nous créons un locataire à partir de MSO, il crée essentiellement un locataire sur les sites A et B. C'est un locataire extensible. Une vue logique de ce locataire est présentée dans cet exemple. Cette vue logique aide à comprendre que TN_D du locataire est un locataire étendu entre Site-A et Site-B.

Vous pouvez vérifier la vue logique dans l'APIC de chaque site. Vous pouvez voir que le site A et le site B affichent tous deux le locataire TN_D créé. 

Le même locataire étendu « TN_D » est également créé sur le site B.

Cette commande montre le locataire poussé depuis MSO et vous pouvez l'utiliser à des fins de vérification. Vous pouvez exécuter cette commande dans l'APIC des deux sites. 

APIC1# moquery -c fvTenant -f 'fv.Tenant.name=="TN_D"'
Total Objects shown: 1
# fv.Tenant
name         : TN_D
annotation   : orchestrator:msc
childAction  : 
descr        : 
dn           : uni/tn-TN_D
extMngdBy    : msc
lcOwn        : local
modTs        : 2021-09-17T21:42:52.218+00:00
monPolDn     : uni/tn-common/monepg-default
nameAlias    : 
ownerKey     : 
ownerTag     : 
rn           : tn-TN_D
status       : 
uid          : 0

apic1# moquery -c fvTenant -f 'fv.Tenant.name=="TN_D"'
Total Objects shown: 1
# fv.Tenant
name         : TN_D
annotation   : orchestrator:msc
childAction  : 
descr        : 
dn           : uni/tn-TN_D
extMngdBy    : msc
lcOwn        : local
modTs        : 2021-09-17T21:43:04.195+00:00
monPolDn     : uni/tn-common/monepg-default
nameAlias    : 
ownerKey     : 
ownerTag     : 
rn           : tn-TN_D
status       : 
uid          : 0

Configurer le schéma

Ensuite, créez un schéma qui a un total de trois modèles :

1. Modèle pour Site-A : Le modèle de Site-A s'associe uniquement au Site-A. Par conséquent, toute configuration d'objet logique dans ce modèle ne peut être appliquée qu'à l'APIC de Site-A. 
2. Modèle pour Site-B : Le modèle de Site-B s'associe uniquement au Site-B. Par conséquent, toute configuration d'objet logique dans ce modèle ne peut être appliquée qu'à l'APIC de Site-B.
3. Modèle étiré : Le modèle étiré est associé aux deux sites et toute configuration logique dans le modèle étiré peut être appliquée aux deux sites des cartes APIC. 

Créer le schéma

Le schéma est significatif localement dans MSO, il ne crée aucun objet dans APIC. La configuration de schéma est la séparation logique de chaque configuration. Vous pouvez avoir plusieurs schémas pour les mêmes locataires, et vous pouvez également avoir plusieurs modèles dans chaque schéma.

Par exemple, vous pouvez avoir un schéma pour le serveur de base de données pour le locataire X et le serveur d'applications utilise un schéma différent pour le même locataire-X. Cela peut aider à séparer chaque configuration spécifique liée à une application et est facile lorsque vous avez besoin de déboguer un problème. Il est également facile de trouver des informations.

Créez un schéma avec le nom du locataire (par exemple, TN_D_Schema). Cependant, il n'est pas nécessaire que le nom du schéma commence par le nom du locataire, vous pouvez créer un schéma avec n'importe quel nom. 

Étape 1. Choisissez Gestion des applications > Schémas. Cliquez sur Ajouter un schéma.

Étape 2. Dans le champ Nom, saisissez le nom du schéma. Dans cet exemple, il s'agit de « TN_D_Schema », mais vous pouvez conserver n'importe quel nom approprié à votre environnement. Cliquez sur Add.

Étape 3. Vérifiez que le schéma « TN_D_Schema » a été créé. 

Créer un modèle de site A

Étape 1. Ajoutez un modèle dans le schéma.

1. Pour créer un modèle, cliquez sur Modèles sous le schéma que vous avez créé. La boîte de dialogue Sélectionner un type de modèle s'affiche.
2. Choisissez ACI Multi-Cloud.
3. Cliquez sur Add.

Étape 2. Entrez un nom pour le modèle. Ce modèle est spécifique au Site-A, d'où le nom de modèle « Modèle du Site-A ». Une fois le modèle créé, vous pouvez associer un locataire spécifique au modèle. Dans cet exemple, le locataire « TN_D » est joint. 

Configurer le modèle

Configuration du profil d'application

Étape 1. Dans le schéma que vous avez créé, sélectionnez Modèle de site A. Cliquez sur Ajouter un profil d'application. 

Étape 2. Dans le champ Display Name, saisissez le nom du profil d'application App_Profile.

Étape 3. L'étape suivante consiste à créer EPG. Afin d'ajouter EPG sous le profil d'application, cliquez sur Ajouter EPG sous le modèle Site-A. Vous pouvez voir qu'un nouveau EPG est créé dans la configuration EPG.

Étape 4. Pour joindre EPG avec BD et VRF, vous devez ajouter BD et VRF sous EPG. Sélectionnez Modèle Site-A. Dans le champ Display Name, saisissez le nom de l'EPG et joignez un nouveau BD (vous pouvez créer un nouveau BD ou joindre un BD existant). 

Notez que vous devez fixer le VRF à un BD, mais le VRF est étiré dans ce cas. Vous pouvez créer le modèle étiré avec VRF étiré, puis attacher ce VRF à BD sous le modèle spécifique au site (dans notre cas, il s'agit du modèle Site-A). 

Créer un modèle d'étirement

Étape 1. Afin de créer le modèle d'extension, sous TN_D_Schema, cliquez sur Modèles. La boîte de dialogue Sélectionner un type de modèle s'affiche. Choisissez ACI Multi-Cloud. Cliquez sur Add. Entrez le nom Modèle étiré pour le modèle. (Vous pouvez entrer n'importe quel nom pour le modèle étiré.)

Étape 2. Choisissez Stretched Template et créez un VRF avec le nom VRF_Stretch. (Vous pouvez saisir n'importe quel nom pour VRF.)

BD a été créé avec la création EPG sous Site-A Template, mais il n'y avait pas de VRF attaché, donc vous devez joindre VRF qui est maintenant créé dans le Stretched Template. 

Étape 3. Choisissez Site-A Template > BD_990. Dans la liste déroulante Routage et transfert virtuels, sélectionnez VRF_Stretch. (Celui que vous avez créé à l'étape 2 de cette section.)

Joindre le modèle

L'étape suivante consiste à joindre le modèle de site A avec site A uniquement, et le modèle étiré doit être attaché aux deux sites. Cliquez sur Déployer vers le site dans le schéma afin de déployer des modèles vers les sites respectifs. 

Étape 1. Cliquez sur le signe + sous TN_D_Schema > SITES pour ajouter des sites au modèle. Dans la liste déroulante Affecter au modèle, sélectionnez le modèle correspondant pour les sites appropriés.

Étape 2. Vous pouvez voir que Site-A a EPG et BD maintenant créé mais Site-B n'a pas le même EPG/BD créé parce que cette configuration s'applique uniquement au Site-A de MSO. Cependant, vous pouvez voir que le VRF est créé dans le modèle étiré et qu'il est donc créé dans les deux sites. 

Étape 3. Vérifiez la configuration à l’aide de ces commandes.

APIC1# moquery -c fvAEPg -f 'fv.AEPg.name=="EPG_990"'
Total Objects shown: 1
# fv.AEPg
name                 : EPG_990
annotation           : orchestrator:msc
childAction          : 
configIssues         : 
configSt             : applied
descr                : 
dn                   : uni/tn-TN_D/ap-App_Profile/epg-EPG_990
exceptionTag         : 
extMngdBy            : 
floodOnEncap         : disabled
fwdCtrl              : 
hasMcastSource       : no
isAttrBasedEPg       : no
isSharedSrvMsiteEPg  : no
lcOwn                : local
matchT               : AtleastOne
modTs                : 2021-09-18T08:26:49.906+00:00
monPolDn             : uni/tn-common/monepg-default
nameAlias            : 
pcEnfPref            : unenforced
pcTag                : 32770
prefGrMemb           : exclude
prio                 : unspecified
rn                   : epg-EPG_990
scope                : 2850817
shutdown             : no
status               : 
triggerSt            : triggerable
txId                 : 1152921504609182523
uid                  : 0

APIC1# moquery -c fvBD -f 'fv.BD.name=="BD_990"'
Total Objects shown: 1
# fv.BD
name                     : BD_990
OptimizeWanBandwidth     : yes
annotation               : orchestrator:msc
arpFlood                 : yes
bcastP                   : 225.0.56.224
childAction              : 
configIssues             : 
descr                    : 
dn                       : uni/tn-TN_D/BD-BD_990
epClear                  : no
epMoveDetectMode         : 
extMngdBy                : 
hostBasedRouting         : no
intersiteBumTrafficAllow : yes
intersiteL2Stretch       : yes
ipLearning               : yes
ipv6McastAllow           : no
lcOwn                    : local
limitIpLearnToSubnets    : yes
llAddr                   : ::
mac                      : 00:22:BD:F8:19:FF
mcastAllow               : no
modTs                    : 2021-09-18T08:26:49.906+00:00
monPolDn                 : uni/tn-common/monepg-default
mtu                      : inherit
multiDstPktAct           : bd-flood
nameAlias                : 
ownerKey                 : 
ownerTag                 : 
pcTag                    : 16387
rn                       : BD-BD_990
scope                    : 2850817
seg                      : 16580488
status                   : 
type                     : regular
uid                      : 0
unicastRoute             : yes
unkMacUcastAct           : proxy
unkMcastAct              : flood
v6unkMcastAct            : flood
vmac                     : not-applicable
               : 0

APIC1# moquery -c fvCtx -f 'fv.Ctx.name=="VRF_Stretch"'
Total Objects shown: 1
# fv.Ctx
name                 : VRF_Stretch
annotation           : orchestrator:msc
bdEnforcedEnable     : no
childAction          : 
descr                : 
dn                   : uni/tn-TN_D/ctx-VRF_Stretch
extMngdBy            : 
ipDataPlaneLearning  : enabled
knwMcastAct          : permit
lcOwn                : local
modTs                : 2021-09-18T08:26:58.185+00:00
monPolDn             : uni/tn-common/monepg-default
nameAlias            : 
ownerKey             : 
ownerTag             : 
pcEnfDir             : ingress
pcEnfDirUpdated      : yes
pcEnfPref            : enforced
pcTag                : 16386
rn                   : ctx-VRF_Stretch
scope                : 2850817
seg                  : 2850817
status               : 
uid                  : 0

Configurer la liaison de port statique

Vous pouvez maintenant configurer la liaison de port statique sous EPG « EPG_990 » et également configurer le N9K avec VRF HOST_A (en gros, il simule HOST_A). La configuration de la liaison de port statique côté ACI sera terminée en premier.

Étape 1. Ajoutez le domaine physique sous EPG_990.   

1. Dans le schéma que vous avez créé, sélectionnez Modèle de site A > EPG_990.
2. Dans la zone Propriétés du modèle, cliquez sur Ajouter un domaine.
3. Dans la boîte de dialogue Ajouter un domaine, sélectionnez ces options dans les listes déroulantes :
   • Type d'association de domaine - Physique
   • Profil de domaine - TN_D_PhysDom
   • Immédiat du déploiement - Immédiat
   • Résolution immédiate - Immédiate
4. Click Save.

Étape 2. Ajoutez le port statique (Site1_Leaf1 eth1/5).  

1. Dans le schéma que vous avez créé, choisissez Site-A Template > EPG_990. 
2. Dans la zone Propriétés du modèle, cliquez sur Ajouter un port statique.
3. Dans la boîte de dialogue Ajouter un EPG statique sur PC, VPC ou Interface, choisissez Node-101 eth1/5 et attribuez VLAN 990.

Étape 3. Vérifiez que les ports statiques et le domaine physique sont ajoutés sous EPG_990. 

Vérifiez la liaison du chemin statique avec cette commande :

APIC1# moquery -c fvStPathAtt -f 'fv.StPathAtt.pathName=="eth1/5"' | grep EPG_990 -A 10 -B 5
# fv.StPathAtt
pathName     : eth1/5
childAction  : 
descr        : 
dn           : uni/epp/fv-[uni/tn-TN_D/ap-App_Profile/epg-EPG_990]/node-1101/stpathatt-[eth1/5]
lcOwn        : local
modTs        : 2021-09-19T06:16:46.226+00:00
monPolDn     : uni/tn-common/monepg-default
name         : 
nameAlias    : 
ownerKey     : 
ownerTag     : 
rn           : stpathatt-[eth1/5]
status       : 

Configurer BD

Étape 1. Ajoutez le sous-réseau/l'adresse IP sous BD (HOST_A utilise l'adresse IP BD comme passerelle). 

1. Dans le schéma que vous avez créé, sélectionnez Modèle de site A > BD_990.
2. Cliquez sur Ajouter un sous-réseau.
3. Dans la boîte de dialogue Ajouter un nouveau sous-réseau, entrez l'adresse IP de la passerelle et cliquez sur la case d'option Annoncé externe.
   

Étape 2. Vérifiez que le sous-réseau est ajouté dans le site-A APIC1 à l'aide de cette commande.

APIC1# moquery -c fvSubnet -f 'fv.Subnet.ip=="90.0.0.254/24"'
Total Objects shown: 1

# fv.Subnet
ip           : 90.0.0.254/24
annotation   : orchestrator:msc
childAction  : 
ctrl         : nd
descr        : 
dn           : uni/tn-TN_D/BD-BD_990/subnet-[90.0.0.254/24]
extMngdBy    : 
lcOwn        : local
modTs        : 2021-09-19T06:33:19.943+00:00
monPolDn     : uni/tn-common/monepg-default
name         : 
nameAlias    : 
preferred    : no
rn           : subnet-[90.0.0.254/24]
scope        : public
status       : 
uid          : 0
virtual      : no

Étape 3. Déployez le modèle Site-A.

1. Dans le schéma que vous avez créé, sélectionnez Modèle de site A.
2. Cliquez sur Déployer sur les sites.

Configurer l’hôte A (N9K)

Configurez le périphérique N9K avec VRF HOST_A. Une fois la configuration N9K terminée, vous pouvez voir l'adresse anycast de leaf ACI BD (passerelle de HOST_A) accessible maintenant via ICMP(ping). 

Dans l'onglet Fonctionnement de l'ACI, vous pouvez voir 90.0.0.10 (adresse IP HOST_A) apprise. 

Créer un modèle de site B

Étape 1. Dans le schéma que vous avez créé, sélectionnez MODÈLES. Cliquez sur le signe + et créez un modèle portant le nom Modèle Site-B.

Configurer le site B L3out

Créez L3out et associez VRF_Stretch. Vous devez créer un objet L3out à partir de MSO et le reste de la configuration L3out doit être fait à partir d'APIC (car les paramètres L3out ne sont pas disponibles dans MSO). En outre, créez un EPG externe à partir de MSO (dans le modèle Site-B uniquement, car le EPG externe n'est pas étiré). 

Étape 1. Dans le schéma que vous avez créé, sélectionnez Modèle de site B. Dans le champ Display Name, saisissez L3out_OSPF_siteB. Dans la liste déroulante Routage et transfert virtuels, sélectionnez VRF_Stretch. 

Créer un EPG externe

Étape 1. Dans le schéma que vous avez créé, sélectionnez Modèle de site B. Cliquez sur Add External EPG.

Étape 2. Fixez L3out avec EPG externe.

1. Dans le schéma que vous avez créé, sélectionnez Modèle de site B.
2. Dans le champ Display Name, saisissez EXT_EPG_Site2.
3. Dans le champ Sous-réseaux de classification, saisissez 0.0.0.0/0 pour le sous-réseau externe de l'EPG externe.

Le reste de la configuration L3out est terminé à partir de l'APIC (Site-B).

Étape 3. Ajoutez le domaine L3, activez le protocole OSPF et configurez le protocole OSPF avec la zone régulière 0. 

1. Dans APIC-1 sur Site-B, sélectionnez TN_D > Networking > L3out-OSPF-siteB > Policy > Main.
2. Dans la liste déroulante Domaine L3, sélectionnez TN_D_L3Dom.
3. Cochez la case OSPF pour Activer BGP/EIGRP/OSPF.
4. Dans le champ ID de zone OSPF, saisissez 0.
5. Dans le type de zone OSPF, sélectionnez Zone régulière.
6. Cliquez sur Submit.

Étape 4. Créez le profil de noeud.

1.  Dans APIC-1 sur Site-B, sélectionnez TN_D > Networking > L3Outs > L3Out-OSPF-siteB > Logical Node Profiles.
2. Cliquez sur Créer un profil de noeud.

Étape 5. Sélectionnez le commutateur Site2_Leaf1 comme noeud sur le site B. 

1. Dans APIC-1 sur Site-B, sélectionnez TN_D > Networking > L3Outs > L3Out-OSPF-siteB > Logical Node Profiles > Create Node Profile.
2. Dans le champ Nom, saisissez Site2_Leaf1.
3. Cliquez sur le signe + pour ajouter un noeud.
4. Ajoutez le noeud pod-2 node-101 avec l'adresse IP de l'ID de routeur. 

Étape 6. Ajoutez le profil d'interface (le VLAN externe est 920 (création de l'interface SVI)).  

1. Dans APIC-1 sur le site-B, sélectionnez TN_D > Networking > L3Outs > L3out-OSPF-SiteB > Logical Interface Profiles.
2. Cliquez avec le bouton droit de la souris et ajoutez le profil d'interface.
3. Choisissez Sous-interfaces routées.
4. Configurez l'adresse IP, MTU et VLAN-920. 

Étape 7. Créez la stratégie OSPF (réseau point à point).

1. Dans APIC-1 sur Site-B, sélectionnez TN_D > Networking > L3Outs > L3Out-OSPF-siteB > Logical Interface Profiles.
2. Cliquez avec le bouton droit de la souris et choisissez Créer un profil d'interface OSPF.
3. Choisissez les options indiquées dans la capture d'écran et cliquez sur Envoyer.

Étape 8. Vérifiez la stratégie de profil d'interface OSPF associée sous TN_D > Networking > L3Outs > L3Out-OSPF-siteB > Logical Interface Profiles > (profil d'interface) > OSPF Interface Profile. 

Étape 9. Vérifiez que l'EPG externe « EXT_EPG_Site2 » est créé par MSO. Dans APIC-1 sur le site-B, sélectionnez TN_D > L3Outs > L3Out-OSPF-siteB > Externe EPG > EXT_EPG_Site2.

Configurer le N9K externe (Site-B)

Après la configuration N9K (VRF L3out-OSPF-siteB), le voisinage OSPF est établi entre le N9K et la feuille ACI (sur le site-B).

Vérifiez que le voisinage OSPF est établi et UP (Full State). 

À partir de l'APIC-1 sur le site-B, choisissez TN_D > Networking > L3Outs > L3Out-OSPF-siteB > Logical Node Profiles > Logical Interface Profiles > Confiamed Nodes > topology/pod01/node-1101 > OSPF pour VRF-TN_DVRF_Switch > Neighbor ID state > Full.

Vous pouvez également vérifier le voisinage OSPF dans N9K. En outre, vous pouvez envoyer une requête ping à l'adresse IP Leaf ACI (Site-B). 

À ce stade, la configuration de l'hôte A sur le site A et la configuration de L3out sur le site B est terminée. 

Joindre le site-B L3out au site-A EPG(BD)

Ensuite, vous pouvez joindre Site-B L3out au Site-A BD-990 à partir de MSO. Notez que la colonne de gauche comporte deux sections : 1) Modèle et 2) Sites.

Étape 1. Dans la deuxième section Sites, vous pouvez voir le modèle joint à chaque site. Lorsque vous joignez L3out au « Modèle de site A », vous êtes fondamentalement attaché à partir du modèle déjà joint dans la section Sites. 

Cependant, lorsque vous déployez le modèle, déployez-le à partir de la section Modèles > Modèle de site A et choisissez enregistrer/déployer sur les sites.

Étape 2. Déployer à partir du modèle principal « Modèle de site A » dans la première section « Modèles ».

Configurer le contrat

Vous avez besoin d'un contrat entre EPG externe au site-B et EPG interne_990 au site-A. Ainsi, vous pouvez d'abord créer un contrat à partir de MSO et l'attacher aux deux groupes de terminaux.

Infrastructure axée sur les applications Cisco - Le guide des contrats de l'ACI Cisco peut vous aider à comprendre le contrat. En règle générale, le groupe de terminaux interne est configuré en tant que fournisseur et le groupe de terminaux externe en tant que consommateur. 

Créer un contrat

Étape 1. Dans TN_D_Schema, sélectionnez Modèle étiré > Contrats. Cliquez sur Ajouter un contrat.

Étape 2. Ajoutez un filtre pour autoriser tout le trafic.

1. Dans TN_D_Schema, sélectionnez Modèle étiré > Contrats.
2. Ajouter un contrat avec :

• Nom d'affichage : Intersite-L3out-Contract
• Champ d'application : VRF
  

Étape 3. 

1. Dans TN_D_Schema, sélectionnez Stretched Template > Filters.
2. Dans le champ Display Name, saisissez Allow-all-traffic.
3. Cliquez sur Ajouter une entrée. La boîte de dialogue Ajouter une entrée s'affiche.
   
4. Dans le champ Nom, saisissez Any_Traffic.
5. Dans la liste déroulante Ether Type, sélectionnez non spécifié pour autoriser tout le trafic.
   
6. Click Save.

Étape 4. Ajoutez le contrat à EPG externe en tant que « consommateur » (dans le modèle Site-B) (Déployer sur le site).

1. Dans TN_D_Schema, sélectionnez Modèle Site-B > EXT_EPG_Site2.
2. Cliquez sur Ajouter un contrat. La boîte de dialogue Ajouter un contrat s'affiche. 
3. Dans le champ Contract, saisissez Intersite-L3out-Contract.
4. Dans la liste déroulante Type, sélectionnez consommateur.

Étape 5. Ajoutez le contrat à l'EPG interne « EPG_990 » en tant que « Fournisseur » (dans le modèle Site-A) (Déployer sur le site).

1. Dans TN_D_Schema, choisissez Site-A Template > EPG_990.
2. Cliquez sur Ajouter un contrat. La boîte de dialogue Ajouter un contrat s'affiche. 
3. Dans le champ Contrat, saisissez Intersite-L3out-Contract.
4. Dans la liste déroulante Type, sélectionnez fournisseur.

Dès que le contrat est ajouté, vous pouvez voir « Shadow L3out / External EPG » créé sur Site-A. 

Vous pouvez également voir que « Shadow EPG_990 et BD_990 » ont également été créés sur Site-B. 

Étape 6. Entrez ces commandes afin de vérifier l'APIC du site B.

apic1# moquery -c fvAEPg -f 'fv.AEPg.name=="EPG_990"'
Total Objects shown: 1
# fv.AEPg
name                 : EPG_990
annotation           : orchestrator:msc
childAction          : 
configIssues         : 
configSt             : applied
descr                : 
dn                   : uni/tn-TN_D/ap-App_Profile/epg-EPG_990
exceptionTag         : 
extMngdBy            : 
floodOnEncap         : disabled
fwdCtrl              : 
hasMcastSource       : no
isAttrBasedEPg       : no
isSharedSrvMsiteEPg  : no
lcOwn                : local
matchT               : AtleastOne
modTs                : 2021-09-19T18:47:53.374+00:00
monPolDn             : uni/tn-common/monepg-default
nameAlias            : 
pcEnfPref            : unenforced
pcTag                : 49153          <<< Note that pcTag is different for shadow EPG. 
prefGrMemb           : exclude
prio                 : unspecified
rn                   : epg-EPG_990
scope                : 2686978
shutdown             : no
status               : 
triggerSt            : triggerable
txId                 : 1152921504609244629
uid                  : 0

apic1# moquery -c fvBD -f 'fv.BD.name==\"BD_990\"'
Total Objects shown: 1
# fv.BD
name                     : BD_990
OptimizeWanBandwidth     : yes
annotation               : orchestrator:msc
arpFlood                 : yes
bcastP                   : 225.0.181.192
childAction              : 
configIssues             : 
descr                    : 
dn                       : uni/tn-TN_D/BD-BD_990
epClear                  : no
epMoveDetectMode         : 
extMngdBy                : 
hostBasedRouting         : no
intersiteBumTrafficAllow : yes
intersiteL2Stretch       : yes
ipLearning               : yes
ipv6McastAllow           : no
lcOwn                    : local
limitIpLearnToSubnets    : yes
llAddr                   : ::
mac                      : 00:22:BD:F8:19:FF
mcastAllow               : no
modTs                    : 2021-09-19T18:47:53.374+00:00
monPolDn                 : uni/tn-common/monepg-default
mtu                      : inherit
multiDstPktAct           : bd-flood
nameAlias                : 
ownerKey                 : 
ownerTag                 : 
pcTag                    : 32771
rn                       : BD-BD_990
scope                    : 2686978
seg                      : 15957972
status                   : 
type                     : regular
uid                      : 0
unicastRoute             : yes
unkMacUcastAct           : proxy
unkMcastAct              : flood
v6unkMcastAct            : flood
vmac                     : not-applicable

Étape 7. Examiner et vérifier la configuration N9K du périphérique externe. 

Vérification

Référez-vous à cette section pour vous assurer du bon fonctionnement de votre configuration.

Apprentissage des terminaux

Vérifiez que le point de terminaison Site-A a été appris en tant que point de terminaison dans Site1_Leaf1. 

Site1_Leaf1# show endpoint interface ethernet 1/5
Legend:
 s - arp              H - vtep             V - vpc-attached     p - peer-aged       
 R - peer-attached-rl B - bounce           S - static           M - span            
 D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr         
 L - local            E - shared-service  
+-----------------------------------+---------------+-----------------+--------------+-------------+
      VLAN/                           Encap           MAC Address       MAC Info/       Interface
      Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
18                                         vlan-990    c014.fe5e.1407 L                      eth1/5
TN_D:VRF_Stretch                           vlan-990         90.0.0.10 L                      eth1/5

Vérification ETEP/RTEP

Feuilles du site A. 

Site1_Leaf1# show ip interface brief vrf overlay-1
IP Interface Status for VRF "overlay-1"(4)
Interface            Address              Interface Status
eth1/49              unassigned           protocol-up/link-up/admin-up
eth1/49.7            unnumbered           protocol-up/link-up/admin-up
                     (lo0)               
eth1/50              unassigned           protocol-up/link-up/admin-up
eth1/50.8            unnumbered           protocol-up/link-up/admin-up
                     (lo0)               
eth1/51              unassigned           protocol-down/link-down/admin-up
eth1/52              unassigned           protocol-down/link-down/admin-up
eth1/53              unassigned           protocol-down/link-down/admin-up
eth1/54              unassigned           protocol-down/link-down/admin-up
vlan9                10.0.0.30/27         protocol-up/link-up/admin-up
lo0                  10.0.80.64/32        protocol-up/link-up/admin-up
lo1                  10.0.8.67/32         protocol-up/link-up/admin-up
lo8                  192.168.200.225/32   protocol-up/link-up/admin-up  <<<<< IP from ETEP site-A
lo1023               10.0.0.32/32         protocol-up/link-up/admin-up

Site2_Leaf1# show ip interface brief vrf overlay-1
IP Interface Status for VRF "overlay-1"(4)
Interface            Address              Interface Status
eth1/49              unassigned           protocol-up/link-up/admin-up
eth1/49.16           unnumbered           protocol-up/link-up/admin-up
                     (lo0)               
eth1/50              unassigned           protocol-up/link-up/admin-up
eth1/50.17           unnumbered           protocol-up/link-up/admin-up
                     (lo0)               
eth1/51              unassigned           protocol-down/link-down/admin-up
eth1/52              unassigned           protocol-down/link-down/admin-up
eth1/54              unassigned           protocol-down/link-down/admin-up
eth1/55              unassigned           protocol-down/link-down/admin-up
eth1/56              unassigned           protocol-down/link-down/admin-up
eth1/57              unassigned           protocol-down/link-down/admin-up
eth1/58              unassigned           protocol-down/link-down/admin-up
eth1/59              unassigned           protocol-down/link-down/admin-up
eth1/60              unassigned           protocol-down/link-down/admin-up
eth1/61              unassigned           protocol-down/link-down/admin-up
eth1/62              unassigned           protocol-down/link-down/admin-up
eth1/63              unassigned           protocol-down/link-down/admin-up
eth1/64              unassigned           protocol-down/link-down/admin-up
vlan18               10.0.0.30/27         protocol-up/link-up/admin-up
lo0                  10.0.72.64/32        protocol-up/link-up/admin-up
lo1                  10.0.80.67/32        protocol-up/link-up/admin-up
lo6                  192.168.100.225/32   protocol-up/link-up/admin-up <<<<< IP from ETEP site-B
lo1023               10.0.0.32/32         protocol-up/link-up/admin-up

Accessibilité ICMP

Envoyez une requête ping à l'adresse IP WAN du périphérique externe à partir de HOST_A. 

Envoyez une requête ping à l'adresse de bouclage du périphérique externe. 

Vérification du routage

Vérifiez l’adresse IP WAN du périphérique externe OU la route de sous-réseau de bouclage est présente dans la table de routage. Lorsque vous vérifiez le saut suivant pour le sous-réseau de périphérique externe dans « Site1_Leaf1 », il s'agit de l'IP TEP externe de Leaf « Site2-Leaf1 ».

Site1_Leaf1# show ip route 92.2.2.2 vrf TN_D:VRF_Stretch
IP Route Table for VRF "TN_D:VRF_Stretch"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%' in via output denotes VRF 
92.2.2.0/30, ubest/mbest: 1/0
    *via 192.168.100.225%overlay-1, [200/0], 5d23h, bgp-65001, internal, tag 65001   <<<< Note that next hope is External TEP pool (ETEP) ip address of Site-B.
         recursive next hop: 192.168.100.225/32%overlay-1
Site1_Leaf1# show ip route 91.0.0.1 vrf TN_D:VRF_Stretch
IP Route Table for VRF "TN_D:VRF_Stretch"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%' in via output denotes VRF 
91.0.0.1/32, ubest/mbest: 1/0
    *via 192.168.100.225%overlay-1, [200/2], 5d23h, bgp-65001, internal, tag 65001   <<<< Note that next hope is External TEP pool (ETEP) ip address of Site-B.
         recursive next hop: 192.168.100.225/32%overlay-1

Dépannage

Cette section fournit des informations que vous pouvez utiliser pour dépanner votre configuration.

Site2_Leaf1

Importation/exportation de route de famille d'adresses BGP entre TN_D : VRF_stretch et Overlay-1. 

Site2_Leaf1# show system internal epm vrf TN_D:VRF_Stretch
+--------------------------------+--------+----------+----------+------+--------
               VRF                  Type    VRF vnid  Context ID Status Endpoint
                                                                          Count 
+--------------------------------+--------+----------+----------+------+--------
  TN_D:VRF_Stretch                  Tenant   2686978    46         Up     1  

Site2_Leaf1# show vrf TN_D:VRF_Stretch detail 
VRF-Name: TN_D:VRF_Stretch, VRF-ID: 46, State: Up
    VPNID: unknown
    RD: 1101:2686978
    Max Routes: 0  Mid-Threshold: 0
    Table-ID: 0x8000002e, AF: IPv6, Fwd-ID: 0x8000002e, State: Up
    Table-ID: 0x0000002e, AF: IPv4, Fwd-ID: 0x0000002e, State: Up

Site2_Leaf1# vsh
Site2_Leaf1# show bgp vpnv4 unicast 91.0.0.1 vrf TN_D:VRF_Stretch
BGP routing table information for VRF overlay-1, address family VPNv4 Unicast
Route Distinguisher: 1101:2686978    (VRF TN_D:VRF_Stretch)
BGP routing table entry for 91.0.0.1/32, version 12 dest ptr 0xae6da350
Paths: (1 available, best #1)
Flags: (0x80c0002 00000000) on xmit-list, is not in urib, exported
  vpn: version 346, (0x100002) on xmit-list
Multipath: eBGP iBGP

  Advertised path-id 1, VPN AF advertised path-id 1
  Path type: redist 0x408 0x1 ref 0 adv path ref 2, path is valid, is best path
  AS-Path: NONE, path locally originated
    0.0.0.0 (metric 0) from 0.0.0.0 (10.0.72.64)
      Origin incomplete, MED 2, localpref 100, weight 32768
      Extcommunity: 
          RT:65001:2686978
          VNID:2686978
          COST:pre-bestpath:162:110
  VRF advertise information:
  Path-id 1 not advertised to any peer
  VPN AF advertise information:
  Path-id 1 advertised to peers:
    10.0.72.65                                      <<
     
      
      
 
      
Site-B 
      
 
      apic1# acidiag fnvread ID Pod ID Name Serial Number IP Address Role State LastUpdMsgId -------------------------------------------------------------------------------------------------------------- 101 1 
      Site2_Spine FDO243207JH 
       10.0.72.65/32 spine active 0 102 1 Site2_Leaf2 FDO24260FCH 10.0.72.66/32 leaf active 0 1101 1 Site2_Leaf1 FDO24260ECW 10.0.72.64/32 leaf active 0 
     

Site2_Spine# vsh
Site2_Spine# show bgp vpnv4 unicast 91.0.0.1 vrf overlay-1
BGP routing table information for VRF overlay-1, address family VPNv4 Unicast                             <---------26bits--------->                          
Route Distinguisher: 1101:2686978                                               <<<<<2686978 <--Binary--> 00001010010000000000000010
BGP routing table entry for 91.0.0.1/32, version 717 dest ptr 0xae643d0c
Paths: (1 available, best #1)
Flags: (0x000002 00000000) on xmit-list, is not in urib, is not in HW
Multipath: eBGP iBGP
  Advertised path-id 1
  Path type: internal 0x40000018 0x800040 ref 0 adv path ref 1, path is valid, is best path
  AS-Path: NONE, path sourced internal to AS
    10.0.72.64 (metric 2) from 10.0.72.64 (10.0.72.64)  <<< Site2_leaf1 IP
      Origin incomplete, MED 2, localpref 100, weight 0
      Received label 0
      Received path-id 1
      Extcommunity: 
          RT:65001:2686978
          COST:pre-bestpath:168:3221225472
          VNID:2686978
          COST:pre-bestpath:162:110
  Path-id 1 advertised to peers:
    192.168.10.13                            <<<< Site1_Spine mscp-etep IP. 

Site1_Spine# show ip interface vrf overlay-1
<snip...>
lo12, Interface status: protocol-up/link-up/admin-up, iod: 89, mode: mscp-etep
  IP address: 192.168.10.13, IP subnet: 192.168.10.13/32                         <<
      
      
        IP broadcast address: 255.255.255.255 IP primary address route-preference: 0, tag: 0 
       
<snip...> 
      

Site1_Spine# vsh
Site1_Spine# show bgp vpnv4 unicast 91.0.0.1 vrf overlay-1
BGP routing table information for VRF overlay-1, address family VPNv4 Unicast                                <---------26Bits-------->
Route Distinguisher: 1101:36241410                                                  <<<<<36241410<--binary-->10001010010000000000000010
BGP routing table entry for 91.0.0.1/32, version 533 dest ptr 0xae643dd4
Paths: (1 available, best #1)
Flags: (0x000002 00000000) on xmit-list, is not in urib, is not in HW
Multipath: eBGP iBGP
  Advertised path-id 1
  Path type: internal 0x40000018 0x880000 ref 0 adv path ref 1, path is valid, is best path, remote site path
  AS-Path: NONE, path sourced internal to AS
    192.168.100.225 (metric 20) from 192.168.11.13 (192.168.11.13)  <<< Site2_Leaf1 ETEP IP learn via Site2_Spine mcsp-etep address. 
      Origin incomplete, MED 2, localpref 100, weight 0
      Received label 0
      Extcommunity: 
          RT:65001:36241410
          SOO:65001:50331631
          COST:pre-bestpath:166:2684354560
          COST:pre-bestpath:168:3221225472
          VNID:2686978
          COST:pre-bestpath:162:110
      Originator: 10.0.72.64 Cluster list: 192.168.11.13 <<< Originator Site2_Leaf1 and Site2_Spine ips are listed here...
  Path-id 1 advertised to peers:
    10.0.80.64                         <<<< Site1_Leaf1 ip

Site2_Spine# show ip interface vrf overlay-1
<snip..>
lo13, Interface status: protocol-up/link-up/admin-up, iod: 92, mode: mscp-etep
  IP address: 192.168.11.13, IP subnet: 192.168.11.13/32  
  IP broadcast address: 255.255.255.255
  IP primary address route-preference: 0, tag: 0
<snip..>

Site-B
apic1# acidiag fnvread
      ID   Pod ID                 Name    Serial Number         IP Address    Role        State   LastUpdMsgId
--------------------------------------------------------------------------------------------------------------
     101        1          Site2_Spine      FDO243207JH      10.0.72.65/32   spine         active   0
     102        1          Site2_Leaf2      FDO24260FCH      10.0.72.66/32    leaf         active   0
    1101        1          Site2_Leaf1      FDO24260ECW      10.0.72.64/32    leaf         active   0

Site1_Spine# moquery -c bgpPeer -f 'bgp.Peer.addr*"192.168.11.13"'
Total Objects shown: 1
# bgp.Peer
addr             : 192.168.11.13/32
activePfxPeers   : 0
adminSt          : enabled
asn              : 65001
bgpCfgFailedBmp  : 
bgpCfgFailedTs   : 00:00:00:00.000
bgpCfgState      : 0
childAction      : 
ctrl             : 
curPfxPeers      : 0
dn               : sys/bgp/inst/dom-overlay-1/peer-[192.168.11.13/32]
lcOwn            : local
maxCurPeers      : 0
maxPfxPeers      : 0
modTs            : 2021-09-13T11:58:26.395+00:00
monPolDn         : 
name             : 
passwdSet        : disabled
password         : 
peerRole         : msite-speaker
privateASctrl    : 
rn               : peer-[192.168.11.13/32] <<
       
       
         srcIf : lo12 status : totalPfxPeers : 0 ttl : 16 type : inter-site 
        << 
          
       

Site2_Leaf1# vsh
Site2_Leaf1# show bgp vpnv4 unicast 91.0.0.1 vrf TN_D:VRF_Stretch
BGP routing table information for VRF overlay-1, address family VPNv4 Unicast                                 <---------26Bits-------->
Route Distinguisher: 1101:2686978    (VRF TN_D:VRF_Stretch)                         <<<<<2686978 <--Binary--> 00001010010000000000000010
BGP routing table entry for 91.0.0.1/32, version 12 dest ptr 0xae6da350

Site1_Spine# vsh
Site1_Spine# show bgp vpnv4 unicast 91.0.0.1 vrf overlay-1
                                                                                                             <---------26Bits-------->
Route Distinguisher: 1101:36241410                                                  <<<<<36241410<--binary-->10001010010000000000000010
                                                                                                             ^^---26th bit set to 1 and with 25th bit value it become 10. 

Site1_Leaf1# show vrf TN_D:VRF_Stretch detail 
VRF-Name: TN_D:VRF_Stretch, VRF-ID: 46, State: Up
VPNID: unknown
RD: 1101:2850817
Max Routes: 0 Mid-Threshold: 0
Table-ID: 0x8000002e, AF: IPv6, Fwd-ID: 0x8000002e, State: Up
Table-ID: 0x0000002e, AF: IPv4, Fwd-ID: 0x0000002e, State: Up

Site1_Leaf1# show bgp vpnv4 unicast 91.0.0.1 vrf overlay-1
BGP routing table information for VRF overlay-1, address family VPNv4 Unicast
Route Distinguisher: 1101:2850817    (VRF TN_D:VRF_Stretch)
BGP routing table entry for 91.0.0.1/32, version 17 dest ptr 0xadeda550
Paths: (1 available, best #1)
Flags: (0x08001a 00000000) on xmit-list, is in urib, is best urib route, is in HW
  vpn: version 357, (0x100002) on xmit-list
Multipath: eBGP iBGP
  Advertised path-id 1, VPN AF advertised path-id 1
  Path type: internal 0xc0000018 0x80040 ref 56506 adv path ref 2, path is valid, is best path, remote site path
             Imported from 1101:36241410:91.0.0.1/32 
  AS-Path: NONE, path sourced internal to AS
    192.168.100.225 (metric 64) from 10.0.80.65 (192.168.10.13)
      Origin incomplete, MED 2, localpref 100, weight 0
      Received label 0
      Received path-id 1
      Extcommunity: 
          RT:65001:36241410
          SOO:65001:50331631
          COST:pre-bestpath:166:2684354560
          COST:pre-bestpath:168:3221225472
          VNID:2686978
          COST:pre-bestpath:162:110
      Originator: 10.0.72.64 Cluster list: 192.168.10.13192.168.11.13             <<<< '10.0.72.64'='Site2_Leaf1' , '192.168.10.13'='Site1_Spine' , '192.168.11.13'='Site2_Spine'
  VRF advertise information:
  Path-id 1 not advertised to any peer
  VPN AF advertise information:
  Path-id 1 not advertised to any peer
<snip..>


Site1_Leaf1# show bgp vpnv4 unicast 91.0.0.1 vrf TN_D:VRF_Stretch
BGP routing table information for VRF overlay-1, address family VPNv4 Unicast
Route Distinguisher: 1101:2850817    (VRF TN_D:VRF_Stretch)
BGP routing table entry for 91.0.0.1/32, version 17 dest ptr 0xadeda550
Paths: (1 available, best #1)
Flags: (0x08001a 00000000) on xmit-list, is in urib, is best urib route, is in HW
  vpn: version 357, (0x100002) on xmit-listMultipath: eBGP iBGP
  Advertised path-id 1, VPN AF advertised path-id 1
  Path type: internal 0xc0000018 0x80040 ref 56506 adv path ref 2, path is valid, is best path, remote site path
             Imported from 1101:36241410:91.0.0.1/32 
  AS-Path: NONE, path sourced internal to AS
    192.168.100.225 (metric 64) from 10.0.80.65 (192.168.10.13)
      Origin incomplete, MED 2, localpref 100, weight 0
      Received label 0
      Received path-id 1
      Extcommunity: 
          RT:65001:36241410
          SOO:65001:50331631
          COST:pre-bestpath:166:2684354560
          COST:pre-bestpath:168:3221225472
          VNID:2686978
          COST:pre-bestpath:162:110
      Originator: 10.0.72.64 Cluster list: 192.168.10.13 192.168.11.13 
  VRF advertise information:
  Path-id 1 not advertised to any peer
  VPN AF advertise information:
  Path-id 1 not advertised to any peer

Site1_Leaf1# show ip route 91.0.0.1 vrf TN_D:VRF_Stretch
IP Route Table for VRF "TN_D:VRF_Stretch"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%' in via output denotes VRF 
91.0.0.1/32, ubest/mbest: 1/0
    *via 192.168.100.225%overlay-1, [200/2], 5d23h, bgp-65001, internal, tag 65001   <<<< Note that next hope is External TEP pool (ETEP) ip address of Site-B.
         recursive next hop: 192.168.100.225/32%overlay-1

Site1_Spine# vsh_lc
module-1# debug platform internal roc elam asic 0
module-1(DBG-elam)# trigger reset 
module-1(DBG-elam)# trigger init in-select 14 out-select 1
module-1(DBG-elam-insel14)# set inner ipv4 src_ip 90.0.0.10 dst_ip 91.0.0.1 next-protocol 1
module-1(DBG-elam-insel14)# start
module-1(DBG-elam-insel14)# status 
 ELAM STATUS
===========
Asic 0 Slice 0 Status Armed
Asic 0 Slice 1 Status Armed
Asic 0 Slice 2 Status Armed
Asic 0 Slice 3 Status Armed

pod2-n9k# ping 91.0.0.1 vrf HOST_A source 90.0.0.10
PING 91.0.0.1 (91.0.0.1) from 90.0.0.10: 56 data bytes
64 bytes from 91.0.0.1: icmp_seq=0 ttl=252 time=1.015 ms
64 bytes from 91.0.0.1: icmp_seq=1 ttl=252 time=0.852 ms
64 bytes from 91.0.0.1: icmp_seq=2 ttl=252 time=0.859 ms
64 bytes from 91.0.0.1: icmp_seq=3 ttl=252 time=0.818 ms
64 bytes from 91.0.0.1: icmp_seq=4 ttl=252 time=0.778 ms
--- 91.0.0.1 ping statistics ---
5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.778/0.864/1.015 ms

module-1(DBG-elam-insel14)# status 
 ELAM STATUS
===========
Asic 0 Slice 0 Status Armed
Asic 0 Slice 1 Status Armed
Asic 0 Slice 2 Status Triggered
Asic 0 Slice 3 Status Armed
module-1(DBG-elam-insel14)# ereport
Python available. Continue ELAM decode with LC Pkg
 ELAM REPORT 

------------------------------------------------------------------------------------------------------------------------------------------------------
Outer L3 Header
------------------------------------------------------------------------------------------------------------------------------------------------------
L3 Type                       : IPv4                                    
DSCP                          : 0                                       
Don't Fragment Bit            : 0x0                                     
TTL                           : 32                                      
IP Protocol Number            : UDP                                     
Destination IP                : 192.168.100.225       <<<'Site2_Leaf1' ETEP address                  
Source IP                     : 10.0.80.64            <<<'Site1_Leaf1' TEP address                  
------------------------------------------------------------------------------------------------------------------------------------------------------
Inner L3 Header
------------------------------------------------------------------------------------------------------------------------------------------------------
L3 Type                       : IPv4                                    
DSCP                          : 0                                       
Don't Fragment Bit            : 0x0                                     
TTL                           : 254                                     
IP Protocol Number            : ICMP                                    
Destination IP                : 91.0.0.1                                
Source IP                     : 90.0.0.10                               

Site1_Spine# show bgp vpnv4 unicast neighbors 192.168.11.13 vrf overlay-1   
BGP neighbor is 192.168.11.13,  remote AS 65001, ibgp link,  Peer index 4
  BGP version 4, remote router ID 192.168.11.13
  BGP state = Established, up for 10w4d
  Using loopback12 as update source for this peer
  Last read 00:00:03, hold time = 180, keepalive interval is 60 seconds
  Last written 00:00:03, keepalive timer expiry due 00:00:56
  Received 109631 messages, 0 notifications, 0 bytes in queue
  Sent 109278 messages, 0 notifications, 0 bytes in queue
  Connections established 1, dropped 0
  Last reset by us never, due to No error
  Last reset by peer never, due to No error
  Neighbor capabilities:
  Dynamic capability: advertised (mp, refresh, gr) received (mp, refresh, gr)
  Dynamic capability (old): advertised received
  Route refresh capability (new): advertised received 
  Route refresh capability (old): advertised received 
  4-Byte AS capability: advertised received 
  Address family VPNv4 Unicast: advertised received 
  Address family VPNv6 Unicast: advertised received 
  Address family L2VPN EVPN: advertised received 
  Graceful Restart capability: advertised (GR helper) received (GR helper)
  Graceful Restart Parameters:
  Address families advertised to peer:
  Address families received from peer:
  Forwarding state preserved by peer for:
  Restart time advertised by peer: 0 seconds
  Additional Paths capability: advertised received
  Additional Paths Capability Parameters:
  Send capability advertised to Peer for AF:
    L2VPN EVPN  
  Receive capability advertised to Peer for AF:
    L2VPN EVPN  
  Send capability received from Peer for AF:
    L2VPN EVPN  
  Receive capability received from Peer for AF:
    L2VPN EVPN  
  Additional Paths Capability Parameters for next session:
  [E] - Enable [D] - Disable
  Send Capability state for AF:
    VPNv4 Unicast[E] VPNv6 Unicast[E] 
  Receive Capability state for AF:
    VPNv4 Unicast[E] VPNv6 Unicast[E] 
  Extended Next Hop Encoding Capability: advertised received
  Receive IPv6 next hop encoding Capability for AF:
    IPv4 Unicast  
  Message statistics:
                              Sent               Rcvd
  Opens:                         1                  1  
  Notifications:                 0                  0  
  Updates:                    1960               2317  
  Keepalives:               107108             107088  
  Route Refresh:               105                123  
  Capability:                  104                102  
  Total:                    109278             109631  
  Total bytes:             2230365            2260031  
  Bytes in queue:                0                  0  
  For address family: VPNv4 Unicast
  BGP table version 533, neighbor version 533
  3 accepted paths consume 360 bytes of memory
  3 sent paths
  0 denied paths
  Community attribute sent to this neighbor
  Extended community attribute sent to this neighbor
  Third-party Nexthop will not be computed.
  Outbound route-map configured is infra-intersite-l3out, handle obtained   <<<< route-map to redirect traffic from Site-A to Site-B 'Site2_Leaf1' L3out
  For address family: VPNv6 Unicast
  BGP table version 241, neighbor version 241
  0 accepted paths consume 0 bytes of memory
  0 sent paths
  0 denied paths
  Community attribute sent to this neighbor
  Extended community attribute sent to this neighbor
  Third-party Nexthop will not be computed.
  Outbound route-map configured is infra-intersite-l3out, handle obtained
<snip...>

Site1_Spine# show route-map infra-intersite-l3out
route-map infra-intersite-l3out, permit, sequence 1 
  Match clauses:
    ip next-hop prefix-lists: IPv4-Node-entry-102 
    ipv6 next-hop prefix-lists: IPv6-Node-entry-102 
  Set clauses:
    ip next-hop 192.168.200.226 
route-map infra-intersite-l3out, permit, sequence 2   <<<< This route-map match if destination IP of packet 'Site1_Spine' TEP address then send to 'Site2_Leaf1' ETEP address. 
  Match clauses:
    ip next-hop prefix-lists: IPv4-Node-entry-1101 
    ipv6 next-hop prefix-lists: IPv6-Node-entry-1101 
  Set clauses:
    ip next-hop 192.168.200.225 
route-map infra-intersite-l3out, deny, sequence 999 
  Match clauses:
    ip next-hop prefix-lists: infra_prefix_local_pteps_inexact 
  Set clauses:
route-map infra-intersite-l3out, permit, sequence 1000 
  Match clauses:
  Set clauses:
    ip next-hop unchanged

Site1_Spine# show ip prefix-list IPv4-Node-entry-1101    
ip prefix-list IPv4-Node-entry-1101: 1 entries
   seq 1 permit 10.0.80.64/32  <<
         
         
           Site1_Spine# show ip prefix-list IPv4-Node-entry-102 ip prefix-list IPv4-Node-entry-102: 1 entries seq 1 permit 10.0.80.66/32 Site1_Spine# show ip prefix-list infra_prefix_local_pteps_inexact ip prefix-list infra_prefix_local_pteps_inexact: 1 entries seq 1 permit 10.0.0.0/16 le 32