In dit document wordt beschreven hoe twee afzonderlijke EVPN VXLAN-verbindingen kunnen worden geïmplementeerd en hoe deze twee verbindingen kunnen worden samengevoegd tot een EVPN Multi-Site Fabric-implementatie met Cisco Data Center Manager (DCNM) 11.2(1).
Multi-Site Domain (MSD), geïntroduceerd in DCNM 11.0(1) release, is een multifabric container die is gemaakt om meerdere ledenstructuren te beheren. Het is een single point of control voor een definitie van overlay-netwerken en Virtual Routing and Forwarding (VRF) die worden gedeeld tussen de lidverbindingen.
Cisco raadt kennis van de volgende onderwerpen aan:
vCenter/UCS om DCNM Virtual Machine te implementeren
Kennis van NX-OS en Nexus 9000
Nexus 9000s ToRs, EoRs aangesloten in een blad / wervelkolom mode
De informatie in dit document is gebaseerd op de volgende software en hardware:
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Stap 1. Implementeer onder vCenter de Open Virtualization Format (OVF)-sjabloon in de server/host van uw keuze, zoals weergegeven in de afbeelding.




Stap 2. Start uw DCNM-VM zodra deze is voltooid, zoals hier wordt weergegeven.


Stap 3. Start webconsole, eenmaal in de console, moet u deze prompt zien (IP verschilt omdat dit specifiek is voor uw omgeving en uw configuratie):

Stap 4. Ga naar https://<your IP>:2443 (dit is het IP dat u eerder hebt geconfigureerd tijdens de OVA-implementatie) en klik op Aan de slag. In dit voorbeeld wordt een Fresh-installatie behandeld.

Stap 5. Nadat u het beheerderswachtwoord hebt geconfigureerd, moet u het type structuur selecteren dat u wilt installeren. Selecteer tussen LAN of FAB omdat elk type een ander doel heeft, dus zorg ervoor dat u het begrijpt en kies het correct. In dit voorbeeld wordt de LAN-structuur gebruikt, dit is voor de meeste VXLAN-EVPN-implementaties.

Stap 6. Volg de aanwijzingen van de installateur met de DNS-server, de NTP-server (Network Time Protocol), de DCNM-hostnaam, enz.

Stap 7. Configureer de IP-beheer- en beheergateway. Het beheernetwerk biedt connectiviteit (SSH, SCP, HTTP, HTTPS) met de DCNM-server. Dit is ook het IP-adres dat u gebruikt om de GUI te bereiken. Het IP-adres moet vooraf worden geconfigureerd vanaf de OVA-installatie die eerder is uitgevoerd.


Stap 8. Configureer het in-band netwerk. Het In-Band-netwerk wordt gebruikt voor toepassingen zoals Endpoint Locator, waarvoor de connectiviteit van de voorpaneelpoort met de 9K's in de structuur vereist is om te werken als een Border Gateway Protocol (BGP)-sessie wordt ingesteld tussen DCNM en de 9K.

Stap 9. Het netwerk van interne toepassingsservices configureren --
Om te beginnen met DCNM 11.0 release, DCNM ondersteunt Application Framework (AFW) met DCNM LAN OVA / ISO-installatie. Dit framework maakt gebruik van Docker voor het orkestreren van applicaties als microservices in zowel geclusterde als niet-geclusterde omgevingen voor het realiseren van een scale-out architectuur.
Andere toepassingen die standaard worden geleverd met de DCNM zijn Endpoint Locator, Watch Tower, Virtual Machine Manager-plug-in, Config Compliance, enz. AFW zorgt voor het levenscyclusbeheer van deze toepassingen, inclusief het aanbieden van netwerken, opslag, authenticatie, beveiliging, enz. AFW beheert ook de implementatie en levenscyclus van de Network Insights-toepassingen, namelijk NIR en NIA. Dit subnet is bedoeld voor Docker-services wanneer NIA/NIR is ingeschakeld.
Hoe NIA/NIR te installeren valt onder het gedeelte Dag 2-bewerkingen.

Stap 10. Controleer en bevestig alle configuratiedetails en start de installatie.

Stap 11. Zodra DCNM volledig is geïnstalleerd, logt u in op de GUI (IP-adres of hostnaam die u eerder hebt geconfigureerd).
Stap 1. Eenmaal in de DCNM GUI navigeert u naar Fabric Builder. Besturing > Stoffen > Fabric Builder om uw eerste stof te maken.

Stap 2. Klik op Fabric maken en vul de formulieren in die nodig zijn voor uw netwerk — Easy Fabric is de juiste sjabloon voor lokale EVPN VXLAN-implementatie:

Stap 3. Vul de vereisten voor onderlaag, overlay, vPC, replicatie, resources, enz. van Fabric in.
Dit gedeelte bevat alle instellingen voor Underlay, Overlay, vPC, Replication, enz. die via DCNM vereist zijn. Dit is afhankelijk van het netwerkadresseringssysteem, de vereisten, enz. In dit voorbeeld worden de meeste velden als standaardwaarden opgegeven. De L2VNI en L3VNI zijn zodanig gewijzigd dat L2VNI's beginnen met 2 en L3VNI's beginnen met 3 om later problemen op te lossen. Bidirectional Forwarding Detection (BFD) is ook ingeschakeld, samen met andere functies.




Stap 4. Configureer onder de Bootstrap-configuratie het bereik van DHCP-adressen dat DCNM tijdens het POAP-proces aan de switches binnen de Fabric moet uitdelen. Configureer ook een goede (bestaande) standaardgateway. Klik op Opslaan zodra u klaar bent en nu kunt u doorgaan met het toevoegen van switches aan de stof.

Stap 1. Navigeer naar Control > Fabrics > Fabric Builder en selecteer vervolgens uw Fabric. Klik in het linkerdeelvenster op Switches toevoegen, zoals weergegeven in de afbeelding.

U kunt switches ontdekken door een Seed IP te gebruiken (wat betekent dat het mgmt0 IP van elke switch handmatig moet worden geconfigureerd) of u kunt de switches via POAP ontdekken en DCNM alle mgmt0 IP-adressen, VRF-beheer, enz. voor u laten configureren. Voor dit voorbeeld gebruiken we POAP.
Stap 2. Zodra u de switch(s) van uw interesse ziet, voert u het gewenste IP-adres en de hostnaam in die u wilt dat DCNM gebruikt, voert u Admin PW in en klikt u vervolgens op Bootstrap, zoals weergegeven in de afbeelding.

Een goed opstartlogboek moet eruit zien zoals in de afbeelding hier vanaf de console van de switch.


Stap 3. Voordat u de configuratie voor de gehele structuur implementeert, moet u ervoor zorgen dat u DCNM eerder hebt geconfigureerd met de referenties van het apparaat. Er had een pop-up moeten verschijnen in de GUI terwijl u inlogt. Als dit niet het geval is, kunt u dit altijd openen via Administratie > Beheer referenties > LAN-referenties.


Stap 1. Als u alle switches voor de betreffende stof in dezelfde stappen hebt ontdekt, gaat u naar Besturing > Weefsels > Weefselbouwer > <uw gekozen weefsel>. Je zou je switches moeten zien, samen met al hun links hier. Klik op Opslaan en implementeren.

Stap 2. In het venster Config Deployment ziet u hoeveel configuratielijnen voor elke switch DCNM-pusht. U kunt de configuratie ook bekijken indien gewenst en de voor en na vergelijken:

Zorg ervoor dat alle switches 100% en zonder fouten aangeven dat ze zijn VOLTOOID — Als er fouten zijn, moet u ze één voor één aanpakken (zie Problemen die tijdens deze implementatie zijn opgetreden voor voorbeelden)

Stap 3. (Optioneel) U kunt zich op dit moment aanmelden bij de apparaten en een show run CLIs uitgeven om te controleren of de configuratie met succes is gepusht door DCNM.
Voorbeeld:

Voer dezelfde stappen uit als voorheen met de RTP-verbinding met verschillende waarden voor BGP AS, enz.
Stap 1. Navigeer naar Control > Fabrics > Fabric Builder > Create Fabric > Name it!
Dit gedeelte bevat alle vereiste instellingen voor Underlay, Overlay, vPC, Replication, enz. Dit is afhankelijk van het netwerkadresseringssysteem, de vereisten, enz.


Stap 2. Configureer de sectie Bootstrap zoals eerder gedaan. Navigeer opnieuw door Switches toevoegen. Zodra alles is ontdekt, klikt u op Opslaan en implementeren om de configuratie te implementeren. Dit werd allemaal behandeld in de sectie RTP Fabric Deployment (weglaten hier voor de beknoptheid).

Topologie vanuit het perspectief van Fabric Builder aan het einde.

Idealiter zouden alle switches in het groen moeten verschijnen, samen met hun links. Deze afbeelding toont de verschillende statuskleuren in het DCNM-gemiddelde.

Stap 3. Als beide verbindingen eenmaal zijn geconfigureerd en geïmplementeerd, moet u ervoor zorgen dat de configuratie en het opnieuw laden worden opgeslagen, zodat de TCAM-wijzigingen van kracht worden. Ga naar Controls > Fabrics > Fabric Builder > <your Fabric>, navigeer naar de tabelweergave, zoals weergegeven in de afbeelding.

Stap 4. Klik vervolgens op de aan/uit-knop (hiermee worden al uw switches tegelijkertijd opnieuw geladen):

Stap 1. Navigeer naar Control > Fabrics > Networks, zoals weergegeven in de afbeelding.

Stap 2. Selecteer het bereik voor de wijziging, zoals weergegeven in de afbeelding. d.w.z. op welke structuur moet deze configuratie worden toegepast?

Stap 3. Klik op het +-teken, zoals weergegeven in de afbeelding.

Stap 4. DCNM leidt u door het proces om de Switch Virtual Interface (SVI) (of pure L2 VLAN) te maken. Als er in dit stadium geen VRF's worden gemaakt, klikt u nogmaals op de + knop en gaat u tijdelijk naar de VRF's-doorloop voordat u verder gaat met de SVI-instellingen.



Deze functies kunnen worden geconfigureerd onder het tabblad Geavanceerd:
Stap 5. Klik op Doorgaan om de netwerk-/VRF-configuratie te implementeren.

Stap 6. Dubbelklik op een apparaat (of apparaten) in de topologieweergave (DCNM brengt u hier automatisch) om ze te selecteren voor de toepasselijke configuratie. Klik op Opslaan, zoals weergegeven in de afbeelding.

Stap 7. Na selectie moeten de switches er blauw uitzien (Ready to Deploy), zoals op deze afbeelding wordt weergegeven.



De switches worden geel terwijl de configuratie wordt toegepast en keren terug naar groen zodra deze is voltooid.
Stap 8. (Optioneel) U kunt zich aanmelden bij de CLI om de configuratie te verifiëren als dat nodig is (vergeet niet om de optie voor het uitbreiden van de poort te gebruiken):

Voor deze Greenfield-implementatie wordt MSD Fabric geïmplementeerd via directe peering tussen Border Gateways (BGW's). Een alternatief is het gebruik van een gecentraliseerde routeserver, die niet in dit document wordt behandeld.
Stap 1. Navigeer naar Control > Fabric Builder > Create Fabric, zoals weergegeven in de afbeelding.

Stap 2. Geef uw Multi-Site Fabric een naam en kies MSD_Fabric_11_1 in de keuzelijst voor Fabric Template.
Stap 3. Onder Algemeen, zorg ervoor dat uw L2 en L3 VNI-bereik overeenkomt met wat uw individuele stoffen gebruiken. Bovendien moet de Anycast Gateway MAC op beide verbindingen overeenkomen (RTP/SJ in dit voorbeeld). DCNM geeft u een fout als de Gateway-MAC's niet overeenkomen en deze moet worden gecorrigeerd voordat u verder gaat met de MSD-implementatie.



Stap 4. Klik op Opslaan, navigeer vervolgens naar de MSD-structuur en klik op Opslaan en implementeren. Uw topologie moet er vergelijkbaar uitzien met deze (alle switches + groene links) zodra deze succesvol zijn voltooid:


In dit voorbeeld worden vPC-trunks van twee verschillende VTEP-paren geconfigureerd en wordt de connectiviteit binnen de lokale RTP-verbinding getest. Relevante topologie zoals weergegeven in de afbeelding:

Stap 1. Navigeer naar Control > Fabrics > Interfaces, zoals weergegeven in de afbeelding.

Stap 2. Klik op het +-teken om de wizard Een interface toevoegen in te voeren, zoals weergegeven in de afbeelding.

In dit voorbeeld wordt een vPC-stam stroomafwaarts gemaakt naar de N7K die wordt gebruikt om tests in deze doorloop te pingen.
Stap 3. Selecteer het juiste vPC-paar, fysieke interfaces, LACP aan/uit, BPDUGuard, enz.


Stap 4. Klik op Opslaan wanneer u klaar bent. U kunt ook direct implementeren, zoals weergegeven in de afbeelding.


Stap 5. (Optioneel) Controleer de toe te passen configuratie.


Stap 6. (Optioneel) Handmatige configuratie op 7K:

Stap 7. (Optioneel) Een SVI-test op N7K maken om de VTEP's in RTP te pingen (VTEP's hebben Anycast Gateway van 10.212.20.1 in VRF andrea_red):

Stap 8. (Optioneel) Controleer of andere VTEP's binnen RTP deze host zien via EVPN/HMM:

Stap 9. (Optioneel) Herhaal hetzelfde proces voor seoul-bb11/12 (vPC-poortkanaal maken, SVI 2300 maken). Pingen van RTP-links naar RTP-rechts om de L2-connectiviteit via EVPN binnen RTP Fabric te bevestigen:

Vergelijkbare stappen kunnen worden gevolgd om niet-vPC-poortkanalen, toegangsinterfaces, enz. te maken in de context Interfaces toevoegen.
Stap 1. Upload een image (of een set images naar de server van DCNM) en navigeer vervolgens naar Control > Image Management > Image Upload, zoals in de afbeelding wordt weergegeven.

Stap 2. Volg de aanwijzingen voor een lokale upload en de bestanden moeten worden weergegeven zoals in deze afbeelding:


Stap 3. Zodra de bestanden zijn geüpload, kunt u doorgaan met Installeren en upgraden als de switches een upgrade vereisen. Navigeer naar Control > Image Management > Install & Upgrade, zoals weergegeven in de afbeelding.

Stap 4. Selecteer de switches die u wilt upgraden. In dit voorbeeld wordt de gehele RTP Fabric bijgewerkt.

Stap 5. Selecteer naar welke NX-OS-versie de switches moeten worden geüpgraded (als een best practice, upgrade alle switches naar dezelfde NX-OS-versie):

Stap 6. Klik op Volgende en DCNM voert de switches uit door middel van pre-installatiecontroles. Dit venster kan nogal wat tijd in beslag nemen, zodat u als alternatief Installatie later voltooien kunt selecteren en de upgrade kunt plannen terwijl u weg bent.

Dit wachtrijen de taak en lijkt op zoals weergegeven in de afbeelding hier, eenmaal voltooid.

Stap 7. Zodra de compatibiliteit is voltooid, klikt u op Installatie voltooien in hetzelfde venster, zoals weergegeven in de afbeelding.

Stap 8. U kunt de upgrades selecteren die gelijktijdig (allemaal tegelijk) of sequentieel (één tegelijk) moeten worden uitgevoerd. Aangezien dit een laboratoriumomgeving is, wordt gelijktijdig geselecteerd.

De taak is gemaakt en wordt IN UITVOERING weergegeven, zoals weergegeven in de afbeelding.


Een alternatieve manier om de afbeelding te selecteren wordt hier weergegeven.


Om DCNM-apps goed te laten werken, moet u een inband-verbinding hebben tussen de DCNM-server en een voorpaneelpoort naar een van de Nexus 9000's in de Fabric. In dit voorbeeld is de DCNM-server verbonden met Ethernet1/5 van een van de stekels in de RTP-verbinding.
Stap 1. Deze CLI wordt handmatig toegevoegd aan de Nexus 9000:

Stap 2. Zorg ervoor dat u de DCNM-server kunt pingen en vice versa op deze point-to-point verbinding.

Stap 3. Navigeer naar de DCNM GUI > Control > Endpoint Locator > Configure, zoals weergegeven in de afbeelding.

Stap 4. Selecteer welke Fabric u wilt dat Endpoint Locator wordt ingeschakeld, zoals weergegeven in de afbeelding.

Stap 5. Zoals te zien in de afbeelding, selecteert u een ruggengraat.

Stap 6. (optioneel). Voordat u doorgaat naar de volgende stap, is het IP-adres van eth2 gewijzigd van de oorspronkelijke implementatie via deze CLI op de DCNM-server (deze stap is niet nodig als het oorspronkelijke IP-adres dat tijdens de nieuwe installatie van de DCNM-server is geconfigureerd, correct blijft):

Stap 7. Controleer de configuratie van de in-band interface. Dit moet overeenkomen met wat in de vorige stap is geconfigureerd.


Stap 8. Nadat u de configuratie hebt bekeken, klikt u op Configureren. Deze stap kan enkele minuten duren:

Na voltooiing verschijnt de melding, zoals weergegeven in de afbeelding.

Merk op dat DCNM een BGP-buurman heeft geconfigureerd op de geselecteerde wervelkolom in de L2VPN EVPN-familie.

Stap 9. U kunt nu gebruik maken van Endpoint Locator. Navigeer naar Monitor > Endpoint Locator > Explore.

In dit voorbeeld ziet u de twee hosts die zijn geconfigureerd voor de lokale ping-tests in de RTP-structuur:

Een paar switches hadden een slechte bekabeling, wat een bundelingsfout veroorzaakte voor de vPC peer-link poort-kanaal500. Voorbeeld:

Stap 1. Navigeer terug naar Control > Fabric Builder en bekijk de fouten:

Stap 2. Voor de eerste fout met betrekking tot het uitvallen van de opdracht port-channel500 — Gecontroleerd via cdp-buren laten zien dat de verbinding met de vPC-peer op een 10G- en een 40G-poort was (niet compatibel). Verwijderde de 10G-poort fysiek en verwijderde de link ook van DCNM:


Voor de tweede fout met betrekking tot "feature ngoam" niet te configureren — De switch is opgewaardeerd naar een recentere NX-OS versie waar "feature ngoam" wordt ondersteund en klik opnieuw op Opslaan en implementeren. Beide kwesties werden opgelost.
Terwijl de tweede verbinding wordt geïmplementeerd, SJ, hetzelfde subnet werd gebruikt (indien fysiek gescheiden, dit moet OK zijn); echter, DCNM logt een conflict en POAP mislukt. Dit wordt opgelost doordat de SJ Fabric in een ander beheer-VLAN wordt geplaatst en het bereik van de DHCP-adressen wordt gewijzigd.


Stap 1. Voor breakout-interfaces in sommige switches (zie topologie) werd deze CLI handmatig toegevoegd voor de T2-stekels:

Stap 2. Navigeer naar Control > Interfaces en verwijder de bovenliggende interfaces:

De werkelijk gebruikte interfaces zijn Eth1/6/1-4 en Eth1/7/1-4. Als u dit niet corrigeert, mislukt de optie Opslaan en implementeren later. Er is een manier om de doorbraak via DCNM zelf te doen (knop naast het +-teken; echter niet behandeld in dit artikel)


Sommige chassis (T2s) in SJ Fabric ondersteunen TRM niet, dus toen DCNM deze configuratie probeerde te verleggen, kon het niet verder. TRM-ondersteuning hier: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/92x/vxlan-92x/configuration/guide/b-cisco-nexus-9000-series-nx-os-vxlan-configuration-guide-92x/b_Cisco_Nexus_9000_Series_NX-OS_VXLAN_Configuration_Guide_9x_chapter_01001.html#concept_vw1_syb_zfb
Niet aangevinkt wordt het vak TRM inschakelen onder zowel het venster Netwerk als VRF bewerken weergegeven in de afbeelding.
Herhaal hetzelfde proces onder Control > Fabric Builder > VRF.



Klik op Doorgaan en vervolgens op Implementeren zoals eerder is gedaan.
vPC-verbindingspering
eBGP-gebaseerde gerouteerde verbindingen
EVPN bovenaan inschakelen
Easy Fabric Brownfield-verbeteringen
Rand wervelkolom/rand GW wervelkolom
PIM Bidir
Multicast met tenantroutering
Dag-0/Bootstrap met externe DHCP-server
Dag 2 Operaties:
Network Insights Resources
Network Insights Advisor
IPv6-ondersteuning voor externe toegang (eth0)
VMM Compute-zichtbaarheid met UCS-FI
Verbeteringen in topologieweergave
Online upgrade vanaf 11.0/11.1
Van traditionele vPC naar MCT-less vPC met DCNM:
Voordelen van MCT-less vPC:
Verbeterde oplossing voor dubbele calibratie zonder verlies van fysieke poorten
Behoudt traditionele vPC-kenmerken
Geoptimaliseerde routering voor enkelvoudige gehomede eindpunten met PIP
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
1.0 |
19-Sep-2019
|
Eerste vrijgave |