Implementación de EVPN VXLAN, multisitio a través de DCNM 11.2(1)

Introducción

Este documento describe cómo implementar dos estructuras VXLAN EVPN individuales, así como cómo combinar estas dos estructuras en una implementación de estructura multisitio EVPN mediante Cisco Data Center Manager (DCNM) 11.2(1).

El dominio de varios sitios (MSD), introducido en la versión DCNM 11.0(1), es un contenedor de varios fabrics que se crea para administrar varios fabrics de miembros. Se trata de un único punto de control para una definición de redes superpuestas y Virtual Routing and Forwarding (VRF) que se comparten entre los fabrics miembro.

Nota: Este documento no describe los detalles con respecto a las funciones/propiedades de cada ficha dentro de DCNM. Por favor, vea las referencias al final que sí cubren explicaciones detalladas.

  

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

• vCenter/UCS para implementar la máquina virtual DCNM

• Familiaridad con NX-OS y Nexus 9000

• ToR de Nexus 9000, EoR conectados de forma hoja/columna

Componentes Utilizados

La información de este documento se basa en el siguiente software y hardware:

• DCNM 11.2(1)
• NX-OS 7.0(3)I7(7) y NX-OS 9.2(3)
• Espinas: N9K-C9508 / N9K-X97160YC-EX y N9K-C9508 / N9K-X9636PQ
• Hojas: N9K-C9372TX, N9K-C93180YC-EX, N9K-C9372TX-E, N9K-C92160YC-X
• Puertas de enlace fronterizas: N9K-C93240YC-FX2 y N9K-C93180YC-FX
• 7K "hosts": N77-C7709

La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Topología física creada

Implementación de OVA/OVF en vCenter

Paso 1. En vCenter, implemente Open Virtualization Format (OVF) Template en el servidor/host de su elección, como se muestra en la imagen.

1. Tenga un archivo OVA/OVF, etc localmente y selecciónelo mediante Choose Files, como se muestra en la imagen:

2. Siga el resto de indicaciones (nombre de la VM, qué host, parámetros de red, como se muestra en la imagen) y haga clic en Finish.

Paso 2. Una vez completado, inicie la máquina virtual DCNM, como se muestra aquí.

Paso 3. Inicie la consola web, una vez en la consola, debe ver estos mensajes (IP difiere, ya que es específico para su entorno y su configuración):

Paso 4. Diríjase a https://<your IP>:2443 (Esta es la IP que configuró anteriormente durante la implementación de OVA) y haga clic en Get Started (Comenzar). En este ejemplo, se trata una instalación nueva.

Paso 5. Una vez configurada la contraseña de administrador, debe seleccionar el tipo de fabric que desea instalar. Seleccione entre LAN o FAB, ya que cada tipo tiene un propósito diferente, así que asegúrese de comprenderlo y de elegir correctamente. Para este ejemplo, se utiliza el fabric LAN, es para la mayoría de las implementaciones VXLAN-EVPN.

Paso 6. Siga las indicaciones del instalador con el DNS de la red, el servidor de protocolo de tiempo de la red (NTP), el nombre de host DCNM, etc.

Paso 7. Configure la IP de administración y el gateway de administración. La red de gestión proporciona conectividad (SSH, SCP, HTTP, HTTPS) al servidor DCNM. Ésta es también la IP que utiliza para acceder a la GUI. La dirección IP debe configurarse previamente a partir de la instalación de OVA realizada anteriormente.

Paso 8. Configuración de la red en banda. La red en banda se utiliza para aplicaciones como Endpoint Locator, que requiere conectividad de puerto de panel frontal a los 9K del fabric para funcionar como una sesión de protocolo de gateway fronterizo (BGP) establecida entre DCNM y los 9K. 

Paso 9. Configuración de la red interna de servicios de aplicaciones —

Para comenzar con la versión DCNM 11.0, DCNM admite Application Framework (AFW) con la instalación DCNM LAN OVA/ISO. Este marco utiliza Docker para organizar aplicaciones como microservicios en entornos de clúster y no de clúster para conseguir una arquitectura escalable.

Otras aplicaciones que se incluyen de forma predeterminada con DCNM son Endpoint Locator, Watch Tower, el complemento Virtual Machine Manager, la configuración de cumplimiento, etc. AFW se encarga de la gestión del ciclo de vida de estas aplicaciones, lo que incluye el suministro de redes, almacenamiento, autenticación, seguridad, etc. AFW también gestiona la implementación y el ciclo de vida de las aplicaciones de Network Insights, concretamente NIR y NIA. Esta subred es para los servicios Docker cuando tiene NIA/NIR habilitado.

La forma de instalar NIA/NIR se trata en la sección Operaciones de día 2.

Nota: Esta subred no debe solaparse con las redes asignadas a las interfaces eth0/eth1/eth2 asignadas a DCNM y a los nodos informáticos. Además, esta subred no debe solaparse con las IP asignadas a los switches u otros dispositivos administrados por DCNM. La subred elegida debe ser coherente al instalar los nodos primarios y secundarios de DCNM (en el caso de una implementación de HA nativa).

  

Paso 10. Revise y confirme todos los detalles de configuración e inicie la instalación.

Paso 11. Una vez que DCNM esté completamente instalado, inicie sesión en la GUI (dirección IP o nombre de host configurado anteriormente).

Implementación del primer fabric: fabric RTP

Paso 1. Una vez en la GUI de DCNM, navegue hasta Fabric Builder. Control > Fabrics > Fabric Builder para crear su primer fabric.

Paso 2. Haga clic en Create Fabric y rellene los formularios necesarios para su red. Easy Fabric es la plantilla correcta para la implementación local de VXLAN EVPN:

Paso 3. Cumplimente los requisitos de estructura subyacente, superpuesta, vPC, replicación, recursos, etc.

En esta sección se tratan todos los parámetros subyacentes, superpuestos, vPC, replicación, etc. que se requieren mediante DCNM. Esto depende del esquema de direccionamiento de red, los requisitos, etc. En este ejemplo, la mayoría de los campos se dejan como valores predeterminados. Los L2VNI y L3VNI fueron cambiados de tal manera que los L2VNIs comienzan con 2 y los L3VNIs comienzan con 3 para facilitar la resolución de problemas más adelante. La detección de reenvío bidireccional (BFD) también está activada junto con otras funciones.

Paso 4. En la configuración de Bootstrap, configure el rango de direcciones DHCP que desea que DCNM distribuya a los switches dentro del entramado durante el proceso POAP. Configure también una puerta de enlace predeterminada adecuada (existente). Haga clic en Save una vez que haya terminado y ahora puede pasar a agregar switches al fabric.

Incorporación de switches al fabric

Paso 1. Navegue hasta Control > Fabrics > Fabric Builder y luego seleccione su Fabric. En el panel del lado izquierdo, haga clic en Add Switches, como se muestra en la imagen.

Puede detectar switches utilizando una IP de inicialización (lo que significa que la IP mgmt0 de cada switch debe configurarse manualmente) o puede detectar los switches mediante POAP y hacer que DCNM configure todas las direcciones IP mgmt0, la administración VRF, etc. En este ejemplo, utilizaremos POAP.

Paso 2. Una vez que vea los switches de su interés, introduzca la dirección IP y el nombre de host que desea que utilice DCNM, introduzca Admin PW y, a continuación, haga clic en Bootstrap, como se muestra en la imagen.

Un registro de arranque correcto debe verse como se muestra en la imagen desde la consola del switch.

Paso 3. Antes de implementar la configuración para todo el fabric, asegúrese de haber configurado previamente DCNM con las credenciales del dispositivo. Debería haber aparecido una ventana emergente en la interfaz gráfica de usuario al iniciar sesión. En caso de que no lo haga, siempre puede acceder a esto a través de Administration > Credentials Management > LAN Credentials. 

Nota: Si faltan las credenciales del dispositivo, DCNM no puede enviar la configuración a los switches.

  

Implemente la configuración del fabric

Paso 1. Una vez que haya detectado todos los switches para el fabric dado con los mismos pasos, navegue hasta Control > Fabrics > Fabric Builder > <el fabric seleccionado>. Debería ver sus switches junto con todos sus enlaces aquí. Haga clic en Guardar e implementar.

Paso 2. En la ventana Config Deployment, verá cuántas líneas de configuración se introducen para cada switch DCNM. También puede previsualizar la configuración si lo desea y comparar el antes y el después:

Asegúrese de que todos los switches tengan el estado COMPLETED y 100% sin errores. Si hay algún error, asegúrese de solucionarlo uno a uno (consulte la sección Problemas encontrados durante esta implementación para ver ejemplos)

Paso 3. (Opcional) En este momento puede iniciar sesión en los dispositivos y ejecutar cualquier CLI de show run para verificar que DCNM haya enviado correctamente la configuración.

Ejemplo:

Implementación del segundo fabric (SJ)

Realice los mismos pasos que antes con el entramado RTP usando diferentes valores para BGP AS, etc.

Paso 1. Navegue hasta Control > Fabrics > Fabric Builder > Create Fabric > Name it!

En esta sección se tratan todos los ajustes necesarios de Underlay, Overlay, vPC, Replication, etc. Esto depende del esquema de direccionamiento de red, los requisitos, etc.

Nota: El MAC de Anycast Gateway debe coincidir con el de otro Fabric si se utiliza Multi-Site; más adelante, no se admitirán diferentes MAC de Anycast Gateway. Esto se corrigió más tarde durante la sección de implementación multisitio (no se muestra en el artículo por su brevedad).

Paso 2. Configure la sección Bootstrap como se hizo anteriormente. Vuelva a navegar por Add Switches. Una vez detectados todos los elementos, haga clic en Save & Deploy para implementar la configuración. Todo esto se trató en la sección Implementación de estructuras RTP (omitiendo aquí por brevedad).

Topología desde la perspectiva de Fabric Builder al final.

Idealmente, todos los switches deberían aparecer en verde junto con sus links. Esta imagen muestra los diferentes colores de estado en la media de DCNM.

Paso 3. Una vez configurados e implementados ambos fabrics, asegúrese de guardar config. y recargue para que los cambios de TCAM surtan efecto. Vaya a Controls > Fabrics > Fabric Builder > <your Fabric>, navegue hasta Tabular View, como se muestra en la imagen.

Paso 4. Luego haga clic en el botón power (esto recarga todos sus switches simultáneamente):

Creación de una red (VLAN/L2VNI) y VRF (L3VNI)

Paso 1. Navegue hasta Control > Fabrics > Networks, como se muestra en la imagen.

Paso 2. Como se muestra en la imagen, seleccione el alcance para el cambio. es decir, ¿a qué fabric debe aplicarse esta configuración?

Paso 3. Haga clic en el signo +, como se muestra en la imagen.

Paso 4. DCNM le guía a través del proceso de creación de la interfaz virtual del switch (SVI) (o VLAN L2 pura). Si no se crea ningún VRF en esta etapa, haga clic de nuevo en el botón + y esto le llevará temporalmente al recorrido de los VRF antes de continuar con la configuración de SVI.

Estas funciones se pueden configurar en la pestaña Advanced: 

• Supresión ARP
• Replicación de entrada
• Grupo de multidifusión
• DCHP
• Etiquetas de ruta
• TRM
• L2 VNI Route-Target
• Activar gateway L3 en borde

Paso 5. Haga clic en Continue para implementar la configuración de red/VRF.

Paso 6. Haga doble clic en uno o varios dispositivos de la vista de topología (DCNM le llevará automáticamente aquí) para seleccionarlos para la configuración aplicable. Haga clic en Save, como se muestra en la imagen.

Paso 7. Una vez seleccionados, los switches deben aparecer en azul (Ready to Deploy), como se muestra en esta imagen.

Nota: Si desea verificar la configuración de la CLI antes de la implementación, puede hacer clic en Detailed View en lugar de en Deploy y hacer clic en Preview en la siguiente pantalla. 

Los switches se vuelven de color amarillo mientras se aplica la configuración y vuelven a color verde una vez que se completa.

Paso 8. (Opcional) Puede iniciar sesión en la CLI para verificar la configuración si lo necesita (recuerde utilizar la opción de perfil de puerto expandido):

Configuración de varios sitios

Para esta implementación Greenfield, MSD Fabric se implementa a través del modelo de iguales directos entre gateways de frontera (BGW). Una alternativa es utilizar un servidor de ruta centralizado, que no se trata en este documento.

Paso 1. Navegue hasta Control > Fabric Builder > Create Fabric, como se muestra en la imagen.

Paso 2. Asigne un nombre al fabric multisitio y seleccione MSD_Fabric_11_1 en el menú desplegable para la plantilla de fabric.

Paso 3. En General, asegúrese de que su rango de VNI L2 y L3 coincida con lo que sus tejidos individuales están utilizando. Además, el MAC de gateway de difusión ilimitada debe coincidir en ambos fabrics (RTP/SJ en este ejemplo). DCNM genera un error si los MAC de la puerta de enlace no coinciden y debe corregirse antes de continuar con la implementación de MSD.

Paso 4. Haga clic en Guardar, navegue hasta MSD Fabric y haga clic en Guardar e implementar. Su topología debe ser similar a la siguiente (todos los switches + enlaces verdes) una vez completada correctamente:

Implementación de políticas de acceso de host/troncal

Para este ejemplo, se configuran los trunks vPC de dos pares VTEP diferentes y se prueba la conectividad dentro del entramado RTP local. Topología relevante como se muestra en la imagen:

Paso 1. Navegue hasta Control > Fabrics > Interfaces, como se muestra en la imagen.

Paso 2. Haga clic en el signo + para entrar en el Asistente para agregar una interfaz, como se muestra en la imagen.

En este ejemplo, se crea un enlace troncal vPC en dirección descendente al N7K, que se utiliza para realizar ping en las pruebas de este recorrido.

Paso 3. Seleccione el par vPC apropiado, las interfaces físicas, el encendido/apagado de LACP, BPDUGuard, etc.

Paso 4. Haga clic en Guardar cuando termine. Como alternativa, puede implementar directamente, como se muestra en la imagen.

Paso 5. (Opcional) Revise la configuración que se aplicará.

Paso 6. (Opcional) Configuración manual en 7K:

Paso 7.(Opcional) Creación de una SVI de prueba en N7K para hacer ping a los VTEP en RTP (los VTEP tienen Anycast Gateway de 10.212.20.1 en VRF andrea_red):

Paso 8. (Opcional) Verifique que otros VTEP dentro de RTP vean este host a través de EVPN/HMM:

Paso 9.(Opcional) Repita el mismo proceso para seoul-bb11/12 (cree vPC port-channel, cree SVI 2300). Ping de RTP-Izquierda a RTP-Derecha para confirmar la conectividad L2 sobre EVPN dentro del entramado RTP:

Se pueden seguir pasos similares para crear canales de puerto no vPC, interfaces de acceso, etc. bajo el contexto Add Interfaces.

Operaciones de día 2

Actualización del software NX-OS mediante DCNM

Paso 1. Cargue una imagen (o un conjunto de imágenes en el servidor de DCNM) y, a continuación, navegue hasta Control > Gestión de imágenes > Carga de imágenes, como se muestra en la imagen.

Paso 2. Siga las indicaciones para una carga local, los archivos deben aparecer como se muestra en esta imagen:

Paso 3. Una vez cargados los archivos, puede pasar a Install & Upgrade si los switches requieren una actualización. Vaya a Control > Image Management > Install & Upgrade, como se muestra en la imagen.

Paso 4. Seleccione los switches que desea actualizar. En este ejemplo, se actualiza todo el entramado RTP.

Paso 5. Seleccione la versión de NX-OS a la que desea actualizar los switches (como práctica recomendada, actualice todos los switches a la misma versión de NX-OS):

Paso 6. Haga clic en Next y DCNM ejecutará los switches mediante comprobaciones previas a la instalación. Esta ventana puede tardar bastante tiempo, por lo que también puede seleccionar Finish Installation Later (Finalizar la instalación más tarde) y programar la actualización mientras está fuera.

Esto pone en cola la tarea y aparece de forma similar a como se muestra en la imagen, una vez completada.

Nota: La excepción en el caso anterior fue que uno de los switches RTP no tenía suficiente espacio para la imagen de NX-OS.

Paso 7. Una vez finalizada la compatibilidad, haga clic en Finalizar instalación en la misma ventana, como se muestra en la imagen.

Paso 8. Puede seleccionar las actualizaciones que se van a realizar de forma simultánea (todas al mismo tiempo) o secuencial (una a la vez). Dado que se trata de un entorno de laboratorio, la opción seleccionada es concurrente.

Se crea la tarea y aparece EN CURSO, como se muestra en la imagen.

Aquí se muestra una forma alternativa de seleccionar la imagen.

Instalar Endpoint Locator

Para que las aplicaciones DCNM funcionen correctamente, debe disponer de conectividad en banda entre el servidor DCNM y un puerto del panel frontal a uno de los Nexus 9000 del fabric. En este ejemplo, el servidor DCNM está conectado a Ethernet1/5 de una de las columnas del fabric RTP.

Paso 1. Esta CLI se agrega manualmente al Nexus 9000:

Paso 2. Asegúrese de que puede hacer ping al servidor DCNM y viceversa en esta conexión punto a punto.

Paso 3. Vaya a DCNM GUI > Control > Endpoint Locator > Configure, como se muestra en la imagen.

Paso 4. Seleccione el fabric que desea que active Endpoint Locator, como se muestra en la imagen.

Paso 5. Como se muestra en la imagen, seleccione una columna.

Paso 6. (Opcional). Antes de continuar con el siguiente paso, se cambió la IP de eth2 de la implementación original a través de esta CLI en el servidor DCNM (este paso no es necesario si la IP original configurada durante la instalación nueva del servidor DCNM sigue siendo correcta):

Paso 7. Verifique la configuración de la interfaz en banda. Debe coincidir con la configuración del paso anterior.

Paso 8. Una vez revisada la configuración, haga clic en Configure. Este paso puede tardar unos minutos:

Una vez completada, aparece la notificación, como se muestra en la imagen.

Observe que DCNM ha configurado un vecino BGP en la columna seleccionada en la familia L2VPN EVPN.

Paso 9. Ahora puede utilizar Endpoint Locator. Vaya a Monitor > Endpoint Locator > Explore.

En este ejemplo, puede ver los dos hosts que se configuraron para las pruebas de ping locales en el entramado RTP:

Problemas encontrados durante esta implementación

Cableado Incorrecto

Un par de switches tenían un cableado defectuoso que causó un error de agrupamiento para el canal de puerto de enlace par vPC500. Ejemplo:

Paso 1. Vuelva a Control > Fabric Builder y revise los errores:

Paso 2. Para el primer error con respecto a la falla del comando port-channel500 — Verificado a través de show cdp neighbors que la conexión al par vPC estaba en un puerto 10G y 40G (no compatible). Se ha eliminado físicamente el puerto 10G y también se ha eliminado el enlace de DCNM:

Error al configurar una característica

Para el segundo error relacionado con "feature ngoam" que no se pudo configurar: el switch se actualizó a una versión más reciente de NX-OS compatible con "feature ngoam" y vuelva a hacer clic en Guardar e implementar. Ambas cuestiones se resolvieron.

Superposición de las subredes de gestión para distintos fabric

Mientras se implementa el segundo fabric, SJ, se utilizó la misma subred (si está físicamente separada, esto debería ser correcto); sin embargo, DCNM registra un conflicto y POAP falla. Esto se resuelve cuando el SJ Fabric se coloca en una VLAN de administración diferente y se cambia el rango de las direcciones DHCP.

Interfaces de ruptura

Paso 1. Para las interfaces de ruptura en algunos de los switches (consulte la topología), esta CLI se agregó manualmente para las columnas T2:

Paso 2. Navegue hasta Control > Interfaces, y elimine las interfaces matrices:

Las interfaces realmente utilizadas son Eth1/6/1-4 y Eth1/7/1-4. Si no corrige esto, el comando Save & Deploy fallará más adelante. Hay una manera de hacer la ruptura a través de DCNM sí mismo (botón junto al signo +; sin embargo, no se trata en este artículo)

Error de fabric al implementar en una capacidad no admitida

Algunos de los chasis (T2s) de SJ Fabric no admiten TRM, por lo que cuando DCNM intentó aplicar esta configuración, no pudo avanzar. Soporte de TRM aquí: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/92x/vxlan-92x/configuration/guide/b-cisco-nexus-9000-series-nx-os-vxlan-configuration-guide-92x/b_Cisco_Nexus_9000_Series_NX-OS_VXLAN_Configuration_Guide_9x_chapter_01001.html#concept_vw1_syb_zfb

Desactivada la casilla TRM Enable en las ventanas Network y VRF Edit se muestra en la imagen.

Repita el mismo proceso en Control > Fabric Builder > VRF.

  

Haga clic en Continuar y, a continuación, en Implementar, como se hizo anteriormente.

¿Qué novedades ofrece DCNM 11.2?

• Fabric Peering vPC

• Fabrics enrutados basados en eBGP

  • Activar EVPN en la parte superior

• Mejoras sencillas en el fabric Brownfield

  • Columna del borde/Columna GW del borde

  • Bidir PIM

  • Multidifusión enrutada por arrendatario

• Día 0/Bootstrap con servidor DHCP externo

Operaciones de día 2:

• Recursos de Network Insights

• Network Insights Advisor

• Compatibilidad con IPv6 para acceso externo (eth0)

• Visibilidad informática de VMM con UCS-FI

• Mejoras de Topology View

• Actualización en línea desde 11.0/11.1

Cambio de vPC tradicional a vPC sin MCT mediante DCNM:

Ventajas de vPC sin MCT:

• Solución de doble reposición mejorada sin desperdiciar puertos físicos

• Conserva las características tradicionales de vPC

• Routing optimizado para terminales de enlace único con PIP

Información Relacionada

• Guía de configuración de Cisco DCNM LAN Fabric, versión 11.2(1)
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/control.html
  
  
• Capítulo: Caso práctico de aprovisionamiento de límites en estructuras EVPN BGP VXLAN: varios sitios
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/border-provisioning-multisite.html
  
• Informe técnico sobre DCI NextGen con varios sitios VXLAN EVPN mediante gateways de frontera vPC
  https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/whitepaper-c11-742114.html#_Toc5275096
  
  
• Capítulo: Aplicaciones DCNM
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/applications.html