Solución de problemas de administración de ACI y servicios principales: administración en banda y fuera de banda

Introducción

Este documento describe los pasos para resolver problemas de administración ACI fuera de banda (OOB) e dentro de banda (INB).

Antecedentes

El material de este documento se extrajo del libro Troubleshooting Cisco Application Centric Infrastructure, Second Edition específicamente del capítulo Management and Core Services - In-band and out-of-band Management.

Administración dentro y fuera de banda

Los nodos de fabric de ACI tienen dos opciones para la conectividad de gestión: fuera de banda (OOB), que controla el puerto de gestión física dedicado en la parte posterior del dispositivo, o en banda (INB), que se aprovisiona mediante un EPG/BD/VRF específico en el arrendatario de gestión con un grado de parámetros configurables. Hay un EPG OOB presente en el arrendatario de administración ('mgmt'), pero está ahí de forma predeterminada y no se puede modificar. Solo permite la configuración de los contratos OOB proporcionados. En el APIC, la interfaz OOB se observa en la salida del comando 'ifconfig' como 'oobmgmt' y la interfaz en banda se representará mediante la interfaz 'bond.x', donde es la VLAN encap configurada para el EPG en banda.

apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.4.20  netmask 255.255.255.0  broadcast 192.168.4.255
        inet6 fe80::7269:5aff:feca:2986  prefixlen 64  scopeid 0x20
        ether 70:69:5a:ca:29:86  txqueuelen 1000  (Ethernet)
        RX packets 495815  bytes 852703636 (813.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 432927  bytes 110333594 (105.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

apic1# ifconfig bond0.300
bond0.300: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1496
        inet 10.30.30.254  netmask 255.255.255.0  broadcast 10.30.30.255
        inet6 fe80::25d:73ff:fec1:8d9e  prefixlen 64  scopeid 0x20
        ether 00:5d:73:c1:8d:9e  txqueuelen 1000  (Ethernet)
        RX packets 545  bytes 25298 (24.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6996  bytes 535314 (522.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

En la hoja, la interfaz OOB se ve como 'eth0' en la salida del comando 'ifconfig' y la INB se ve como una SVI dedicada. El usuario puede ver la interfaz con 'ifconfig' o con 'show ip interface vrf mgmt:', donde es el nombre seleccionado para el VRF en banda.

leaf101# show interface mgmt 0
mgmt0 is up
admin state is up,
  Hardware: GigabitEthernet, address: 00fc.baa8.2760 (bia 00fc.baa8.2760)
  Internet Address is 192.168.4.23/24
  MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is routed
  full-duplex, 1000 Mb/s
  Beacon is turned off
  Auto-Negotiation is turned on
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  EtherType is 0x0000
  30 seconds input rate 3664 bits/sec, 4 packets/sec
  30 seconds output rate 4192 bits/sec, 4 packets/sec
  Rx
    14114 input packets 8580 unicast packets 5058 multicast packets
    476 broadcast packets 2494768 bytes
  Tx
    9701 output packets 9686 unicast packets 8 multicast packets
    7 broadcast packets 1648081 bytes

leaf101# show ip interface vrf mgmt:inb
  IP Interface Status for VRF "mgmt:inb-vrf" 
  vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive 
    IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 
    secondary IP address: 10.30.30.3, IP subnet: 10.30.30.0/24 
    IP broadcast address: 255.255.255.255 
  IP primary address route-preference: 0, tag: 0

El comando 'show ip interface vrf mgmt:' mostrará la dirección IP de subred BD de administración en banda como dirección IP secundaria; este es el resultado esperado.

En los switches de columna, la dirección IP de administración en banda se agrega como una interfaz de loopback dedicada en el VRF 'mgmt:'. Por lo tanto, esta implementación es diferente de la implementación de IP de administración en banda en los switches de hoja. Observe la salida del comando 'show ip int vrf mgmt:' en un switch de columna

spine201# show ip interface vrf mgmt:inb
  IP Interface Status for VRF "mgmt:inb"
  lo10, Interface status: protocol-up/link-up/admin-up, iod: 98, mode: pervasive
    IP address: 10.30.30.12, IP subnet: 10.30.30.12/32
    IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0 

En Configuración del sistema, hay un parámetro para seleccionar la preferencia de conectividad dentro o fuera de banda para los APIC.

Solo el tráfico enviado desde el APIC utilizará la preferencia de gestión seleccionada en 'Preferencias de conectividad del APIC'. El APIC todavía puede recibir tráfico en banda o fuera de banda, suponiendo que se haya configurado alguna de estas opciones. APIC utiliza la siguiente lógica de reenvío:

• Paquetes que vienen en una interfaz y salen de esa misma interfaz.
• Los paquetes originados en el APIC, destinados a una red conectada directamente, salen de la interfaz conectada directamente.
• Los paquetes originados en el APIC, destinados a una red remota, prefieren los paquetes en banda o fuera de banda según las preferencias de conectividad del APIC.

Preferencias de conectividad de APIC

Tabla de routing APIC con OOB seleccionado. Observe el valor de métrica de 16 para la interfaz oobmgmt que es inferior a la métrica de interfaz de administración en banda bond0.300 de 32. Esto significa que la interfaz de administración fuera de banda oobmgmt se utilizará para el tráfico de administración saliente.

apic1# bash
admin@apic1:~> route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.4.1     0.0.0.0         UG    16     0        0 oobmgmt
0.0.0.0         10.30.30.1      0.0.0.0         UG    32     0        0 bond0.300

Tabla de routing APIC con banda seleccionada. Observe la métrica de la interfaz de administración en banda bond0.300 si 8 es ahora menor que la métrica de la interfaz oobmgmt de 16. Lo que significa que la interfaz de administración en banda bond0.300 se utilizará para el tráfico de administración saliente.

admin@apic1:~> route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.30.30.1      0.0.0.0         UG    8      0        0 bond0.300
0.0.0.0         192.168.4.1     0.0.0.0         UG    16     0        0 oobmgmt

Esta configuración no afecta a las preferencias de administración del nodo de columna y de hoja. Estas preferencias de conectividad se seleccionan en las políticas de protocolo. A continuación se muestra un ejemplo de NTP.

Si se selecciona en banda en las Preferencias de conectividad APIC, pero luego se selecciona fuera de banda en el protocolo, ¿qué interfaz con el uso de paquetes de protocolo?

• La preferencia de conectividad APIC siempre tendrá prioridad sobre la selección de protocolo en el APIC.
• Los nodos de hoja son lo contrario, sólo hacen referencia a la selección bajo el protocolo.

Situación: No se puede alcanzar la red de administración

Si el usuario no puede acceder a la red de administración, puede deberse a una serie de problemas diferentes, pero siempre puede utilizar la misma metodología para aislar el problema. En esta situación, se supone que el usuario no puede acceder a ningún dispositivo de la red de gestión desde detrás de su salida L3.

• Verifique la preferencia de conectividad de APIC. Esto se describe en la figura "Preferencias de conectividad APIC" y las opciones son OOB o en banda.
• Según la preferencia seleccionada, verifique que la configuración sea correcta, que las interfaces estén activas, que el gateway predeterminado sea accesible a través de la interfaz seleccionada y que no haya caídas en la trayectoria del paquete.

No olvide verificar si hay fallas en cada sección de la configuración en la GUI. Sin embargo, algunos errores de configuración pueden manifestarse en estados inesperados, pero un error puede generarse en otra sección distinta de la que el usuario consideraría inicialmente.

Acceso a la administración fuera de banda

Verificación de la configuración fuera de banda

Para la configuración fuera de banda, hay cuatro carpetas para verificar bajo un arrendatario especial llamado 'mgmt':

• Direcciones de administración de nodos.
• EPG de administración de nodos.
• Contratos fuera de banda (en contratos).
• Perfiles de instancia de red externa.

Las direcciones de administración de nodos se pueden asignar de forma estática o desde un conjunto. A continuación se muestra un ejemplo de asignación de dirección estática. Verifique que se asignen direcciones IP fuera de banda y que la gateway predeterminada sea correcta.

Verificación de GUI de direcciones de administración de nodos estáticos

El EPG fuera de banda debe estar presente en la carpeta de EPG de administración de nodos.

EPG fuera de banda: predeterminado

Los contratos que rigen qué servicios de gestión se proporcionan desde el EPG fuera de banda son contratos especiales configurados en la carpeta de contratos fuera de banda.

Contrato fuera de banda

A continuación, verifique que se haya creado el perfil de instancia de red de administración externa y que el contrato fuera de banda correcto esté configurado como el 'Contrato fuera de banda consumido'.

Perfil de instancia de red de administración externa

Los siguientes elementos que se deben verificar son el estado y el cableado de la interfaz y, a continuación, la conectividad con la puerta de enlace.

• Para comprobar si la interfaz oobmgmt está activa, introduzca 'ifconfig oobmgmt' en la CLI de APIC. Verifique que los indicadores de la interfaz sean 'UP' y 'RUNNING', que la dirección IP correcta esté configurada y que los paquetes estén aumentando en los contadores RX y TX. Si falta alguna comprobación, verifique que se estén utilizando los cables correctos y que estén conectados a los puertos de administración física correctos en el APIC. Los puertos de administración se etiquetarán como Eth1-1 y Eth1-2, y el hardware reciente tiene pegatinas de administración de objetos para indicar la interfaz fuera de banda. Para obtener más información sobre los puertos de administración físicos fuera de banda en la parte posterior de un APIC, consulte la sección "Configuración inicial de fabric" en el capítulo "Detección de fabric".
  
  

apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
inet 192.168.4.20  netmask 255.255.255.0  broadcast 192.168.4.255
inet6 fe80::7269:5aff:feca:2986  prefixlen 64  scopeid 0x20
ether 70:69:5a:ca:29:86  txqueuelen 1000  (Ethernet)
RX packets 295605  bytes 766226440 (730.7 MiB)
RX errors 0  dropped 0  overruns 0  frame 0
TX packets 253310  bytes 38954978 (37.1 MiB)
TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

• Para verificar la conectividad de red a través de OOB, utilice ping para probar la trayectoria del paquete a través de la red fuera de banda.

apic1# ping 192.168.4.1
PING 192.168.4.1 (192.168.4.1) 56(84) bytes of data.
64 bytes from 192.168.4.1: icmp_seq=1 ttl=255 time=0.409 ms
64 bytes from 192.168.4.1: icmp_seq=2 ttl=255 time=0.393 ms
64 bytes from 192.168.4.1: icmp_seq=3 ttl=255 time=0.354 ms

Con traceroute en el shell bash del APIC, rastree la conectividad con el usuario final. Si el traceroute está incompleto, inicie sesión en este dispositivo (si es accesible) y haga ping a la interfaz oobmgmt y al host. En función de la dirección en la que falle, solucione el problema como un problema de red tradicional.

Traceroute funciona enviando paquetes UDP con un TTL creciente, empezando por 1. Si un router recibe el paquete con TTL 1 y necesita enrutarlo, descarta la trama y envía un mensaje de ICMP inalcanzable al remitente. Cada salto se envía a 3 paquetes UDP en el TTL actual, y los asteriscos representan intentos en los que no se recibió un paquete ICMP inalcanzable / TTL excedido. Estos 3 bloques de asteriscos se esperan en la mayoría de las redes, ya que algunos dispositivos de ruteo tienen mensajes ICMP inalcanzable / TTL Exceeded inhabilitados, por lo que cuando reciben paquetes TTL 1 que necesitan rutear, simplemente descartan el paquete y no envían el mensaje de vuelta al remitente.

apic1# bash
admin@apic1:~> traceroute 10.55.0.16
traceroute to 10.55.0.16 (10.55.0.16), 30 hops max, 60 byte packets
    1  192.168.4.1 (192.168.4.1)  0.368 ms  0.355 ms  0.396 ms
    2  * * *
    3  * * *
    4  10.0.255.221 (10.0.255.221)  6.419 ms 10.0.255.225 (10.0.255.225)  6.447 ms *
    5  * * *
    6  * * *
    7  10.55.0.16 (10.55.0.16)  8.652 ms  8.676 ms  8.694 ms

Los switches de hoja tienen acceso al comando tcpdump, que se puede utilizar para verificar qué paquetes atraviesan la interfaz oobmgmt. El siguiente ejemplo captura en 'eth0', que es la interfaz oobmgmt utilizada en los switches de columna y hoja, y utiliza la opción '-n' para tcpdump para proporcionar las direcciones IP utilizadas en lugar de los nombres DNS, y luego filtra específicamente para paquetes NTP (puerto UDP 123). Recuerde que en el ejemplo anterior la hoja está sondeando el servidor NTP 172.18.108.14. A continuación, el usuario puede verificar que los paquetes NTP se transmiten a través de la interfaz fuera de banda y también que la hoja está recibiendo una respuesta del servidor.

fab1-leaf101# tcpdump -n -i eth0 dst port 123
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
16:49:01.431624 IP 192.168.4.23.123 > 172.18.108.14.123: NTPv4, Client, length 48
16:49:01.440303 IP 172.18.108.14.123 > 192.168.4.23.123: NTPv4, Server, length 48

La configuración de gestión en banda requiere consideraciones específicas para las implementaciones de capa 2 o capa 3. Este ejemplo solo cubre la implementación y la resolución de problemas de Capa 3.

Configuración de administración en banda

Verifique que haya un BD en el arrendatario de administración con una subred desde la cual se asignarán direcciones de administración de nodos en banda a los nodos de fabric para la conectividad en banda, y asegúrese de que el L3Out esté asociado bajo el BD de administración en banda.

Subred de dominio de puente que actuará como gateway de administración en banda

Verifique que haya un EPG de administración de nodos en banda. Según la captura de pantalla siguiente, los nombres de EPG en banda se indican en la GUI con el prefijo 'inb-'. Verifique que la VLAN de encapsulamiento EPG en banda esté asociada correctamente con un conjunto de VLAN.

Las políticas de acceso deben permitir la encapsulación VLAN configurada en el EPG de administración en banda: 'inb mgmt EPG encap VLAN > VLAN Pool > Domain > AEP > Interface Policy Group > Leaf Interface Profile > Switch Profile'. Si no se configuran las políticas de acceso compatibles, se generará un error con el código F0467 según la siguiente captura de pantalla.

Fault F0467 - inb EPG

Verifique que el dominio de bridge sea el mismo que el creado anteriormente para la subred en banda. Por último, verifique que haya un contrato proporcionado configurado en el EPG de administración en banda, que consume el EPG externo.

EPG en banda

Perfil de instancia EPG externo

De forma similar a fuera de banda, las direcciones IP de administración en banda de nodos de fabric se pueden asignar de forma estática o dinámica desde un intervalo preseleccionado. Verifique que las direcciones aplicadas para el tipo en banda coincidan con la subred BD anterior que se configuró. Compruebe también que el gateway predeterminado es correcto.

Direcciones de administración de nodos estáticos

Si todo se ha configurado correctamente y no hay fallos en ninguna de las secciones mencionadas, el siguiente paso consiste en realizar un ping entre los switches o los APIC para comprobar que la conectividad en banda funciona correctamente dentro de ACI.

Los nodos de columna no responderán al ping en la banda, ya que utilizan interfaces de loopback para la conectividad que no responden al ARP.

La interfaz en banda utilizada en los switches de hoja es kpm_inb. Con una captura tcpdump similar, verifique que el paquete está saliendo de la interfaz de CPU en banda.

fab2-leaf101# tcpdump -n -i kpm_inb dst port 123 
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:46:50.431647 IP 10.30.30.3.123 > 172.18.108.14.123: NTPv4, Client, length 48
16:47:19.431650 IP 10.30.30.3.123 > 172.18.108.15.123: NTPv4, Client, length 48

Verifique que la SVI utilizada para la banda es 'protocol-up/link-up/admin-up'.

fab1-leaf101# show ip interface vrf mgmt:inb-vrf
IP Interface Status for VRF "mgmt:inb-vrf"
vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive
    IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 secondary
    IP address: 10.30.30.3, IP subnet: 10.30.30.0/24
    IP broadcast address: 255.255.255.255
    IP primary address route-preference: 0, tag: 0