Dépannage de la gestion de l'ACI et des services principaux - Gestion intrabande et hors bande

Introduction

Ce document décrit les étapes de dépannage de la gestion hors bande (OOB) et intrabande (INB) de l'ACI.

Informations générales

Le contenu de ce document a été extrait du livre Troubleshooting Cisco Application Centric Infrastructure, Second Edition, plus précisément du chapitre Management and Core Services - In-band and out-of-band Management.

Gestion intrabande et hors bande

Les noeuds de fabric ACI disposent de deux options de connectivité de gestion ; OOB (out-of-band), qui régit le port de gestion physique dédié à l'arrière du périphérique, ou INB (in-band), qui est provisionné à l'aide d'un EPG/BD/VRF spécifique dans le locataire de gestion avec un certain degré de paramètres configurables. Un EPG OOB est présent dans le locataire de gestion (« mgmt »), mais il est présent par défaut et ne peut pas être modifié. Elle autorise uniquement la configuration des contrats OOB fournis. Sur le contrôleur APIC, l'interface OOB est observée dans le résultat de la commande « ifconfig » sous la forme « oobmgmt » et l'interface intrabande sera représentée par l'interface « bond.x », où est le VLAN encap configuré pour l'EPG intrabande.

apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.4.20  netmask 255.255.255.0  broadcast 192.168.4.255
        inet6 fe80::7269:5aff:feca:2986  prefixlen 64  scopeid 0x20
        ether 70:69:5a:ca:29:86  txqueuelen 1000  (Ethernet)
        RX packets 495815  bytes 852703636 (813.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 432927  bytes 110333594 (105.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

apic1# ifconfig bond0.300
bond0.300: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1496
        inet 10.30.30.254  netmask 255.255.255.0  broadcast 10.30.30.255
        inet6 fe80::25d:73ff:fec1:8d9e  prefixlen 64  scopeid 0x20
        ether 00:5d:73:c1:8d:9e  txqueuelen 1000  (Ethernet)
        RX packets 545  bytes 25298 (24.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6996  bytes 535314 (522.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Sur le leaf, l'interface OOB est considérée comme « eth0 » dans le résultat de la commande « ifconfig » et l'INB est considérée comme une interface SVI dédiée. L'utilisateur peut afficher l'interface avec « ifconfig » ou avec « show ip interface vrf mgmt: » où est le nom sélectionné pour le VRF intrabande.

leaf101# show interface mgmt 0
mgmt0 is up
admin state is up,
  Hardware: GigabitEthernet, address: 00fc.baa8.2760 (bia 00fc.baa8.2760)
  Internet Address is 192.168.4.23/24
  MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is routed
  full-duplex, 1000 Mb/s
  Beacon is turned off
  Auto-Negotiation is turned on
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  EtherType is 0x0000
  30 seconds input rate 3664 bits/sec, 4 packets/sec
  30 seconds output rate 4192 bits/sec, 4 packets/sec
  Rx
    14114 input packets 8580 unicast packets 5058 multicast packets
    476 broadcast packets 2494768 bytes
  Tx
    9701 output packets 9686 unicast packets 8 multicast packets
    7 broadcast packets 1648081 bytes

leaf101# show ip interface vrf mgmt:inb
  IP Interface Status for VRF "mgmt:inb-vrf" 
  vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive 
    IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 
    secondary IP address: 10.30.30.3, IP subnet: 10.30.30.0/24 
    IP broadcast address: 255.255.255.255 
  IP primary address route-preference: 0, tag: 0

La commande 'show ip interface vrf mgmt:' affiche l'adresse IP de sous-réseau BD de gestion intrabande comme adresse IP secondaire ; ce résultat est attendu.

Sur les commutateurs spine, l'adresse IP de gestion intrabande est ajoutée en tant qu'interface de bouclage dédiée dans le VRF « mgmt: ». Cette implémentation est donc différente de l'implémentation IP de gestion intrabande sur les commutateurs Leaf. Observez le résultat de la commande 'show ip int vrf mgmt:' ci-dessous sur un commutateur spine

spine201# show ip interface vrf mgmt:inb
  IP Interface Status for VRF "mgmt:inb"
  lo10, Interface status: protocol-up/link-up/admin-up, iod: 98, mode: pervasive
    IP address: 10.30.30.12, IP subnet: 10.30.30.12/32
    IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0 

Sous System Settings (Paramètres système), vous pouvez sélectionner la préférence de connectivité intrabande ou hors bande pour les cartes APIC.

Seul le trafic envoyé par le contrôleur APIC utilise la préférence de gestion sélectionnée dans les « Préférences de connectivité du contrôleur APIC ». Le contrôleur APIC peut toujours recevoir le trafic en bande ou hors bande, à condition que l’un ou l’autre soit configuré. Le contrôleur APIC utilise la logique de transfert suivante :

• Paquets qui arrivent dans une interface et sortent de cette même interface.
• Les paquets provenant du contrôleur APIC et destinés à un réseau connecté directement sortent de l’interface connectée directement.
• Les paquets provenant du contrôleur APIC, destinés à un réseau distant, préfèrent les paquets intrabande ou hors bande en fonction des préférences de connectivité du contrôleur APIC.

Préférences de connectivité APIC

Table de routage APIC avec OOB sélectionné. Observez la valeur de mesure 16 pour l'interface oobmgmt, qui est inférieure à la mesure d'interface de gestion intrabande bond0.300 de 32. Cela signifie que l'interface de gestion hors bande oobmgmt sera utilisée pour le trafic de gestion sortant.

apic1# bash
admin@apic1:~> route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.4.1     0.0.0.0         UG    16     0        0 oobmgmt
0.0.0.0         10.30.30.1      0.0.0.0         UG    32     0        0 bond0.300

Table de routage APIC avec sélection intrabande. Observez la mesure de l'interface de gestion in-band bond0.300 si la valeur 8 est maintenant inférieure à la mesure de l'interface oobmgmt 16. Cela signifie que l'interface de gestion in-band bond0.300 sera utilisée pour le trafic de gestion sortant.

admin@apic1:~> route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.30.30.1      0.0.0.0         UG    8      0        0 bond0.300
0.0.0.0         192.168.4.1     0.0.0.0         UG    16     0        0 oobmgmt

Les préférences de gestion des noeuds Leaf et Spine ne sont pas affectées par ce paramètre. Ces préférences de connectivité sont sélectionnées dans les stratégies de protocole. Voici un exemple pour NTP.

Si l’option intrabande est sélectionnée dans les préférences de connectivité du contrôleur APIC, mais que l’option hors bande est sélectionnée dans le protocole, quelle interface avec le paquet de protocole utilise ?

• La préférence de connectivité du contrôleur APIC prévaut toujours sur la sélection de protocole sur le contrôleur APIC.
• Les noeuds leaf sont l'inverse, ils référencent uniquement la sélection sous le protocole.

Scénario: Impossible d'atteindre le réseau de gestion

Si l'utilisateur ne parvient pas à accéder au réseau de gestion, cela peut être dû à différents problèmes, mais il peut toujours utiliser la même méthodologie pour isoler le problème. Dans ce scénario, l'utilisateur ne peut pas accéder à des périphériques du réseau de gestion depuis l'arrière de son L3Out.

• Vérifiez la préférence de connectivité APIC. Ceci est décrit dans la figure « Préférences de connectivité du contrôleur APIC » et les options sont OOB ou in-band.
• En fonction de la préférence sélectionnée, vérifiez que la configuration est correcte, que les interfaces sont actives, que la passerelle par défaut est accessible via l'interface sélectionnée et qu'il n'y a pas de branchement sur le chemin du paquet.

N'oubliez pas de vérifier les erreurs dans chaque section de configuration de l'interface utilisateur graphique. Cependant, certaines erreurs de configuration peuvent se manifester dans des états inattendus, mais une erreur peut être générée dans une autre section que celle que l'utilisateur considérerait initialement.

Accès de gestion hors bande

Vérification de la configuration hors bande

Pour la configuration hors bande, il existe quatre dossiers à vérifier sous un service partagé spécial appelé « mgmt » :

• Adresses de gestion des noeuds.
• EPG de gestion des noeuds.
• Contrats hors bande (sous Contrats).
• Profils d'instance réseau externe.

Les adresses de gestion de noeud peuvent être attribuées de manière statique ou à partir d'un pool. Vous trouverez ci-dessous un exemple d’attribution d’adresses statiques. Vérifiez que les types d'adresses IP hors bande sont attribués et que la passerelle par défaut est correcte.

Vérification de l'interface graphique utilisateur des adresses de gestion des noeuds statiques

Le fichier EPG hors bande doit se trouver sous le dossier Node Management EPGs.

EPG hors bande - par défaut

Les contrats qui régissent les services de gestion fournis à partir de l'EPG hors bande sont des contrats spéciaux configurés dans le dossier des contrats hors bande.

contrat hors bande

Vérifiez ensuite que le profil d'instance de réseau de gestion externe est créé et que le contrat hors bande correct est configuré comme « Contrat hors bande consommé ».

Profil d'instance réseau de gestion externe

Les éléments suivants à vérifier sont l’état de l’interface et le câblage, puis la connectivité à la passerelle.

• Pour vérifier si l'interface oobmgmt est active, entrez « ifconfig oobmgmt » dans l'interface de ligne de commande du contrôleur APIC. Vérifiez que les indicateurs d'interface sont « UP » et « RUNNING », que l'adresse IP correcte est configurée et que les paquets augmentent dans les compteurs RX et TX. Si aucun contrôle n'est effectué, vérifiez que les câbles appropriés sont utilisés et qu'ils sont connectés aux ports de gestion physiques appropriés sur le contrôleur APIC. Les ports de gestion seront étiquetés Eth1-1 et Eth1-2 et le matériel récent comporte des autocollants oobmgmt pour indiquer l'interface hors bande. Pour plus d'informations sur les ports de gestion hors bande physiques à l'arrière d'un APIC, reportez-vous à la section « Configuration initiale du fabric » du chapitre « Découverte du fabric ».
  
  

apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
inet 192.168.4.20  netmask 255.255.255.0  broadcast 192.168.4.255
inet6 fe80::7269:5aff:feca:2986  prefixlen 64  scopeid 0x20
ether 70:69:5a:ca:29:86  txqueuelen 1000  (Ethernet)
RX packets 295605  bytes 766226440 (730.7 MiB)
RX errors 0  dropped 0  overruns 0  frame 0
TX packets 253310  bytes 38954978 (37.1 MiB)
TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

• Pour vérifier la connectivité du réseau via l'OOB, utilisez la commande ping pour tester le chemin du paquet via le réseau hors bande.

apic1# ping 192.168.4.1
PING 192.168.4.1 (192.168.4.1) 56(84) bytes of data.
64 bytes from 192.168.4.1: icmp_seq=1 ttl=255 time=0.409 ms
64 bytes from 192.168.4.1: icmp_seq=2 ttl=255 time=0.393 ms
64 bytes from 192.168.4.1: icmp_seq=3 ttl=255 time=0.354 ms

À l’aide de la commande traceroute dans l’interpréteur de commandes bash du contrôleur APIC, tracez la connectivité vers l’utilisateur final. Si la commande traceroute est incomplète, connectez-vous à ce périphérique (s'il est accessible) et envoyez une requête ping à l'interface oobmgmt et à l'hôte. En fonction de la direction dans laquelle le problème échoue, dépannez-le en tant que problème réseau traditionnel.

Traceroute envoie des paquets UDP avec une durée de vie (TTL) croissante, en commençant par 1. Si un routeur reçoit le paquet avec une durée de vie (TTL) de 1 et doit l’acheminer, il abandonne la trame et renvoie un message ICMP d’inaccessibilité à l’expéditeur. Chaque saut reçoit 3 paquets UDP au niveau de la durée de vie actuelle et les astérisques représentent les tentatives pour lesquelles aucun paquet ICMP inaccessible / TTL dépassé n'a été reçu. Ces 3 blocs d'astérisque sont attendus dans la plupart des réseaux, car certains périphériques de routage ont des messages ICMP inaccessibles / TTL dépassé désactivés. Ainsi, lorsqu'ils reçoivent des paquets TTL 1 qu'ils doivent router, ils abandonnent simplement le paquet et ne le renvoient pas à l'expéditeur.

apic1# bash
admin@apic1:~> traceroute 10.55.0.16
traceroute to 10.55.0.16 (10.55.0.16), 30 hops max, 60 byte packets
    1  192.168.4.1 (192.168.4.1)  0.368 ms  0.355 ms  0.396 ms
    2  * * *
    3  * * *
    4  10.0.255.221 (10.0.255.221)  6.419 ms 10.0.255.225 (10.0.255.225)  6.447 ms *
    5  * * *
    6  * * *
    7  10.55.0.16 (10.55.0.16)  8.652 ms  8.676 ms  8.694 ms

Les commutateurs leaf ont accès à la commande tcpdump, qui peut être utilisée pour vérifier quels paquets traversent l'interface oobmgmt. L'exemple ci-dessous capture sur « eth0 », qui est l'interface oobmgmt utilisée sur les commutateurs Leaf et Spine, et utilise l'option « -n » pour tcpdump pour donner les adresses IP utilisées au lieu des noms DNS, puis le filtrage spécifique pour les paquets NTP (port UDP 123). Rappelez-vous que dans l’exemple précédent, le leaf interroge le serveur NTP 172.18.108.14. Ci-dessous, l’utilisateur peut vérifier que les paquets NTP sont transmis via l’interface hors bande et également que le leaf reçoit une réponse du serveur.

fab1-leaf101# tcpdump -n -i eth0 dst port 123
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
16:49:01.431624 IP 192.168.4.23.123 > 172.18.108.14.123: NTPv4, Client, length 48
16:49:01.440303 IP 172.18.108.14.123 > 192.168.4.23.123: NTPv4, Server, length 48

La configuration de la gestion intrabande nécessite des considérations spécifiques pour les déploiements de couche 2 ou 3. Cet exemple couvre uniquement le déploiement et le dépannage de la couche 3.

Configuration de la gestion intrabande

Vérifiez qu'il existe un BD dans le locataire de gestion avec un sous-réseau à partir duquel les adresses de gestion de noeud intrabande seront allouées aux noeuds de fabric pour la connectivité intrabande, et assurez-vous que L3Out est associé sous le BD de gestion intrabande.

Sous-réseau de domaine de pont qui jouera le rôle de passerelle de gestion intrabande

Vérifiez la présence d'un EPG de gestion de noeud intrabande. Comme l'indique la capture d'écran ci-dessous, les noms de groupes de terminaux intrabande sont indiqués dans l'interface utilisateur graphique par le préfixe « inb- ». Vérifiez que le VLAN d'encapsulation EPG intrabande est correctement associé à un pool de VLAN.

Le VLAN d'encapsulation configuré dans l'EPG de gestion intrabande doit être autorisé par les politiques d'accès : 'inb mgmt EPG encap VLAN > VLAN Pool > Domain > AEP > Interface Policy Group > Leaf Interface Profile > Switch Profile'. Si les politiques d'accès de prise en charge ne sont pas configurées, une erreur avec le code F0467 sera soulevée comme indiqué ci-dessous.

Erreur F0467 - inb EPG

Vérifiez que le domaine du pont est le même que celui créé ci-dessus pour le sous-réseau intrabande. Enfin, vérifiez qu'un contrat fourni est configuré sur l'EPG de gestion intrabande, qui est utilisé par l'EPG externe.

EPG intrabande

Profil d'instance EPG externe

Comme pour les adresses IP hors bande, les adresses IP de gestion intrabande de noeud de fabric peuvent être attribuées de manière statique ou dynamique à partir d'une plage présélectionnée. Vérifiez que les adresses appliquées pour le type intrabande correspondent au sous-réseau BD précédent qui a été configuré. Vérifiez également que la passerelle par défaut est correcte.

Adresses de gestion de noeud statique

Si tout a été correctement configuré et qu'aucune des sections mentionnées ci-dessus ne présente de défaut, l'étape suivante consiste à envoyer une requête ping entre les commutateurs et/ou les cartes APIC pour vérifier que la connectivité intrabande fonctionne correctement au sein de l'ACI.

Les noeuds spine ne répondent pas à la requête ping sur le réseau intrabande car ils utilisent des interfaces de bouclage pour la connectivité qui ne répondent pas au protocole ARP.

L'interface intrabande utilisée sur les commutateurs Leaf est kpm_inb. À l’aide d’une capture tcpdump similaire, vérifiez que le paquet sort de l’interface UC intrabande.

fab2-leaf101# tcpdump -n -i kpm_inb dst port 123 
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:46:50.431647 IP 10.30.30.3.123 > 172.18.108.14.123: NTPv4, Client, length 48
16:47:19.431650 IP 10.30.30.3.123 > 172.18.108.15.123: NTPv4, Client, length 48

Vérifiez que l'interface SVI utilisée pour les connexions intrabande est « protocol-up/link-up/admin-up ».

fab1-leaf101# show ip interface vrf mgmt:inb-vrf
IP Interface Status for VRF "mgmt:inb-vrf"
vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive
    IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 secondary
    IP address: 10.30.30.3, IP subnet: 10.30.30.0/24
    IP broadcast address: 255.255.255.255
    IP primary address route-preference: 0, tag: 0