Dépannage du commutateur à double rôle ACI et de la carte VIC Intel

Introduction

Ce document décrit l'utilisation des commutateurs à double rôle dans le fabric ACI (infrastructure axée sur les applications) et l'utilisation des cartes d'interface virtuelle (VIC) Intel.

Problème

Les problèmes signalés :

1. Le commutateur Spine N9K-C93600CD-GX n'est pas disponible dans le cluster.

2. L'interface utilisateur du contrôleur APIC (Application Policy Infrastructure Controller) indique les numéros d'interface connectés incorrects.

3. L’interface utilisateur graphique APIC affiche la même adresse MAC pour toutes les interfaces (eth2-1, eth2-2, eth2-3, eth2-4).

Solution

1. Le commutateur dorsal N9K-C93600CD-GX n'est pas disponible dans le cluster

Il a été observé qu'une approche très générique a été utilisée lorsque ce genre de problèmes sont signalés. Il s'agit d'étapes de dépannage de base qui peuvent être effectuées pour l'isolation, mais qui doivent être effectuées après avoir vérifié le guide d'installation du produit et s'être assuré que les paramètres et exigences actuels correspondent.

i. Déplacez les connexions du côté du commutateur ou du côté du contrôleur APIC.

ii. Le rechargement du commutateur ou du contrôleur APIC est effectué.

iii. Des commandes CLI supplémentaires sont collectées ou parfois des journaux d'assistance technique sont collectés pour approfondir l'étude du problème.

Toutes ces étapes sont correctes et doivent être suivies. Mais il y a une autre étape qui peut être vérifiée chaque fois qu'il y a un problème de découverte avec un identifiant de pièce (PID) spécifique. Cette vérification de base consiste à consulter le guide d'installation matérielle de ce commutateur spécifique.

Par exemple, un utilisateur a rencontré un problème avec le commutateur PID N9K-C93600CD-GX et il a essayé de le faire apparaître comme une colonne vertébrale et il a été connecté au commutateur Leaf via son propre numéro de port 20. Ce commutateur de colonne vertébrale n'est jamais venu.

Dans le guide d'installation, vous trouverez les informations suivantes :

• Ce rôle de commutateur par défaut est un commutateur Leaf.
• Les liaisons de matrice par défaut (ports 29 à 36) doivent être utilisées pour la détection initiale du commutateur via un autre commutateur.
• Pour modifier le rôle par défaut du commutateur, procédez comme suit : le noeud apparaît comme un périphérique découvert dans la vue d'inventaire du fabric, vous devez définir le rôle du commutateur (spine ou leaf) et le commutateur passe automatiquement au redémarrage pour apparaître dans le rôle configuré.
• Si vous connectez un spine par défaut (commutateur à double rôle qui est par défaut un spine, tel que Nexus 9316D-GX) directement à un APIC, le changement du rôle en leaf est effectué automatiquement par l'APIC ainsi que le redémarrage. Après cela, le noeud apparaît dans Noeuds en attente d'enregistrement et vous devez enregistrer le noeud.

Vérifiez toujours les sections telles que les considérations relatives au rôle Leaf/Spine et les considérations relatives à la détection avant d'effectuer des vérifications supplémentaires.

Référence : https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html.

De même, pour le PID C9316D-GX, le rôle par défaut est la colonne vertébrale. Mais il peut aussi fonctionner comme une feuille dans le tissu.

Référence : https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html.

D'autres exemples sont PID 9332D-GX2B et 9364C-GX, le rôle par défaut est leaf mais peut fonctionner comme spine.

Le 9332D-GX2B doit être connecté via sa propre plage de ports de 25 à 32.

Le 9364C-GX doit être connecté via sa propre plage de ports de 49 à 62.

Par conséquent, vérifiez toujours le guide d'installation du matériel avant de procéder à toute autre étape de dépannage, car cela permet de gagner du temps.

2. L'interface graphique utilisateur APIC affiche des numéros d'interface erronés connectés

Il a été signalé que les connexions physiques des câbles ont été effectuées sur les interfaces eth2-1 et eth2-3 du contrôleur APIC, mais dans l'interface utilisateur graphique du contrôleur APIC, il a été constaté que les interfaces eth2-2 et eth2-4 s'affichaient. Un comportement similaire a été observé pour les trois APIC du cluster.

L'utilisateur utilisait le logement PCIe (Peripheral Component Interconnect Express) - interface réseau 10GBase-T à quatre ports APIC-PCIE-IQ10GC Intel X710, et non les cartes Cisco VIC.

Vérifiez dans Cisco Integrated Management Controller (CIMC), chassis > Inventory > PCI Adapters.

Il a été confirmé que le mode NIC dans CIMC est dédié aux trois CIMC, avec l'état TPM (Trusted Platform Module) activé et la propriété détenue. Toutes les autres sorties semblent bien aussi. Par la suite, un défaut logiciel (ID de bogue Cisco CSCwd21587) a été classé pour poursuivre le dépannage.

Il a été constaté que :

Carte réseau 10GBase-T4 quatre ports Intel X710-T4, le schéma de numérotation des ports commence sur le port droit et s'incrémente vers le port gauche.

Généralement, les connexions d'une configuration de fabric sont établies en supposant que la numérotation commence à gauche, ce qui n'est pas applicable ici.

Les ports se voient attribuer des numéros de droite à gauche de la manière suivante :

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

Avec ce schéma de numérotation à l'esprit, APIC détecte les ports corrects et affiche les ports sur l'interface graphique utilisateur comme prévu.

Il a également été mis à jour dans le document : https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf.

Points à retenir :

• Les cartes APIC-PCIE-IQ10GC ou UCSC-PCIE-IQ10GC doivent toujours être installées dans le logement PCIe 1 pour les cartes APIC M3/L3.
• APIC-PCIE-IQ10GC ou UCSC-PCIE-IQ10GC peuvent utiliser n'importe quel port ou n'importe quelle paire de ports afin de se connecter à un noeud leaf.
• Les numéros de port des cartes APIC-PCIE-IQ10GC ou UCSC-PCIE-IQ10GC sont classés dans l'ordre | eth2-4 | eth2-3 | eth2-2 | eth2-1 | et la numérotation sur le châssis n'est pas valide.
• À partir de la version 4.2(5), la carte d'interface réseau UCSC-PCIE-IQ10GC Intel X710 Quad Port 10GBase- est prise en charge pour la connectivité 10GBast-T aux noeuds leaf Cisco ACI.

3. L’interface graphique utilisateur APIC affiche la même adresse MAC pour toutes les interfaces (eth2-1, eth2-2, eth2-3, eth2-4)

Il a été constaté que l’interface utilisateur graphique du contrôleur APIC n’affichait pas l’adresse MAC correcte pour chaque interface. Toutes les adresses MAC étaient identiques.

Souvenez-vous toujours qu'il existe une association active/de secours entre les interfaces, de sorte que vous devez toujours voir l'adresse MAC de l'interface active qui peut être attribuée à l'interface bond0, donc vous voyez la même adresse MAC.

Ici, vous voyez l'adresse MAC de l'interface inactive comme indiqué dans le résultat :

Il s'agit d'un défaut logiciel qui est documenté sous l'ID de bogue Cisco CSCwd21587.

Idéalement, vous devez voir l'adresse MAC de eth2-2 qui est l'adresse active et eth2-4 la sauvegarde ici.

Il s'agit d'un problème de serveur principal car la liste de l'interface utilisateur est créée en fonction de la moquery cnwPhysIf. Elle indiquemoquery cnwPhysIf également l’adresse MAC de l’interface eth2-1 désactivée.

La solution de contournement consiste à utiliser la commande cat /proc/net/bonding/bond0 sur APIC afin de vérifier les adresses MAC correctes. Pour un correctif permanent, consultez la page des défauts du logiciel.