Fehlerbehebung bei ACI Dual Role Switch und Intel VIC Card

Einleitung

Dieses Dokument beschreibt die Verwendung von Switches mit zwei Rollen in der Application Centric Infrastructure (ACI) Fabric und die Verwendung von Intel Virtual Interface Cards (VICs).

Problem

Folgende Probleme wurden gemeldet:

1. Der Spine-Switch N9K-C93600CD-GX wird im Cluster nicht angezeigt.

2. In der APIC-GUI (Application Policy Infrastructure Controller) werden die falschen Schnittstellennummern angezeigt.

3. Die APIC-GUI zeigt für alle Schnittstellen (eth2-1, eth2-2, eth2-3, eth2-4) dieselbe MAC-Adresse an.

Lösung

1. Der Spine-Switch N9K-C93600CD-GX wird nicht im Cluster hochgeladen

Es wurde festgestellt, dass ein sehr allgemeiner Ansatz angewandt wurde, wenn solche Probleme gemeldet werden. Hierbei handelt es sich um grundlegende Schritte zur Fehlerbehebung, die isoliert durchgeführt werden können. Sie müssen jedoch erst durchgeführt werden, nachdem Sie das Installationshandbuch für das Produkt überprüft haben und sichergestellt haben, dass die aktuellen Einstellungen und Anforderungen übereinstimmen.

i. Die Verbindungen werden entweder auf der Switch- oder der APIC-Seite verschoben.

ii. Der Switch oder der APIC wird neu geladen.

iii. Es werden zusätzliche CLI-Befehle erfasst, oder manchmal werden Protokolle des technischen Supports erfasst, um das Problem weiter zu untersuchen.

Alle diese Schritte sind richtig und müssen befolgt werden. Es gibt jedoch noch einen weiteren Schritt, der überprüft werden kann, wenn ein Erkennungsproblem bei einer bestimmten Teilekennung (PID) auftritt. Diese grundlegende Prüfung besteht darin, die Hardware-Installationsanleitung für den jeweiligen Switch zu durchlaufen.

Ein Benutzer hatte beispielsweise ein Problem mit der Switch-PID N9K-C93600CD-GX und versuchte, diese als Spine hochzuladen. Die Verbindung zum Leaf-Switch erfolgte über ihren eigenen Port 20. Dieser Spine-Schalter ist nie hochgekommen.

Im Installationshandbuch finden Sie diese Informationen:

• Diese Switch-Standardrolle dient als Leaf-Switch.
• Die Standard-Fabric-Verbindungen (Ports 29-36) müssen für die erste Switch-Erkennung über einen anderen Switch verwendet werden.
• Um den Switch von der Standardrolle zu ändern, müssen Sie wie folgt vorgehen: Der Knoten wird in der Fabric-Inventaransicht als erkanntes Gerät angezeigt, Sie müssen die Rolle des Switches (Spine oder Leaf) festlegen, und der Switch startet automatisch neu, damit er in der konfigurierten Rolle ausgeführt wird.
• Wenn Sie ein Standard-Spine (einen Switch mit zwei Rollen, der standardmäßig ein Spine ist, wie z. B. Nexus 9316D-GX) direkt mit einem APIC verbinden, wird die Änderung der Rolle in Leaf automatisch vom APIC durchgeführt und der Neustart wird durchgeführt. Danach wird der Knoten in Nodes ausstehende Registrierung angezeigt, und Sie müssen den Knoten registrieren.

Überprüfen Sie immer die Abschnitte wie die Überlegungen zu den Leaf-/Spine-Rollen und die Erkennungsaspekte, bevor Sie zusätzliche Prüfungen durchführen.

Referenz: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html.

Entsprechend ist für die PID C9316D-GX die Standardrolle "Spine". Aber es kann auch als Blatt im Stoff funktionieren.

Referenz: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html.

Weitere Beispiele sind PID 9332D-GX2B und 9364C-GX. Die Standardrolle ist "Leaf", kann aber als Spine fungieren.

9332D-GX2B muss über einen eigenen Port-Bereich von 25-32 verbunden werden.

Der 9364C-GX muss über einen eigenen Port-Bereich von 49-62 verbunden werden.

Überprüfen Sie daher immer die Hardware-Installationsanleitung, bevor Sie mit einem anderen Fehlerbehebungsschritt fortfahren, da dies Zeit spart.

2. Die APIC-GUI zeigt falsche Schnittstellennummern an.

Es wurde berichtet, dass die physischen Kabelverbindungen an den APIC-Schnittstellen eth2-1 und eth2-3 vorgenommen wurden, in der APIC-GUI wurde jedoch festgestellt, dass die Schnittstellen eth2-2 und eth2-4 auftauchten. Ein ähnliches Verhalten wurde für alle drei APICs im Cluster beobachtet.

Der Benutzer verwendete den PCIe-Steckplatz (Peripheral Component Interconnect Express) - APIC-PCIE-IQ10GC Intel X710 Quad-Port 10GBase-T-Netzwerkschnittstelle, nicht die Cisco VIC-Karten.

Überprüfen Sie dies im Cisco Integrated Management Controller (CIMC), chassis > Inventory > PCI Adapters.

Es wurde bestätigt, dass der NIC-Modus im CIMC allen drei CIMCs zugewiesen ist, der Status des Trusted Platform Module (TPM) aktiviert ist und Eigentum dieser Geräte ist. Auch alle anderen Ausgaben sehen gut aus. Später wurde ein Softwarefehler (Cisco Bug-ID CSCwd21587) gemeldet, um das Problem weiter zu beheben.

Die Untersuchung ergab Folgendes:

Intel X710-T4 Quad-Port 10GBase-T NIC, das Port-Nummerierungsschema beginnt am rechten Port und wird zum linken Port hin inkrementiert.

Im Allgemeinen werden die Verbindungen in jeder Fabric-Konfiguration unter der Annahme hergestellt, dass die Nummerierung von links beginnt, was hier nicht zutrifft.

Ports werden Nummern von rechts nach links auf diese Weise zugewiesen:

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

Angesichts dieses Nummerierungsschemas erkennt der APIC die richtigen Ports und zeigt die Ports in der GUI wie erwartet an.

Das Dokument enthält außerdem eine aktualisierte Version: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf.

Wichtige Punkte:

• Der APIC-PCIE-IQ10GC oder der UCSC-PCIE-IQ10GC muss immer im PCIe-Steckplatz 1 für den APIC M3/L3 installiert sein.
• Der APIC-PCIE-IQ10GC oder der UCSC-PCIE-IQ10GC kann einen beliebigen Port oder ein beliebiges Port-Paar verwenden, um eine Verbindung zu einem Leaf-Knoten herzustellen.
• APIC-PCIE-IQ10GC und UCSC-PCIE-IQ10GC haben eine Portnummerierung in der Reihenfolge | eth2-4 | eth2-3 | eth2-2 | eth2-1 | und die Nummerierung auf dem Chassis ist ungültig.
• Ab Version 4.2(5) wird die UCSC-PCIE-IQ10GC Intel X710 Quad Port 10GBase- Netzwerkschnittstellenkarte für 10GBast-T-Verbindungen zu Cisco ACI-Leaf-Knoten unterstützt.

3. APIC-GUI zeigt dieselbe MAC-Adresse für alle Schnittstellen (eth2-1, eth2-2, eth2-3, eth2-4)

Es wurde festgestellt, dass in der APIC-GUI nicht die richtige MAC-Adresse für jede Schnittstelle angezeigt wurde. Alle MAC-Adressen waren identisch.

Denken Sie immer daran, dass es ein Active/Backup-Teaming zwischen den Schnittstellen gibt. Daher müssen Sie immer die MAC-Adresse der aktiven Schnittstelle sehen, die der bond0-Schnittstelle zugewiesen werden kann. Daher wird dieselbe MAC-Adresse angezeigt.

Hier sehen Sie die MAC-Adresse der heruntergefahrenen Schnittstelle entsprechend der Ausgabe:

Dies ist ein Softwarefehler, der unter der Cisco Bug-ID CSCwd21587 dokumentiert ist.

Im Idealfall müssen Sie die MAC-Adresse von eth2-2 sehen, die aktiv ist und eth2-4 ist hier das Backup.

Dies ist ein Backend-Problem, da die Liste in der Benutzeroberfläche auf der moquery cnwPhysIf basiert. Dies moquery cnwPhysIf zeigt auch die MAC-Adresse der Down-Schnittstelle eth2-1.

Die Problemumgehung besteht darin, den Befehl cat /proc/net/bonding/bond0 auf dem APIC zu verwenden, um die richtigen MAC-Adressen zu überprüfen. Überprüfen Sie die Seite mit den Softwarefehlern, um eine dauerhafte Behebung zu erhalten.