Probleemoplossing voor ACI Switch met twee rollen en Intel VIC-kaart

Inleiding

In dit document wordt het gebruik beschreven van switches met een dubbele rol in de Application Centric Infrastructure (ACI) en het gebruik van Intel Virtual Interface Cards (VICs).

Probleem

De gerapporteerde problemen:

1. Switch N9K-C93600CD-GX van de wervelkolom komt niet naar boven in het cluster.

2. APIC-GUI (Application Policy Infrastructure Controller) toont de verkeerde interfacenummers die zijn aangesloten.

3. APIC GUI toont hetzelfde MAC-adres voor alle interfaces (eth2-1, eth2-2, eth2-3, eth2-4).

Oplossing

1. Switch van de wervelkolom N9K-C93600CD-GX komt niet voor in het cluster

Er is vastgesteld dat bij de rapportage over dit soort kwesties een zeer algemene benadering is gehanteerd. Dit zijn basisstappen voor het oplossen van problemen die kunnen worden uitgevoerd voor isolatie, maar die moeten worden uitgevoerd na het controleren van de installatiegids voor het product en het ervoor zorgen dat de huidige instellingen en vereisten overeenkomen.

i. De verbindingen verplaatsen aan de switch- of de APIC-kant is voltooid.

ii. De switch of APIC wordt opnieuw geladen.

iii. Aanvullende CLI-opdrachten worden verzameld of soms worden logboeken voor technische ondersteuning verzameld om het probleem verder te onderzoeken.

Al deze stappen zijn juist en moeten worden gevolgd. Maar er is een andere stap die kan worden gecontroleerd wanneer er een ontdekkingsprobleem is met één specifieke Part Identifier (PID). Die fundamentele controle moet worden uitgevoerd in de installatiegids voor de hardware van die specifieke switch.

Een gebruiker had bijvoorbeeld een probleem met de switch PID N9K-C93600CD-GX en de gebruiker probeerde het als ruggengraat te brengen en het was verbonden met de switch via zijn eigen poort nummer 20. Deze ruggengraat-switch is nooit opgedoken.

In de installatiehandleiding vindt u deze informatie:

• Deze standaard switch rol is als een blad switch.
• De standaardfabric links (poorten 29-36) moeten worden gebruikt voor de eerste detectie van switches via een andere switch.
• Als u de switch van de standaardrol wilt wijzigen, moet u als volgt te werk gaan: het knooppunt verschijnt als een gedetecteerd apparaat in de bestandsinventarisweergave, u moet de rol van de switch (wervelkolom of blad) instellen, en de switch gaat automatisch voor de herstart om in de geconfigureerde rol te komen.
• Als u een standaard spine (een dubbele rol switch die standaard een spine is, zoals Nexus 9316D-GX) rechtstreeks met een APIC verbindt, wordt de verandering van de rol naar blad automatisch uitgevoerd door APIC en de reboot. Daarna wordt het knooppunt weergegeven in de knooppunten waar de registratie nog gaande is en moet u het knooppunt registreren.

Controleer altijd de secties zoals Leaf/Spine rol overwegingen en ontdekkingsoverwegingen alvorens extra controles uit te voeren.

Referentie: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html.

Op dezelfde manier is voor PID C9316D-GX de standaardrol de ruggengraat. Maar het kan ook als een blad in het weefsel werken.

Referentie: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html.

Meer voorbeelden zijn PID 9332D-GX2B en 9364C-GX, de standaardrol is blad maar kan als wervelkolom werken.

De 9332D-GX2B moet worden aangesloten via zijn eigen poortbereik van 25-32.

De 9364C-GX moet worden aangesloten via zijn eigen poortbereik van 49-62.

Controleer dus altijd de installatiehandleiding voor de hardware voordat u verder gaat met een andere stap voor probleemoplossing, omdat dit tijd bespaart.

2. APIC GUI toont onjuiste interfacenummers die aangesloten zijn

Er werd gemeld dat de fysieke kabelverbindingen werden gemaakt op APIC-interfaces eth2-1 en eth2-3, maar in de APIC GUI werden interfaces eth2-2 en eth2-4 gevonden. Gelijkaardig gedrag werd gezien voor alle drie APIC's in het cluster.

De gebruiker gebruikte de Peripheral Component Interconnect Express (PCIe) sleuf - APIC-PCIE-IQ10GC Intel X710 4-poorts 10GBase-T netwerkinterface, niet de Cisco VIC-kaarten.

Controleer dit in Cisco Integrated Management Controller (CIMC) chassis > Inventory > PCI Adapters.

Er is bevestigd dat de NIC-modus in CIMC is gewijd aan alle drie CIMC’s, samen met de TPM-status (Trusted Platform Module) en de eigendom ervan. Alle andere outputs zien er ook goed uit. Later is een softwaredefect (Cisco-bug-id CSCwd21587) ingediend om het probleem verder op te lossen.

Geconstateerd werd dat:

Intel X710-T4 10GBase-T NIC met vier poorten. Het poortnummeringsschema begint bij de rechterpoort en loopt steeds verder naar de linkerpoort.

Over het algemeen worden de verbindingen in een instelling van het weefsel gemaakt op basis van de veronderstelling dat de nummering aan de linkerkant begint, wat hier niet van toepassing is.

Poorten krijgen op deze manier nummers van rechts naar links toegewezen:

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

Met dit nummeringsschema in het achterhoofd detecteert APIC juiste poorten en toont poorten op GUI zoals verwacht.

Het is ook bijgewerkt in het document: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf.

Aandachtspunten:

• APIC-PCIE-IQ10GC of UCSC-PCIE-IQ10GC moet altijd in PCIe-sleuf 1 voor APIC M3/L3 worden geïnstalleerd.
• APIC-PCIE-IQ10GC of UCSC-PCIE-IQ10GC kan elke poort of elk paar poorten gebruiken om verbinding te maken met een bladknooppunt.
• APIC-PCIE-IQ10GC of UCSC-PCIE-IQ10GC hebben poortnummering in de volgorde | eth2-4 | eth2-3 | eth2-2 | eth2-1 | en de nummering op het chassis is ongeldig.
• Vanaf release 4.2(5) wordt de UCSC-PCIE-IQ10GC Intel X710 10GBase-T netwerkinterfacekaart met vier poorten ondersteund voor 10GBast-T connectiviteit met Cisco ACI-bladknooppunten.

3. APIC GUI toont hetzelfde MAC-adres voor alle interfaces (eth2-1, eth2-2, eth2-3, eth2-4)

Er werd opgemerkt dat de APIC GUI niet het juiste MAC-adres voor elke interface toonde. Alle MAC-adressen waren hetzelfde.

Onthoud altijd dat er een actieve / back-up teaming is tussen de interfaces, dus je moet altijd het MAC-adres van de actieve interface zien die kan worden toegewezen aan de bond0-interface, vandaar dat je hetzelfde MAC-adres ziet.

Hier, ziet u het adres van MAC van de benedeninterface zoals per de output:

Dit is een softwaredefect dat wordt gedocumenteerd onder de Cisco-bug-id CSCwd21587.

Idealiter moet u het MAC-adres van eth2-2 zien, dat de actieve en eth2-4 is de back-up hier.

Dit is een backend probleem als de lijst in UI wordt gemaakt gebaseerd op het moquery cnwPhysIf. Dit moquery cnwPhysIf toont ook het MAC-adres van de omlaag gerichte interface eth2-1.

De tijdelijke oplossing is om de opdracht cat /proc/net/bonding/bond0 op APIC te gebruiken om de juiste MAC-adressen te controleren. Voor een permanente oplossing, controleer de software defect pagina.