Problemen met ACI Dual Role Switch en Intel VIC-kaart oplossen

Inleiding

In dit document wordt het gebruik van switches met twee rollen in de Application Centric Infrastructure (ACI)-structuur en het gebruik van Virtual Interface Cards (VIC's) beschreven.

Probleem

De gerapporteerde problemen:

1. De Switch van de wervelkolom N9K-C93600CD-GX komt niet in het cluster naar boven.

2. Application Policy Infrastructure Controller (APIC) GUI toont de verkeerde gekoppelde interfacenummers.

3. APIC GUI toont hetzelfde MAC-adres voor alle interfaces (eth2-1, eth2-2, eth2-3, eth2-4).

Oplossing

1. Wervelkolom Switch N9K-C93600CD-GX komt niet in het cluster

Er is geconstateerd dat bij de rapportage van dit soort kwesties een zeer algemene aanpak wordt gehanteerd. Dit zijn de basisstappen voor probleemoplossing die kunnen worden uitgevoerd voor isolatie, maar die moeten worden uitgevoerd nadat u de installatiehandleiding voor het product hebt gecontroleerd en ervoor hebt gezorgd dat de huidige instellingen en vereisten overeenkomen.

i. Het verplaatsen van de aansluitingen aan de switch- of APIC-zijde is voltooid.

ii. Het opnieuw laden van de switch of APIC is voltooid.

iii. Extra CLI-opdrachten worden verzameld of soms logboeken voor technische ondersteuning worden verzameld om het probleem verder te onderzoeken.

Al deze stappen zijn correct en moeten worden gevolgd. Maar er is een andere stap die kan worden gecontroleerd wanneer er een probleem met de ontdekking met een specifieke Part Identifier (PID). Die basiscontrole moet via de hardwareinstallatiegids van die specifieke switch worden uitgevoerd.

Een gebruiker had bijvoorbeeld een probleem met switch PID N9K-C93600CD-GX en de gebruiker probeerde het als een ruggengraat naar voren te brengen en het was verbonden met de leaf-switch via zijn eigen poortnummer 20. Deze switch is nooit opgekomen.

In de installatiehandleiding vindt u deze informatie:

• Deze switch standaard rol is als een blad switch.
• De standaardverbindingen (poorten 29-36) moeten worden gebruikt voor de eerste detectie van switch via een andere switch.
• Om de switch te wijzigen van de standaardrol, moet u als volgt te werk gaan: de node wordt weergegeven als een ontdekt toestel in de structuurinventarisweergave, u moet de rol van de switch instellen (ruggengraat of blad) en de switch gaat automatisch voor reboot om in de geconfigureerde rol te verschijnen.
• Als u een standaard spine (een switch met twee rollen die standaard een spine is, zoals de Nexus 9316D-GX) rechtstreeks aansluit op een APIC, wordt de verandering van de rol in blad automatisch uitgevoerd door APIC en wordt de reboot uitgevoerd. Daarna verschijnt de node in Nodes in afwachting van registratie en moet u de node registreren.

Controleer altijd de secties zoals Leaf / Spine rol overwegingen en ontdekking overwegingen voordat het uitvoeren van eventuele extra controles.

Referentie: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html.

Evenzo is voor PID C9316D-GX de standaardrol de wervelkolom. Maar het kan ook werken als een blad in de stof.

Referentie: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html.

Meer voorbeelden zijn PID 9332D-GX2B en 9364C-GX, de standaardrol is blad, maar kan als ruggengraat werken.

9332D-GX2B moet worden aangesloten via een eigen poortbereik van 25-32.

9364C-GX moet worden aangesloten via een eigen poortbereik van 49-62.

Controleer dus altijd de installatiehandleiding van de hardware voordat u verdergaat met een andere stap voor het oplossen van problemen, omdat dit tijd bespaart.

2. APIC GUI toont de verkeerde gekoppelde interfacenummers

Er werd gemeld dat de fysieke kabelverbindingen werden gemaakt op APIC interfaces eth2-1 en eth2-3, maar in de APIC GUI, werd gevonden dat interfaces eth2-2 en eth2-4 werden weergegeven. Soortgelijk gedrag werd waargenomen voor alle drie de APIC's in het cluster.

De gebruiker gebruikte de PCIe-sleuf (Peripheral Component Interconnect Express) - APIC-PCIE-IQ10GC Intel X710 10GBase-T-netwerkinterface met vier poorten, niet de Cisco VIC-kaarten.

Controleren in Cisco Integrated Management Controller (CIMC), chassis > Inventory > PCI Adapters.

Er werd bevestigd dat de NIC-modus in CIMC is toegewezen aan alle drie CIMC's, samen met de Trusted Platform Module (TPM)-status ingeschakeld en eigendom. Alle andere uitgangen zien er ook goed uit. Later werd een softwarefout (Cisco bug ID CSCwd21587) ingediend om het probleem verder op te lossen.

Het bleek dat:

Intel X710-T4 10GBase-T NIC met vier poorten, het heeft het poortnummeringsschema dat begint op de rechterpoort en toeneemt naar de linkerpoort.

Over het algemeen worden de verbindingen in elke weefselopstelling gemaakt met de veronderstelling dat nummering vanaf de linkerkant begint, wat hier niet van toepassing is.

Poorten krijgen op deze manier nummers van rechts naar links toegewezen:

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

Met dit nummeringsschema in gedachten detecteert APIC de juiste poorten en toont het poorten op de GUI zoals verwacht.

Het is ook bijgewerkt in het document: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf.

Punten om te onthouden:

• APIC-PCIE-IQ10GC of UCSC-PCIE-IQ10GC moet altijd in PCIe-sleuf 1 voor APIC M3/L3 worden geïnstalleerd.
• APIC-PCIE-IQ10GC of UCSC-PCIE-IQ10GC kan elke poort of elk paar poorten gebruiken om verbinding te maken met een bladknooppunt.
• APIC-PCIE-IQ10GC of UCSC-PCIE-IQ10GC hebben poortnummering in de volgorde | eth2-4 | eth2-3 | eth2-2 | eth2-1 | en de nummering op het chassis is ongeldig.
• Vanaf versie 4.2(5) wordt de UCSC-PCIE-IQ10GC Intel X710 10 GBase-netwerkinterfacekaart met vier poorten ondersteund voor 10 GBast-T-connectiviteit met Cisco ACI-blaknooppunten.

3. APIC GUI toont hetzelfde MAC-adres voor alle interfaces (eth2-1, eth2-2, eth2-3, eth2-4)

Er werd opgemerkt dat de APIC GUI niet het juiste MAC-adres voor elke interface weergaf. Alle MAC-adressen zijn hetzelfde.

Onthoud altijd dat er een actieve/back-up teaming is tussen de interfaces, dus u moet altijd het MAC-adres van de actieve interface zien die kan worden toegewezen aan de bond0-interface, vandaar dat u hetzelfde MAC-adres ziet.

Hier ziet u het MAC-adres van de down-interface volgens de uitvoer:

Dit is een softwaredefect dat is gedocumenteerd onder de Cisco-bug-ID CSCwd21587.

Idealiter moet u het MAC-adres van eth2-2 zien, wat de actieve en eth2-4 is de back-up hier.

Dit is een backend-probleem omdat de lijst in de gebruikersinterface is gemaakt op basis van de moquery cnwPhysIfcode. Dit moquery cnwPhysIf toont ook het MAC-adres van de down-interface eth2-1.

De oplossing is om de opdracht op APIC te gebruiken cat /proc/net/bonding/bond0 om de juiste MAC-adressen te controleren. Voor een permanente oplossing, controleer de pagina met softwaredefecten.