Disjunct Layer 2 configureren in HyperFlex-clusters

Inleiding

In dit document wordt beschreven hoe u een configuratie van Disjoint Layer 2 (DL2) op een HX-cluster kunt implementeren vanuit de perspectieven UCS Manager (UCSM) en ESXi.

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

• Basiskennis van de DL2-configuratie
• Basiskennis van Hyperflex Cluster
• Aanbevolen UCSM-kennis over vNIC's, serviceprofielen en sjablonen

Andere eisen zijn:

• Minstens één beschikbare link op elke Fabric Interconnect en twee beschikbare links op uw upstream switch.
• De verbindingen tussen de Fabric Interconnects en de upstream switch moeten omhoog zijn, ze moeten als uplinks worden geconfigureerd. Als dit niet het geval is, controleert u deze systeemconfiguratie - Poorten configureren om ze op de UCSM te configureren.
• De te gebruiken VLAN’s moeten al op UCSM worden gemaakt. Als dit niet het geval is, voert u deze stappen uit Netwerkconfiguratie - Benoemd VLAN configureren.

• De te gebruiken VLAN’s moeten al op de upstream-switch worden gemaakt.
• De te gebruiken VLAN’s kunnen niet op een andere virtuele NIC (vNIC) op de serviceprofielen staan.

Gebruikte componenten

Dit document is niet beperkt tot specifieke software- en hardware-versies.

• 2x UCS-FI-6248UP switch
• 2x N5K-C548UP switch
• UCS M versie 4.2(1f)

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Netwerkdiagram

 

 

Configuraties

DL2-configuraties worden gebruikt om verkeer op specifieke uplinks te scheiden van de upstream-apparaten, zodat het VLAN-verkeer niet wordt gemengd.

De nieuwe vNIC's configureren

Stap 1. Log in op UCSM en klik op het tabblad LAN in het linkerpaneel.

Ga naar Beleid > root > Sub-organisaties > Sub-organisatienaam > vNIC templates. Klik met de rechtermuisknop op de sjabloon en klik op vNIC-sjabloon maken. 

Stap 2. Geef de sjabloon een naam, laat Fabric A geselecteerd, scroll naar beneden en selecteer de juiste VLAN’s voor de nieuwe link. De resterende instellingen kunnen naar wens worden geconfigureerd.

Herhaal vervolgens hetzelfde proces, maar selecteer deze keer Fabric B.

Stap 3. Navigeer vanuit het tabblad LAN naar Beleid > root > Sub-organisaties > Suborganisatie naam > LAN Connectiviteit Beleid > Hyperflex. 

 

Stap 4. Klik op Add, noem de vNIC en selecteer een MAC-pool in het vervolgkeuzemenu.

Controleer de Use vNIC Template en de vakjes Redundantie pair. Selecteer in de vervolgkeuzelijst vNIC-sjabloon de nieuwe sjabloon en voer vervolgens de Naam van peer.

Selecteer het gewenste adapterbeleid en klik op OK. 

Stap 5. Zoek in de vNIC-lijst naar de peer van degene die zojuist is gemaakt, selecteer deze en klik op Wijzigen.

Klik op het veld vNIC-sjabloon gebruiken en selecteer de andere sjabloon die is gemaakt in de vervolgkeuzelijst.
Klik onderaan op Wijzigingen opslaan, dit activeert hangende activiteiten voor de verwante servers.

Activiteiten in behandeling bevestigen

Stap 1. Meld u aan bij HX Connect, navigeer naar Systeeminformatie > Knooppunten, klik op een van de knooppunten en klik vervolgens op Enter HX Maintenance Mode, en wacht tot de taak is voltooid. 

Stap 2. Controleer vanuit vCenter of het knooppunt in onderhoud is.

Stap 3. Wanneer het knooppunt in onderhoud is, gaat u terug naar UCSM, klikt u op het pictogram in de rechterbovenhoek en onder Reboot Now.

 Vink het vakje aan dat overeenkomt met de server die momenteel wordt onderhouden en klik vervolgens op OK. 

Stap 4. Zorg er na het opstarten van de server voor dat de nieuwe vNIC's aanwezig zijn door te navigeren naar Servers > Serviceprofielen > root > Suborganisaties > Suborganisatienaam > Serviceprofielnaam.

Klik op Netwerk, scroll naar beneden en de nieuwe vNIC's moeten er zijn.

  

Stap 5. Haal de server uit de onderhoudsmodus van de HX Connect UI.

Klik op HX-onderhoudsmodus afsluiten.

Wanneer de server geen onderhoud meer heeft, wordt de Storage Controller Virtual Machine (SCVM) opgestart en start het genezingsproces van het cluster.

Om het genezingsproces te bewaken, SSH in de Hyperflex (HX) Cluster Manager IP en voer de opdracht uit:

sysmtool --ns cluster --cmd healthdetail​

Cluster Health Detail:
---------------------:
State: ONLINE
HealthState: HEALTHY
Policy Compliance: COMPLIANT
Creation Time: Tue May 30 04:48:45 2023
Uptime: 7 weeks, 1 days, 15 hours, 50 mins, 17 secs
Cluster Resiliency Detail:
-------------------------:
Health State Reason: Storage cluster is healthy.
# of nodes failure tolerable for cluster to be fully available: 1
# of node failures before cluster goes into readonly: NA
# of node failures before cluster goes to be crticial and partially available: 3
# of node failures before cluster goes to enospace warn trying to move the existing data: NA
# of persistent devices failures tolerable for cluster to be fully available: 2
# of persistent devices failures before cluster goes into readonly: NA
# of persistent devices failures before cluster goes to be critical and partially available: 3
# of caching devices failures tolerable for cluster to be fully available: 2
# of caching failures before cluster goes into readonly: NA
# of caching failures before cluster goes to be critical and partially available: 3
Current ensemble size: 3
Minimum data copies available for some user data: 3
Minimum cache copies remaining: 3
Minimum metadata copies available for cluster metadata: 3
Current healing status:
Time remaining before current healing operation finishes:
# of unavailable nodes: 0

Stap 6. Zodra het cluster gezond is, herhaal stap 1-6. Ga NIET verder met de volgende stap totdat alle servers de nieuwe vNIC's hebben.

De VLAN’s configureren

Stap 1. Navigeer vanuit CSM naar LAN > VLAN’s > VLAN-groepen en klik op Add.

Stap 2. Geef de VLAN-groep een naam en selecteer de juiste VLAN’s hieronder, klik op Volgende en ga naar stap 2 van de wizard om één uplinks-poort toe te voegen of naar stap 3 om poortkanalen toe te voegen.

Stap 3. Voeg de uplink-poort of het poortkanaal toe door erop te klikken en op het pictogram >> te klikken. Klik onderaan op Voltooien. 

 

ESXi-configuratie

Stap 1. Log in op de vSphere van de ESXi-host, navigeer naar Netwerken > Virtuele Switches en klik op Voeg de standaard virtuele switch toe.

Stap 2. Noem de vSwitch en een van de nieuwe vmnics is er al, klik op Add uplink om de 2^e toe te voegen. Klik op Add (Toevoegen). 

Stap 3. Navigeer naar Netwerk > Poortgroepen en klik op Poortgroep toevoegen

Stap 4. Geef de poortgroep een naam, voer het gewenste VLAN in en selecteer de nieuwe Virtual switch in de vervolgkeuzelijst. 

Stap 5. Herhaal stap 4 voor elk VLAN dat door de nieuwe koppelingen stroomt.

Stap 6. Herhaal stap 1-5 voor elke server die deel uitmaakt van het cluster.

Verifiëren

UCS M-verificatie 

Navigeer naar Apparatuur > Rackmontage > servers > Server # > VIF paden en vouw pad A of B uit, onder de vNIC kolom, zoek naar de ene die overeenkomt met de DL2 vNIC en dat Virtual Circuit moet worden aangesloten op de Fabric Interconnect (FI) uplink of poortkanaal die onlangs is geconfigureerd.

CLI-verificatie 

Virtuele interfacepad (VIF) 

Voer in een SSH-sessie met de fabric interconnects de opdracht uit: 

show service-profile circuit server <server-number>

Deze opdracht geeft de VIF-paden, hun corresponderende vNIC's en de interface waaraan ze zijn gekoppeld weer.

    Fabric ID: A
        Path ID: 1
        VIF        vNIC            Link State  Oper State Prot State    Prot Role   Admin Pin  Oper Pin   Transport
        ---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------
               966 hv-mgmt-a       Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               967 storage-data-a  Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               968 vm-network-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               969 hv-vmotion-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               990 network-DL2-a   Up          Active     No Protection Unprotected 0/0/0      1/0/14     Ether

De kolom Oper Pin moet de recent geconfigureerde FI-uplink of poortkanaal weergeven onder dezelfde lijn als de DL2 vNIC.  

Op deze output, VIF 990, die aan vm-netwerk-DL2-b vNIC beantwoordt, wordt gespeld om 1/0/14 te verbinden.

De uplinks vastpinnen 

Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show pinning border-interfaces

--------------------+---------+----------------------------------------
Border Interface     Status    SIFs
--------------------+---------+----------------------------------------
Eth1/14              Active    sup-eth2 Veth990 Veth992 Veth994

Op deze output, moet het aantal van Veth het VIF aantal aanpassen dat op de vorige output wordt gezien en op de zelfde lijn zijn zoals de correcte opstraalverbindingsinterface.

Aangewezen ontvanger: 

Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show platform software enm internal info vlandb id <VLAN-ID>

vlan_id 469
-------------
Designated receiver: Eth1/14
Membership:
Eth1/14

Op deze uitvoer moet de juiste uplink worden weergegeven.

Upstream Switches

Op een SSH-sessie naar de upstream-switches kan de MAC-adrestabel worden gecontroleerd en moet het MAC-adres van elke Virtual Machine (VM) op dit VLAN worden weergegeven. 

Nexus-5K# show mac address-table vlan 469
Legend:
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
        age - seconds since last seen,+ - primary entry using vPC Peer-Link
   VLAN     MAC Address      Type      age     Secure NTFY   Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 469      0000.0c07.ac45    static    0          F    F  Router
* 469      002a.6a58.e3bc    static    0          F    F  Po1
* 469      0050.569b.048c    dynamic   50         F    F  Eth1/14
* 469      547f.ee6a.8041    static    0          F    F  Router

In dit configuratievoorbeeld, VLAN 469 is de disjunct VLAN, MAC-adres 0050:569B:048C behoort tot een Linux-VM toegewezen aan de vSwitch vswitch-hx-DL2 en de poortgroep DL2-vm-network-469, het wordt correct weergegeven op interface Ethernet 1/14, die de interface is van de upstream switch die is aangesloten op de Fabric Interconnect.

Van dezelfde sessie tot de upstream switch kan de VLAN-configuratie worden gecontroleerd.

Nexus-5K# show vlan brief

VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
1    default                          active    Eth1/5, Eth1/8, Eth1/9, Eth1/10
                                                Eth1/11, Eth1/12, Eth1/13
                                                Eth1/15, Eth1/16, Eth1/17
                                                Eth1/19, Eth1/20, Eth1/21
                                                Eth1/22, Eth1/23, Eth1/24
                                                Eth1/25, Eth1/26
469  DMZ                              active    Po1, Eth1/14, Eth1/31, Eth1/32

Op deze uitvoer wordt interface Ethernet 1/14 correct toegewezen aan VLAN 469. 

Problemen oplossen

UCS M-configuratiefouten

Fout: "Er is geen operationele uplinkpoort gevonden die alle VLAN’s van de vNIC(s) bevat. De vNIC(’s) worden uitgeschakeld, wat zal leiden tot verstoring van het verkeer op alle bestaande VLAN’s op de vNIC(s)."

De fout betekent dat er geen nieuwe uplinks zijn om het nieuwe verkeer te dragen, om het even welke laag 1 en laag 2 kwesties op de interfaces te verwerpen, en opnieuw te proberen.

Fout: "vastpinnen van ENM-bron mislukt" 

De fout heeft betrekking op de gekoppelde VLAN’s van een vNIC die niet op een uplink wordt gevonden.

Mogelijk onjuist gedrag

De vorige uplinks stoppen de gegevensstroom omdat de nieuwe VLAN’s al bestaan op een vNIC en worden gekoppeld aan de nieuwe uplinks.

 Verwijder eventuele gedupliceerde VLAN's in de vorige vNIC-sjabloon. Ga naar Beleid > root > Sub-organisaties > Sub-organisatienaam > vNIC-sjablonen en verwijder het VLAN uit de vNIC-sjabloon van het vm-netwerk. 

Gerelateerde informatie

• Cisco Technical Support en downloads
• Layer 2 gesplitste netwerken upstream implementeren in end-host modus