Nexus 5500 VM-FEX configuratievoorbeeld

Inleiding

Dit document beschrijft hoe u de virtuele machine fabric extender (VM-FEX) kunt configureren, gebruiken en probleemoplossing in Cisco Nexus 5500-switches.

Voorwaarden

Vereisten

Cisco raadt u aan basiskennis van deze onderwerpen te hebben.

• Nexus Virtual Port Channel (VPC)
• VMware vSphere

Gebruikte componenten

De informatie in dit document is gebaseerd op deze hardware- en softwareversies:

• Nexus 5548UP die draait op versie 5.2(1)N1(4)
• Unified Computing System (UCS)-C210 M2-rackserver met UCS P81E virtuele interfacekaart met firmware versie 1.4(2)
• vSphere versie 5.0 (ESXi en vCenter)

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk actief is, zorg er dan voor dat u de mogelijke impact van een opdracht of instelling voor pakketvastlegging begrijpt.

VM-FEX - Overzicht

VM-FEX combineert virtuele en fysieke netwerken in één infrastructuur. Hiermee kunt u het netwerkverkeer van virtuele machines en het metalen netwerk binnen een verenigde infrastructuur provisioneren, configureren en beheren.

De VM-FEX-software breidt de Cisco fabric extender-technologie uit naar de virtuele machine met deze functies:

• Elke virtuele machine bevat een specifieke interface in de moederswitch.
• Al het virtuele machineverkeer wordt rechtstreeks naar de speciale interface van de switch gestuurd.
• De standaard vSwitch in de hypersupervisor wordt geëlimineerd.

VM-FEX is één type gedistribueerde virtuele switch (DVS of VDS). De DVS presenteert een abstractie van één enkele switch over meerdere ESX-servers die deel uitmaken van dezelfde Datacentecontainer in vCenter. De configuratie van Virtual Network Interface Controller (VM) wordt onderhouden vanaf een gecentraliseerde locatie (Nexus 5000 of UCS in VM-FEX; dit document illustreert de op Nexus 5000 gebaseerde VM-FEX).

VM-FEX kan in twee modi werken:

• Doorlopen: Dit is de standaardmodus, waarin de VEM betrokken is bij het datapad voor het VM-verkeer.
• Hoge prestaties: VM-verkeer wordt niet door de VEM verwerkt maar wordt rechtstreeks doorgegeven aan de NIV-adapter (Network IO Virtualization).

Om gebruik te kunnen maken van de hoogwaardige modus, moet dit worden gevraagd door de configuratie van het poortprofiel en moet het worden ondersteund door het VM-besturingssysteem en de virtuele adapter. Meer informatie hierover wordt later in dit document verstrekt.

Definities

• Virtual Ethernet-module (VEM). Cisco-softwaremodule die binnen de ESX-hypersupervisor loopt en VNL-implementatie in één pakket biedt
  
  
• Network IO Virtualization (NIV) gebruikt labeling om meerdere Virtual Network Links (VN-Link) over hetzelfde fysieke Ethernet-kanaal te implementeren
  
  
• Datacenter Bridging Capability Exchange (DCBX)
  
  
• VNIC Interface Control (VIC)
  
  
• Virtual NIC (VNIC), die een host-eindpunt aangeeft. Het kan worden geassocieerd met een actieve VIF of een stand-by VIF
  
  
• Gedistribueerde virtuele poort (DVPort). VNIC is verbonden met de DVP-poort in de VEM
  
  
• NIV Virtual Interface (VIF), die wordt aangegeven op een netwerkeindpunt
  
  
• Virtual Ethernet (vEth)-interface vertegenwoordigt VIF in de switch
  
  
• Pass-Through Switch (PTS). VEM-module geïnstalleerd in de hypersupervisor

Opmerking: De VEM die gebruikt wordt in VM-FEX is vergelijkbaar met de VEM die gebruikt wordt bij de Nexus 1000v. Het verschil is dat de VEM in VM-FEX in de doorvoermodus werkt en geen lokale overschakeling tussen VM's op dezelfde ESX uitvoert.

Configureren

De topologie is een UCS-C server met P81E VIC dual-homed naar twee Nexus 5548 VPC-switches.

Opmerking: Gebruik de Command Lookup Tool (alleen voor geregistreerde gebruikers) voor meer informatie over de opdrachten die in deze sectie worden gebruikt.

Netwerkdiagram

Deze vereiste onderdelen moeten reeds zijn ingevoerd:

• De VPC is tussen de twee Nexus 5000 switches correct geconfigureerd en geformatteerd.
  
  
• VMWare vCenter is geïnstalleerd en is verbonden met een vSphere-client.
  
  
• ESXi wordt geïnstalleerd op de UCS-C server en toegevoegd aan vCenter.

De configuratiestappen worden hier samengevat:

1. NIV-modus op de serveradapter inschakelen:
   
   
   1. Sluit aan op de Cisco Integrated Management Controller (CIMC) interface via HTTP en log in met de admin-referenties.
      
      
   2. Kies inventaris > Netwerkadapters > Adapter-eigenschappen wijzigen.
      
      
   3. Inschakelen in NIV-modus, het aantal VM FEX-interfaces instellen en de wijzigingen opslaan.
      
      
   4. Schakel uit en schakel de machine uit op de server.
   
   
   

   

   
   
   Controleer, nadat de server weer online komt, of NIV is ingeschakeld:
   
   

   

   
   
   
2. Maak twee statische etsen op de server.
   
   Om twee VNIC's te maken, kiest u Uitvinding > Netwerkadapters > VNIC's > Add.
   Dit zijn de belangrijkste gebieden die moeten worden gedefinieerd:
   
   
   • TE GEBRUIKEN VIC Uplink-poort (P81E heeft twee uplink-poorten die verwijzen naar 0 en 1).
     
     
   • Kanaalnummer: Dit is een unieke kanaal-ID van de VNIC op de adapter. Dit wordt vermeld in het bindt bevel onder de vEth interface op Nexus 5000. Het bereik van het kanaalnummer is beperkt tot de VNTag fysieke link. Het kanaal kan worden gezien als een "virtuele link" op de fysieke verbinding tussen de switch en de serveradapter.
     
     
   • Poortprofiel: De lijst met poortprofielen die op de upstream Nexus 5000 zijn gedefinieerd, kan worden geselecteerd. Er wordt automatisch een vEth-interface gemaakt op de Nexus 5000 als de Nexus 5000 is geconfigureerd met de opdracht vEthernet voor automatisch maken. Merk op dat alleen de vEthernet port-profile namen worden doorgegeven naar de server (port-profile configuratie is niet). Dit gebeurt nadat de VPNag verbindingsconnectiviteit is gevestigd en de eerste handdruk en onderhandelingsstappen worden uitgevoerd tussen de schakelaar en de serveradapter.
     
     
   • Accessoire uplink inschakelen: De VNICs-failover naar de andere P81E uplink-poort als de geconfigureerde uplink-poort offline gaat.
     
     
   
   
   

   

   
   
   
3. Start de server opnieuw op.
   
   
4. Installeer de VEM op de ESXi-host.
   
   Raadpleeg bij een voorbeeld de installatie van de VEM op de ESXi-host voor installatie of upgrades van de Cisco VEM-softwarebundel op een ESX- of ESXi-host in Cisco UCS Manager VM-FEX voor VMware GUI Configuration Guide, release 2.1.
   
   
   
   

   Opmerking: Alle hierna weergegeven switchconfiguraties moeten worden geconfigureerd op beide Nexus 5500 VPC-peers, behalve de opdracht Software Virtual Switch (SVS) verbinden en de XML-extensiesleutel, die alleen op de VPC-primaire switch moet worden gedaan.

   
   
   
5. Schakel de virtualisatiefunctie en VM-FEX en HTTP-functies in:
   
   

   (config)# install feature-set virtualization
   (config)# feature-set virtualization
   (config)# feature vmfex
   (config)# feature http-server
   
   (Optional) Allow the Nexus 5000 to auto-create its Vethernet interfaces when the
   corresponding vNICs are defined on the server: 
   (config)# vethernet auto-create

   
   
   
6. VNTag op host interfaces inschakelen.
   

   Configure the N5k interface that connects to the servers in VNTAG mode:
   (config)# interface Eth 1/1
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

   
   
   
7. Neem statische dingen op.
   
   Schakel op beide Nexus 5500-switches de statische virtuele interfaces in die moeten worden aangesloten op de twee statische VNIC's die op de server-VIC zijn ingeschakeld.
   
   Ga in de Nexus 5548-A naar:
   

   interface vethernet 1 
   bind interface eth 1/1 channel 10
   no shutdown

   
   
   Voer in de Nexus 5548-B het volgende in:
   

   interface vethernet 2
   bind interface eth 1/1 channel 11
   no shutdown

   
   
   In plaats hiervan kunnen deze interfaces automatisch met de opdracht voor het automatisch maken van de computer worden gemaakt.
   
   

   Opmerking: In het geval van topologieën die dual-homed servers in Active/Active FEX-modules omvatten, moeten de server-VNIC's zijn ingeschakeld voor uitbellen en de switch-vEthernet-interfaces hebben twee binaire interfaceopdrachten (eenmaal per elke FEX Host Interface (HIF)-poort waarop de server is aangesloten). De vEthernet interface is actief of standby op elke Nexus 5000-switch.

   
   
   Hierna volgt een voorbeeld.
   
   Ga op elk van de twee Nexus 5000 s te werk:
   

   interface Vethernet1
     description server_uplink1
     bind interface Ethernet101/1/1 channel 11
     bind interface Ethernet102/1/1 channel 11
   
   interface Vethernet2
     description server_uplink2
     bind interface Ethernet101/1/1 channel 12
     bind interface Ethernet102/1/1 channel 12

   
   
   
8. Configureer de SVS-verbinding met vCenter en sluit deze aan.
   
   Op beide Nexus 5500 switches, configureren:
   
   

   svs connection <name>
     protocol vmware-vim
     remote ip address <vCenter-IP> vrf <vrf>
     dvs-name <custom>
     vmware dvs datacenter-name <VC_DC_name>

   
   
   Sluit alleen op de VPC primaire schakelaar aan op vCenter:
   
   

   svs connection <name>
     connect
   
   Sample configuration on VPC primary:
   svs connection MyCon
     protocol vmware-vim
     remote ip address 10.2.8.131 port 80 vrf management
     dvs-name MyVMFEX
     vmware dvs datacenter-name MyVC
     connect

   
   
   Hier is een voorbeeldconfiguratie op VPC secondair:
   

   svs connection MyCon
     protocol vmware-vim
     remote ip address 10.2.8.131 port 80 vrf management
     dvs-name MyVMFEX
     vmware dvs datacenter-name MyVC

   
   
   
9. Maak poortprofielen op de Nexus 5000.
   
   Op beide Nexus 5500-switches moet u poortprofielen configureren voor de VM-FEX VNIC’s. Deze poortprofielen verschijnen als poortgroepen van de DVS-schakelaar in vCenter.
   
   Hierna volgt een voorbeeld:
   
   

   vlan 10,20
   
   port-profile type vethernet VM1
     dvs-name all
     switchport mode access
     switchport access vlan 10
     no shutdown
     state enabled
   port-profile type vethernet VM2
     dvs-name all
     switchport mode access
     switchport access vlan 20
     no shutdown
     state enabled

   
   
   

   Opmerking: De dvs-name all opdracht definieert waaraan DVS-schakelaar in vCenter dit poortprofiel als poortgroep moet worden geëxporteerd. Gebruik de optie all opdracht om de poortgroep te exporteren naar alle DVS-switches in het Datacenter.

   
   
   VM hoogwaardige modus
   
   Om de High-Performance Mode (DirectPath IO) te implementeren en de hypersupervisor voor het VM-verkeer te omzeilen, moet u het vEthernet-poortprofiel configureren met de hoogwaardige host-netio-opdracht. In het geval van VPC-topologieën moet het poortprofiel altijd op beide VPC-peer-switches worden bewerkt. Bijvoorbeeld:
   
   

   port-profile type vethernet VM2
   high-performance host-netio

   
   
   Om de hoogwaardige modus operationeel te maken, moet uw VM beschikken over deze aanvullende voorwaarden:
   
   • De virtuele VM-adapter moet van type vmxnet3 zijn (controle in vCenter: Klik met de rechtermuisknop op VM > Instellingen > Netwerkadapter > adaptertype in het rechtermenu).
     
     
   • De VM moet een volledige geheugenreservering hebben (in vCenter: Klik met de rechtermuisknop op VM > Instellingen > Bronnen > Geheugen > Schuilboekingsschuif naar rechts).
     
     
   • Het besturingssysteem dat op de VM draait, dient deze functie te ondersteunen.
     
     
   
   
   Hier vindt u hoe u de hoogwaardige modus (DirectPath IO) controleert wanneer deze wordt gebruikt.
   Onder de hardware-instellingen van de VM toont het DirectPath I/O-veld in het rechtermenu als actief wanneer de VM High-Performance Mode wordt gebruikt en als inactief wanneer de standaard VM pass-through-modus in gebruik is.
   
   

   

   
   
   
10. Registreer de VPC primaire Nexus 5548 in vCenter:
    
    

    Opmerking: In VPC topologies, drukt de primaire VPC-schakelaar het paar van de extensiesleutel naar vCenter evenals de poortprofielen. De verlengsnoer wordt gesynchroniseerd door de primaire VPC peer naar het secundaire VPC peer. Dit wordt later geverifieerd met de opdracht show svs-connectie, die dezelfde extensie-toets op beide peers meldt. Als de twee Nexus 5500 geen VPC peers waren, dan zou de extensiesleutel anders zijn voor elke switch en zou elke switch afzonderlijke SVS-verbindingen naar het vCenter moeten opzetten.

    
    
    Connect via HTTP naar het VPC primaire Nexus 5548 en download het extensie XML-bestand:
    

    

    
    
    Registreer dan de verlengstekker in vCenter: Kies Plug-ins > Plug-ins beheren > Rechtsklik > Nieuwe plug-in.
    
    
11. Connect met vCenter. (Zie Stap 8.)
    
    
12. Controleer dat Nexus 5000 vSphere als vDS-bestand registreert:
    
    Controleer de creatie van een nieuwe DVS onder vCenter met de naam zoals gedefinieerd in dvs-name onder svs-verbinding op de Nexus 5000: Kies startpunt > inventaris > netwerken.
    
    

    

    
    
    Controleer in de primaire switch van Nexus 5000 VPC of de SVS-verbinding met deze opdracht online is:
    
    

    n5k1# show svs connections
    
    Local Info:
    -----------
    connection MyCon:
        ip address: 10.2.8.131
        remote port: 80
        vrf: management
        protocol: vmware-vim https
        certificate: default
        datacenter name: MyVC
        extension key: Cisco_Nexus_1000V_126705946
        dvs name: MyVMFEX
        DVS uuid: 89 dd 2c 50 b4 81 57 e4-d1 24 f5 28 df e3 d2 70
        config status: Enabled
        operational status: Connected
        sync status: in progress
        version: VMware vCenter Server 5.0.0 build-455964
    
    
    Peer Info:
    ----------
    connection MyCon:
        ip address: 10.2.8.131
        remote port: 80
        vrf: management
        protocol: vmware-vim https
        extension key: Cisco_Nexus_1000V_126705946
        certificate: default
          certificate match: TRUE
        datacenter name: MyVC
        dvs name: MyVMFEX
        DVS uuid: -
        config status: Disabled
        operational status: Disconnected
    n5k1#

    
    
    
13. Zorg ervoor dat VM-poortgroepen beschikbaar zijn in vCenter.
    
    De vEthernet poortprofielen die op Nexus 5000 zijn gedefinieerd, moeten in vCenter als poortgroepen onder de DVS in de netwerkweergave verschijnen:
    
    

    

    
    
    
14. Migreer ESXi-hosts op de DVS.
    
    Kies vanuit VSphere startpunt > inventaris > netwerken, klik met de rechtermuisknop op de DVS-naam en Add Host om de ESXi-hosts aan de DVS toe te voegen.
    
    De adapter-FEX virtuele interfaces zijn de ESXi hosts uplinks. Kies de standaard uplink poort-group (ongebruikt_of_quarantaine_uplink) voor die uplinks poorten.
    
    
15. Verricht de VM.
    
    Kies een VM-FEX poortgroep voor de netwerkadapter van een VM (klik met de rechtermuisknop VM > Instellingen bewerken > Netwerkadapter > Netwerklabel in het rechtermenu).
    
    
16. VNIC's bevoorraad.
    
    
17. Adapter initieert VIC Interface om te schakelen.
    
    Wanneer een VM-netwerkadapter is toegewezen aan een VM-FEX poortgroep, wordt een vEthernet-interface dynamisch gecreëerd op de Nexus 5000. Het bereik van dynamisch gemaakte vEth interfaces begint bij 32769.
    
    Deze interfaces kunnen via deze opdrachten worden gecontroleerd:
    

    # show interface virtual status
    # show interface virtual summary

Probleemoplossing controleren

Gebruik dit gedeelte om te controleren of de configuratie goed werkt en om problemen op te lossen waarmee u wordt geconfronteerd.

• Om te verifiëren dat de twee statische VNIC's van de UCS-C server met de VN-Link naar de statische vaste VLAN-interfaces op de Nexus 5500 worden aangesloten, voer deze opdracht in:
  
  

  n5k1# show system internal dcbx info interface e1/1
  
  Interface info for if_index: 0x1a001000(Eth1/1)
  tx_enabled: TRUE
  rx_enabled: TRUE
  dcbx_enabled: TRUE
  DCX Protocol: CEE
  DCX CEE NIV extension: enabled
  <output omitted>

  
  
  
• In het geval van actieve/standby topologieën op twee tweevoudige gehomeerde FEXs, zorg ervoor dat de vEth interface als actieve of standby modus op de twee Nexus 5000 VPC-switches toont.
   
   In deze modus wordt het onbekende weergegeven:
   
  

  n5k1# show int virtual status
  Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
  -------------------------------------------------------------------------
  Veth1     VIF-16      Eth101/1/1      11     1  Up         Active       2
  Veth1     None        Eth102/1/1      11     0  Init       Unknown      0
  Veth2     None        Eth101/1/1      12     0  Init       Unknown      0
  Veth2     None        Eth102/1/1      12     0  Init       Unknown      0
  Veth3     VIF-18      Eth101/1/2      11     1  Up         Active       2
  Veth3     None        Eth102/1/2      11     0  Init       Unknown      0
  Veth4     None        Eth101/1/2      12     0  Init       Unknown      0
  Veth4     VIF-19      Eth102/1/2      12     1  Up         Active       3

  
  
  Als u een onbekende modus tegenkomt, zorg er dan voor dat u de uitklink-failover-modus op de VNIC inschakelen. Zorg er ook voor dat het kanaalnummer dat u in de CIMC hebt opgegeven, overeenkomt met het kanaalnummer dat in de vEthernet-configuratie is gespecificeerd.
  
  Het juiste resultaat moet er zo uitzien:
  
  

  n5k1# show int virtual status
  Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
  -------------------------------------------------------------------------
  Veth1     VIF-27      Eth101/1/1      11     1  Up         Active       2
  Veth1     VIF-35      Eth102/1/1      11     1  Up         Standby      2
  Veth2     VIF-36      Eth101/1/1      12     1  Up         Standby      3
  Veth2     VIF-33      Eth102/1/1      12     1  Up         Active       3
  Veth3     VIF-30      Eth101/1/2      11     1  Up         Active       2
  Veth3     VIF-21      Eth102/1/2      11     1  Up         Standby      2
  Veth4     VIF-24      Eth101/1/2      12     1  Up         Standby      3
  Veth4     VIF-31      Eth102/1/2      12     1  Up         Active       3

  
  
  
• De interfaces verschijnen niet op de schakelaar.
  
  Controleer in het menu CIMC-server van UCS-C of:
  
  • NIV is ingeschakeld op de adapter.
    
    
  • Een niet-nul aantal VM-FEX interfaces wordt ingesteld op de adapter.
    
    
  • Adapter-failover is ingeschakeld op de VNIC.
    
    
  • De UCS-C server werd opnieuw opgestart nadat de bovenstaande configuratie was uitgevoerd.
  
  
  
• De achtste interfaces zijn niet online.
  
  Controleer of VIF_CREATE in deze opdracht verschijnt:
  
  

  # show system internal vim info logs interface veth 1
  03/28/2014 16:31:47.770137: RCVD VIF CREATE request on If Eth1/32  <<<<<<<
  03/28/2014 16:31:53.405004: On Eth1/32 - VIC CREATE sending rsp for msg_id 23889
  to completion code SUCCESS
  03/28/2014 16:32:35.739252: On Eth1/32 - RCVD VIF ENABLE. VIF-index 698 msg id 23953
  VIF_ID: 0, state_valid: n, active
  03/28/2014 16:32:35.802019: On Eth1/32 - VIC ENABLE sending rsp for msg_id 23953 to
  completion code SUCCESS
  03/28/2014 16:32:36.375495: On Eth1/32 - Sent VIC SET, INDEX: 698, msg_id 23051, up,
  enabled, active, cos 0VIF_ID: 50 vlan:
  1 rate 0xf4240, burst_size 0xf
  03/28/2014 16:32:36.379441: On Eth1/32 - RCVD VIC SET resp, INDEX: 698, msg_id 23051,
  up, enabled,active, cos 0, completion
  code: 100

  
  
  Als VIF_CREATE niet verschijnt of de switch niet goed reageert, dan dient u deze stappen te voltooien:
  
  
  • Controleer in vCenter of de DVS-schakelaar correct is geconfigureerd met twee fysieke uplinks voor de ESX-host (klik met de rechtermuisknop DVS-schakelaar > Host beheren > Fysieke adapters selecteren).
    
    
  • Controleer in vCenter of VMNIC het juiste netwerklabel/poortprofiel heeft geselecteerd (klik met de rechtermuisknop VM > Instellingen bewerken > Klik op Netwerkadapter > Netwerklabel controleren).
  
  
  
• SVS-verbinding met vCenter is niet online.
  
  Zoals in Stap 12 in de vorige sectie wordt aangegeven, gebruikt u dit proces om te controleren of de Nexus 5000 is aangesloten op vCenter:
  
  
  • Controleer op vCenter of de DVS verschijnt onder de netwerkweergave.
    
    
  • Controleer bij de primaire VPC van Nexus 5000 of de SVS is aangesloten (gebruik de opdracht van de SVS-verbinding).
    
    
  
  
  Controleer, indien de verbinding niet tot stand is gebracht, of:
  
  
  • De SVS-configuratie is identiek op beide VPC-peers.
    
    
  • VPC wordt geïnitialiseerd en de rollen worden correct vastgesteld.
    
    
  • Het VPC primaire schakelaar XML certificaat wordt geïnstalleerd in vCenter.
    
    
  • De primaire schakelaar van VPC heeft "verbinding" ingesteld onder de configuratie van "Svs-verbinding".
    
    
  • De naam Datacenter komt overeen met de naam die op vCenter is gebruikt.
    
    
  • De juiste Virtual Routing and Forwarding (VRF) wordt ingesteld in de afstandsbediening SVS en dat de switch IP-connectiviteit op het vCenter IP-adres heeft.
  
  
  Als aan al deze voorwaarden is voldaan maar de SVS-verbinding nog niet succesvol is, verzamel deze uitvoer en neem contact op met Cisco Technical Assistance Center (TAC):
  

  show msp port-profile vc sync-status
  show msp internal errors
  show msp internal event-history msgs
  show vms internal errors
  show vms internal event-history msgs

  
  
  
• De Nexus 5500 switch is niet bereikbaar via HTTP.
  
  Controleer dat de http-server optie is ingeschakeld:
  
  

  n5k1# show feature | i http
  http-server           1         disabled
  n5k1# conf t
  Enter configuration commands, one per line.  End with CNTL/Z.
  n5k1(config)# feature http-server
  n5k1(config)#