交换机 : Cisco Nexus 5000 系列交换机

连结5500 VM-FEX配置示例

2016 年 10 月 24 日 - 机器翻译
其他版本: PDFpdf | 英语 (2015 年 8 月 22 日) | 反馈

简介

本文描述如何配置,操作和排除故障在思科连结的虚拟机结构扩展器(VM-FEX)功能5500交换机。

贡献用查尔斯优素福, Cisco TAC工程师。

先决条件

要求

思科建议您有这些主题基础知识。

  • 连结虚拟端口信道(VPC)
  • VMware vSphere

使用的组件

本文档中的信息基于下列硬件和软件版本:

  • 运行版本5.2(1)N1(4)的连结5548UP
  • 统一计算系统(UCS) - C C210 M2有UCS P81E运行固件版本1.4(2)的虚拟接口界面卡的货架服务器
  • vSphere版本5.0 (ESXi和vCenter)

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始(默认)配置。如果您的网络实际,请确保您了解任何命令或数据包捕获设置潜在影响。

VM-FEX概述

VM-FEX结合虚拟和物理网络到单个基础设施。它允许您设置,配置和管理虚拟机网络流量和露出在统一的基础设施内的金属网络流量。

VM-FEX软件对虚拟机扩大思科结构扩展器技术以这些功能:

  • 每台虚拟机包括在parent交换机的一个专用的接口。
  • 所有虚拟机流量发送直接地对在交换机的专用的接口。
  • 排除在hypervisor的标准的vSwitch。

VM-FEX是Distributed虚拟交换机的一种类型(DVS或VDS)。DVS提交单个交换机的抽象在是同一个Datacenter容器的一部分在vCenter的多个ESX服务器间的。虚拟机虚拟网络网络界面控制器(VNIC)配置从集中的位置维护(在VM-FEX的连结5000或UCS,本文说明连结基于5000的VM-FEX)。

VM-FEX在两个模式能运行:

  • 转接:这是默认模式, VEM在VM流量的数据路径涉及。
  • 高性能:VM流量没有由VEM处理,然而通过直接地到网络IO虚拟化(NIV)适配器。

为了使用高性能模式,应该由波尔特配置文件配置请求它,并且应该支持由VM操作系统和由其虚拟适配器。关于此的更多信息是提供的以后在本文。

定义

  • 虚拟以太网模块(VEM)。运行在ESX hypervisor里面并且提供在一个包的VNLink实施的Cisco软件模块

  • 网络IO虚拟化(NIV)使用VNtagging为了部署几条虚拟网络链路(VN林克)在同一个物理以太网信道间

  • Datacenter桥接功能交换(DCBX)

  • VNIC接口控制(VIC)

  • 虚拟NIC (VNIC),指示一个主机终端。它可以关联与激活VIF或待机VIF

  • 分布式虚拟端口(DVPort)。VNIC连接对在VEM的DVPort

  • NIV虚拟接口(VIF),指示在网络末端

  • 虚拟以太网(vEth)接口代表VIF在交换机

  • 转接交换机(PTS)。在hypervisor安装的VEM模块

注意:用于VM-FEX的VEM类似于VEM与连结1000v一起使用。差异是那在VM-FEX, VEM在直通模式运行,并且不执行在VMs之间的本地交换在同样ESX。

配置

拓扑是有P81E VIC双重址的一个UCS-C服务器对两连结5548 VPC交换机。

注意:使用命令查找工具仅限注册用户)可获取有关本部分所使用命令的详细信息。

网络图

这些必需的组件一定已经到位:

  • VPC适当地配置并且初始化在两连结之间5000交换机。

  • VMWare vCenter安装并且连接给通过vSphere客户端。

  • ESXi在UCS-C服务器安装并且被添加到vCenter。

配置步骤汇总此处:

  1. 在服务器适配器的Enable (event) NIV模式:

    1. 对思科集成管理控制器(CIMC)接口的连接通过HTTP和登录与admin凭证。

    2. 选择Inventory>网络适配器> Modify适配器属性

    3. 启动NIV模式,设置VM FEX接口数量,并且保存更改。

    4. 停电然后启动服务器。




    在服务器回来联机后,请验证NIV启用:



  2. 创建在服务器的两静态vEths。

    为了创建两VNICs,请选择Inventory>网络适配器> VNICs >Add
    这些是将定义的最重要的字段:

    • 将使用的VIC上行链路端口(P81E有作为0和1)被参考的两上行链路端口。

    • 信道数:这是VNIC的唯一信道ID在适配器的。这被参考bind命令在连结5000的vEth接口下。信道数的范围对VNTag物理链路被限制。信道可以设想作为一“虚链路”在交换机和服务器适配器之间的物理链路。

    • 波尔特配置文件:在上行连结定义的波尔特配置文件列表5000可以选择。如果连结5000配置与vEthernet自动创建命令, vEth接口在连结5000自动地创建。注意仅vEthernet波尔特配置文件名称通过到服务器(波尔特配置文件配置不是)。这在VNTag链路连接以后发生设立,并且最初的握手和协商步骤被执行在交换机和服务器适配器之间。

    • Enable (event)上行链路故障切换:对另一P81E上行链路端口的VNICs故障切换,如果已配置的上行链路端口脱机。





  3. 重新启动服务器。

  4. 安装在ESXi主机的VEM。

    对于VEM的示例安装在ESXi主机的,参考安装或升级在ESX的思科VEM软件套件或Cisco UCS Manager VM-FEX的ESXi主机VMware GUI配置指南的,版本2.1



    注意:在两个连结应该配置其次显示的所有交换机配置5500 VPC对等体,除了软件虚拟交换机(SVS)连接命令和XML分机密钥,在仅VPC主要的交换机应该完成。



  5. 启用虚拟化feature-set和VM-FEX和HTTP功能:

    (config)# install feature-set virtualization
    (config)# feature-set virtualization
    (config)# feature vmfex
    (config)# feature http-server

    (Optional) Allow the Nexus 5000 to auto-create its Vethernet interfaces when the
    corresponding vNICs are defined on the server:
    (config)# vethernet auto-create


  6. 启用在主机接口的VNTag。
    Configure the N5k interface that connects to the servers in VNTAG mode:
    (config)# interface Eth 1/1
    (config-if)# switchport mode vntag
    (config-if)# no shutdown


  7. 启动静态vEths。

    在两连结5500交换机,启用应该连接到两静态在服务器VIC启用的VNICs的静态vEth虚拟接口。

    在连结5548-A,回车:
    interface vethernet 1 
    bind interface eth 1/1 channel 10
    no shutdown


    在连结5548-B,回车:
    interface vethernet 2
    bind interface eth 1/1 channel 11
    no shutdown


    或者,这些vEth接口可以自动地创建与vethernet自动创建命令。

    注意:在介入双重址的服务器到主动/主动FEX模块的拓扑的情况下,服务器VNICs应该有启用的上行链路故障切换,并且交换机vEthernet接口有两bind interface命令(一次每个每个FEX主机接口(HIF)端口服务器连接对)。vEthernet接口是二者之一能起作用的或备用的在每连结5000交换机。



    下面是一个示例。

    在两连结5000s中的每一,请配置:
    interface Vethernet1
      description server_uplink1
      bind interface Ethernet101/1/1 channel 11
      bind interface Ethernet102/1/1 channel 11

    interface Vethernet2
      description server_uplink2
      bind interface Ethernet101/1/1 channel 12
      bind interface Ethernet102/1/1 channel 12


  8. 配置对vCenter的SVS连接并且连接。

    在两连结5500交换机,配置:

    svs connection <name>
      protocol vmware-vim
      remote ip address <vCenter-IP> vrf <vrf>
      dvs-name <custom>
      vmware dvs datacenter-name <VC_DC_name>


    仅在VPC主要的交换机上,请连接对vCenter :

    svs connection <name>
      connect

    Sample configuration on VPC primary:
    svs connection MyCon
      protocol vmware-vim
      remote ip address 10.2.8.131 port 80 vrf management
      dvs-name MyVMFEX
      vmware dvs datacenter-name MyVC
      connect


    这是在VPC第二的一配置示例:
    svs connection MyCon
      protocol vmware-vim
      remote ip address 10.2.8.131 port 80 vrf management
      dvs-name MyVMFEX
      vmware dvs datacenter-name MyVC


  9. 创建在连结5000的波尔特配置文件。

    在两连结5500交换机,配置VM-FEX的VNICs波尔特配置文件。这些波尔特配置文件出现, DVS交换机的端口组在vCenter的。

    示例如下:

    vlan 10,20

    port-profile type vethernet VM1
      dvs-name all
      switchport mode access
      switchport access vlan 10
      no shutdown
      state enabled
    port-profile type vethernet VM2
      dvs-name all
      switchport mode access
      switchport access vlan 20
      no shutdown
      state enabled


    注意all命令的dvs NAME定义了到在vCenter的哪DVS交换机应该导出此波尔特配置文件作为端口组。请使用all命令的选项为了导出端口组到在Datacenter的所有DVS交换机。



    VM高性能模式

    为了实现海伊Perfomance模式(DirectPath IO)和绕过VM流量的hypervisor,请配置vEthernet波尔特配置文件用高性能主机Netio命令。一旦VPC拓扑,在两VPC对等体交换机应该总是编辑波尔特配置文件。例如:

    port-profile type vethernet VM2
    high-performance host-netio


    为了有可操作高性能的模式,您的VM必须有这些另外的前提条件:
    • VM虚拟适配器应该是类型vmxnet3 (请登记vCenter :用鼠标右键单击VM在正确的菜单的> Edit设置>网络适配器>适配器类型)。

    • VM必须有全部内存预约(在vCenter :右键单击VM > Edit对最右边的设置> Resources选项>内存>幻灯片预约滑块)。

    • 在VM运行的操作系统应该支持此功能。



    这是您如何验证高性能模式(DirectPath IO),当使用时。
    在VM硬件设置下,正确的菜单的DirectPath I/O字段显示作为激活,当VM高性能模式是在使用中的时,并且,非激活,当默认VM直通模式是在使用中的时。



  10. 注册在vCenter的VPC主要的连结5548 :

    注意:在VPC拓扑方面,主要的VPC交换机推送分机密钥对对vCenter以及波尔特配置文件。分机密钥由附属VPC对等体的主要的VPC对等体同步。这用显示svs connectioncommand是最新已验证,报告在两对等体的同样分机KEY。如果两连结5500不是VPC对等体,则配置的分机密钥为每交换机是不同的,并且每交换机将必须建立对vCenter的独立的SVS连接。



    通过HTTP连接对VPC主要的连结5548并且下载分机XML文件:



    然后,寄存器在vCenter的该分机plug-in :选择插件>管理插件>右键单击>New Plug-in

  11. 连接对vCenter。(请参阅步骤8.)

  12. 验证连结5000注册到vSphere作为vDS :

    验证新的DVS的创建在与名称的vCenter下如对dvs NAME定义在连结5000的svs连接下:选择霍姆> Inventory>网络



    在连结5000 VPC主要的交换机上,请验证SVS连接用此命令是联机:

    n5k1# show svs connections

    Local Info:
    -----------
    connection MyCon:
        ip address: 10.2.8.131
        remote port: 80
        vrf: management
        protocol: vmware-vim https
        certificate: default
        datacenter name: MyVC
        extension key: Cisco_Nexus_1000V_126705946
        dvs name: MyVMFEX
        DVS uuid: 89 dd 2c 50 b4 81 57 e4-d1 24 f5 28 df e3 d2 70
        config status: Enabled
        operational status: Connected
        sync status: in progress
        version: VMware vCenter Server 5.0.0 build-455964


    Peer Info:
    ----------
    connection MyCon:
        ip address: 10.2.8.131
        remote port: 80
        vrf: management
        protocol: vmware-vim https
        extension key: Cisco_Nexus_1000V_126705946
        certificate: default
          certificate match: TRUE
        datacenter name: MyVC
        dvs name: MyVMFEX
        DVS uuid: -
        config status: Disabled
        operational status: Disconnected
    n5k1#


  13. 保证VM端口组是可用的在vCenter。

    在连结定义的vEthernet波尔特配置文件5000在vCenter应该出现,在DVS下的端口组在网络视图:



  14. 迁移对DVS的ESXi主机。

    从VSphere,请选择霍姆> Inventory>网络,用鼠标右键单击DVS名称,然后添加主机为了添加ESXi主机到DVS。

    适配器FEX虚拟接口是ESXi主机uplink端口。选择默认上行链路端口组(unused_or_quarantine_uplink)那些上行端口的。

  15. 设置VM。

    选择VM (右键单击VM > Edit设置>网络适配器>在正确的菜单的网络标签的)网络适配器的一个VM-FEX端口组。

  16. VM VNICs设置了。

  17. 适配器启动VIC接口创建交换。

    当VM网络适配器被映射给VM-FEX端口组时, vEthernet接口在连结5000动态地创建。范围动态地已创建vEth接口开始在32769。

    这些接口可以通过这些命令被检查:
    # show interface virtual status
    # show interface virtual summary

验证与故障排除

请使用此部分为了验证适当您的配置工作和排除故障您遇到的任何问题。

  • 为了验证UCS-C服务器的两静态VNICs连接与静态已修复vEth接口的VN林克在连结5500,请输入此命令:

    n5k1# show system internal dcbx info interface e1/1

    Interface info for if_index: 0x1a001000(Eth1/1)
    tx_enabled: TRUE
    rx_enabled: TRUE
    dcbx_enabled: TRUE
    DCX Protocol: CEE
    DCX CEE NIV extension: enabled
    <output omitted>


  • 在活动/等待拓扑的情况下到两双重址的FEXs,请确保vEth接口表示作为在两连结的任一个能起作用的或备用的模式5000 VPC交换机。
     
     此处模式显示作为未知:
     
    n5k1# show int virtual status
    Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
    -------------------------------------------------------------------------
    Veth1     VIF-16      Eth101/1/1      11     1  Up         Active       2
    Veth1     None        Eth102/1/1      11     0  Init       Unknown      0
    Veth2     None        Eth101/1/1      12     0  Init       Unknown      0
    Veth2     None        Eth102/1/1      12     0  Init       Unknown      0
    Veth3     VIF-18      Eth101/1/2      11     1  Up         Active       2
    Veth3     None        Eth102/1/2      11     0  Init       Unknown      0
    Veth4     None        Eth101/1/2      12     0  Init       Unknown      0
    Veth4     VIF-19      Eth102/1/2      12     1  Up         Active       3


    如果遇到未知模式,请确保启动上行链路在VNIC的故障切换模式。并且请确保您在CIMC指定的信道数匹配在vEthernet配置里指定的信道数。

    正确输出应该类似于此:

    n5k1# show int virtual status
    Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
    -------------------------------------------------------------------------
    Veth1     VIF-27      Eth101/1/1      11     1  Up         Active       2
    Veth1     VIF-35      Eth102/1/1      11     1  Up         Standby      2
    Veth2     VIF-36      Eth101/1/1      12     1  Up         Standby      3
    Veth2     VIF-33      Eth102/1/1      12     1  Up         Active       3
    Veth3     VIF-30      Eth101/1/2      11     1  Up         Active       2
    Veth3     VIF-21      Eth102/1/2      11     1  Up         Standby      2
    Veth4     VIF-24      Eth101/1/2      12     1  Up         Standby      3
    Veth4     VIF-31      Eth102/1/2      12     1  Up         Active       3


  • vEth接口不出现在交换机。

    在UCS-C服务器CIMC HTTP菜单,请验证那:
    • NIV在适配器启用。

    • VM-FEX接口一个非零编号在适配器配置。

    • 适配器故障切换在VNIC启用。

    • 在以上配置做后, UCS-C服务器重新启动。


  • vEth接口不来联机。

    证实VIF_CREATE是否在此命令出现:

    # show system internal vim info logs interface veth 1
    03/28/2014 16:31:47.770137: RCVD VIF CREATE request on If Eth1/32  <<<<<<<
    03/28/2014 16:31:53.405004: On Eth1/32 - VIC CREATE sending rsp for msg_id 23889
    to completion code SUCCESS
    03/28/2014 16:32:35.739252: On Eth1/32 - RCVD VIF ENABLE. VIF-index 698 msg id 23953
    VIF_ID: 0, state_valid: n, active
    03/28/2014 16:32:35.802019: On Eth1/32 - VIC ENABLE sending rsp for msg_id 23953 to
    completion code SUCCESS
    03/28/2014 16:32:36.375495: On Eth1/32 - Sent VIC SET, INDEX: 698, msg_id 23051, up,
    enabled, active, cos 0VIF_ID: 50 vlan:
    1 rate 0xf4240, burst_size 0xf
    03/28/2014 16:32:36.379441: On Eth1/32 - RCVD VIC SET resp, INDEX: 698, msg_id 23051,
    up, enabled,active, cos 0, completion
    code: 100


    如果VIF_CREATE没出现或交换机不适当地回应,请完成这些步骤:

    • 在vCenter,请检查DVS交换机适当地配置与ESX主机的(右键单击DVS switch>两物理uplink端口管理主机>选择物理适配器)。

    • 在vCenter,请检查VMNIC选择正确网络标签/波尔特配置文件(右键单击VM > Edit设置>点击网络适配器>检查网络标签)。


  • 对vCenter的SVS连接不来联机。

    如在前面部分的步骤12所显示,请使用此进程为了验证连结5000连接对vCenter :

    • 在vCenter,请验证DVS出现在网络视图下。

    • 在主要的连结5000的VPC,请验证SVS连接(请使用connection命令显示的svs)。



    万一连接没有被建立,请验证那:

    • SVS配置是相同的在两VPC对等体。

    • VPC初始化,并且角色适当地设立。

    • VPC主要的交换机XML证书在vCenter安装。

    • VPC主要的交换机有" Connect "配置在“svs连接”配置模式下。

    • Datacenter名称匹配在vCenter使用的名称。

    • 正确虚拟路由和转发(VRF)在交换机有IP连通性对vCenter IP地址的SVS remote command和那配置。


    如果所有这些情况符合,但是SVS连接仍然不是成功的,请收集此输出和联系方式Cisco技术支持中心(TAC) :
    show msp port-profile vc sync-status
    show msp internal errors
    show msp internal event-history msgs
    show vms internal errors
    show vms internal event-history msgs


  • 连结5500交换机通过HTTP不是可及的。

    验证http服务器功能启用:

    n5k1# show feature | i http
    http-server           1         disabled
    n5k1# conf t
    Enter configuration commands, one per line.  End with CNTL/Z.
    n5k1(config)# feature http-server
    n5k1(config)#


Document ID: 117690