目录

简介

先决条件

要求

使用的组件

网络图

配置

配置新的vNIC

确认待定活动

配置VLAN

ESXi配置

验证

UCSM验证

CLI验证

虚拟接口(VIF)路径

在上行链路中固定

指定接收方：

上游交换机

故障排除

UCSM配置错误

可能的不正确行为

相关信息

简介

本文档介绍如何从UCS Manager(UCSM)和ESXi角度在HX集群上实施分离的第2层(DL2)配置。

先决条件

要求

Cisco 建议您了解以下主题：

- 基本了解DL2配置

- Hyperflex集群的基本知识

- 建议了解有关vNIC、服务配置文件和模板的UCSM知识

其他要求包括：

- 每个交换矩阵互联上至少有一个可用链路，上游交换机上有两个可用链路。

- 交换矩阵互联和上游交换机之间的链路必须启用，必须配置为上行链路。如果不是，请检查此系统配置 — 配置端口以在UCSM上配置它们。

- 必须在UCSM上创建要使用的VLAN。否则，请执行以下步骤网络配置 — 配置命名VLAN。

- 必须在上游交换机上创建要使用的VLAN。

- 要使用的VLAN不能存在于服务配置文件上的任何其他虚拟NIC(vNIC)上。

使用的组件

本文档不限于特定的软件和硬件版本。

- 2个UCS-FI-6248UP

- 2x N5K-C5548UP

- UCSM版本4.2(1f)

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

网络图

配置

DL2配置用于将特定上行链路上的流量隔离到上游设备，因此VLAN流量不会混合。

配置新的vNIC

步骤1:登录到UCSM，然后单击左侧面板上的LAN选项卡。

导航到Policies > root > Sub-organizations > Sub-organization name > vNIC templates。右键单击它并单击创建vNIC模板。

第二步：为模板命名，将Fabric A保留为选中状态，向下滚动，并为新链路选择适当的VLAN。其余设置可根据需要进行配置。

接下来，重复相同的过程，但这次选择交换矩阵B。

第三步：从LAN选项卡导航至 Policies > root > Sub-organizations > Sub-organization name > LAN Connectivity Policies > Hyperflex。

第四步：单击Add，为vNIC命名，然后从下拉菜单中选择MAC池。

选中Use vNIC Template和Redundancy Pair框。从vNIC Template下拉列表中，选择新模板，并在旁边输入 对等体名称。

选择所需的Adapter Policy，然后单击OK。

第五步：在vNIC列表中，查找刚刚创建的对等体，选择它，然后单击 修改.

单击Use vNIC Template框，然后从下拉列表中选择创建的其他模板。

单击底部的Save Changes，这将触发相关服务器的Pending Activities。

确认待定活动

步骤1:登录到HX Connect，导航到System Information > Nodes，单击其中一个节点，然后单击Enter HX Maintenance Mode，然后等待任务完成。

第二步：在vCenter中，确保节点处于维护状态。

第三步：在节点进行维护后，返回UCSM，点击右上角的铃声图标，在Reboot Now下。

选中与当前正在维护的服务器匹配的复选框，然后单击OK。

第四步：在服务器启动后，导航到Servers > Service Profiles > root > Sub-Organizations > Sub-organization name > Service Profile name，确保新的vNIC存在。

单击Network，向下滚动，新的vNIC必须存在。

第五步：从HX Connect UI使服务器退出维护模式。

单击退出HX维护模式。

当服务器停止维护时，存储控制器虚拟机(SCVM)将启动，群集将启动修复过程。

为了监控修复过程，请通过SSH连接到Hyperflex(HX)Cluster Manager IP并运行命令：

sysmtool --ns cluster --cmd healthdetail

Cluster Health Detail:

---------------------:

State: ONLINE

HealthState: HEALTHY

Policy Compliance: COMPLIANT

Creation Time: Tue May 30 04:48:45 2023

Uptime: 7 weeks, 1 days, 15 hours, 50 mins, 17 secs

Cluster Resiliency Detail:

-------------------------:

Health State Reason: Storage cluster is healthy.

# of nodes failure tolerable for cluster to be fully available: 1

# of node failures before cluster goes into readonly: NA

# of node failures before cluster goes to be crticial and partially available: 3

# of node failures before cluster goes to enospace warn trying to move the existing data: NA

# of persistent devices failures tolerable for cluster to be fully available: 2

# of persistent devices failures before cluster goes into readonly: NA

# of persistent devices failures before cluster goes to be critical and partially available: 3

# of caching devices failures tolerable for cluster to be fully available: 2

# of caching failures before cluster goes into readonly: NA

# of caching failures before cluster goes to be critical and partially available: 3

Current ensemble size: 3

Minimum data copies available for some user data: 3

Minimum cache copies remaining: 3

Minimum metadata copies available for cluster metadata: 3

Current healing status:

Time remaining before current healing operation finishes:

# of unavailable nodes: 0

第六步： 一旦集群运行正常，请重复步骤1-6。在所有服务器都有新的vNIC之前，请不要继续下一步。

配置VLAN

步骤1:从UCSM导航到LAN > VLANs > VLAN Groups，然后单击Add。

第二步：命名VLAN组并在下面选择适当的VLAN，单击下一步，然后转到向导的第2步以添加单个上行链路端口，或转到第3步以添加端口通道。

第三步：点击上行链路端口或端口通道，然后点击>>图标。单击底部的Finish。

ESXi配置

步骤1:登录到ESXi主机的vSphere，导航到网络>虚拟交换机，然后单击 添加标准虚拟交换机。

第二步：为vSwitch命名，并且已经有一个新的vmnic，请点击Add uplink以添加第二个上行链路。单击 Add。

第三步：导航到网络>端口组，然后单击添加端口组

第四步：为端口组命名，输入所需的VLAN，然后从下拉列表中选择新的虚拟交换机。

第五步：对流经新链路的每个VLAN重复步骤4。

第六步：对属于群集的每个服务器重复步骤1-5。

验证

UCSM验证

导航到Equipment > Rack-Mounts > Servers > Server # > VIF Paths并展开Path A或B，在vNIC列下查找与DL2 vNIC匹配且虚拟电路必须固定到最近配置的交换矩阵互联(FI)上行链路或端口通道的路径。

CLI验证

虚拟接口(VIF)路径

在到交换矩阵互联的SSH会话中，运行命令：

show service-profile circuit server <server-number>

此命令显示VIF路径、其对应的vNIC及其固定到的接口。

Fabric ID: A

Path ID: 1

VIF        vNIC            Link State  Oper State Prot State    Prot Role   Admin Pin  Oper Pin   Transport

---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------

966 hv-mgmt-a       Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether

967 storage-data-a  Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether

968 vm-network-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether

969 hv-vmotion-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether

990 network-DL2-a   Up          Active     No Protection Unprotected 0/0/0      1/0/14     Ether

Oper Pin列必须在与DL2 vNIC相同的线路下显示最近配置的FI上行链路或端口通道。

在此输出中，与vm-network-DL2-b vNIC对应的VIF 990被固定到接口1/0/14。

在上行链路中固定

Fabric-Interconnect-A# connect nx-os a

Fabric-Interconnect-A(nxos)# show pinning border-interfaces

--------------------+---------+----------------------------------------

Border Interface     Status    SIFs

--------------------+---------+----------------------------------------

Eth1/14              Active    sup-eth2 Veth990 Veth992 Veth994

在此输出中，Veth编号必须与上一个输出中看到的VIF编号匹配，并且与正确的上行链路接口位于同一行上。

指定接收方：

Fabric-Interconnect-A# connect nx-os a

Fabric-Interconnect-A(nxos)# show platform software enm internal info vlandb id <VLAN-ID>

vlan_id 469

-------------

Designated receiver: Eth1/14

Membership:

Eth1/14

在此输出中，必须显示正确的上行链路。

上游交换机

在与上游交换机的SSH会话中，可以检查MAC地址表，并且必须显示此VLAN上任何虚拟机(VM)的MAC地址。

Nexus-5K# show mac address-table vlan 469

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link

VLAN     MAC Address      Type      age     Secure NTFY   Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 469      0000.0c07.ac45    static    0          F    F  Router

* 469      002a.6a58.e3bc    static    0          F    F  Po1

* 469      0050.569b.048c    dynamic   50         F    F  Eth1/14

* 469      547f.ee6a.8041    static    0          F    F  Router

在此配置示例中，VLAN 469是分离的VLAN，MAC地址0050:569B:048C属于分配给vSwitch vswitch-hx-DL2和端口组DL2-vm-network-469的Linux VM，它在连接到交换矩阵互联的上游交换机的接口Ethernet 1/14上正确显示。

从同一个会话到上游交换机，可以检查VLAN配置。

Nexus-5K# show vlan brief

VLAN Name                             Status    Ports

---- -------------------------------- --------- -------------------------------

1    default                          active    Eth1/5, Eth1/8, Eth1/9, Eth1/10

Eth1/11, Eth1/12, Eth1/13

Eth1/15, Eth1/16, Eth1/17

Eth1/19, Eth1/20, Eth1/21

Eth1/22, Eth1/23, Eth1/24

Eth1/25, Eth1/26

469  DMZ                              active    Po1, Eth1/14, Eth1/31, Eth1/32

在此输出中，接口Ethernet 1/14已正确分配给VLAN 469。

故障排除

UCSM配置错误

错误：“找不到任何可承载vNIC的所有VLAN的上行链路端口。vNIC将关闭，这将导致vNIC上所有现有VLAN上的流量中断。"

该错误意味着没有上行链路来传输新流量，丢弃接口上的任何第1层和第2层问题，然后重试。

错误：“ENM源定位失败”

此错误与上行链路上未找到vNIC的相关VLAN相关。

可能的不正确行为

之前的上行链路会停止数据流，因为新的VLAN已经存在于vNIC上，而且它们被固定到新的上行链路。

删除之前的vNIC模板上的任何重复VLAN。导航到Policies > root > Sub-organizations > Sub-organization name > vNIC templates 并从vm-network vNIC模板中删除VLAN。

相关信息

- 思科技术支持和下载

- 在终端 — 主机模式下上游部署第2层分离网络