通过DCNM 11.2(1)部署EVPN VXLAN、多站点

简介

本文档介绍如何部署两个单独的EVPN VXLAN交换矩阵，以及如何使用Cisco Data Center Manager(DCNM)11.2(1)将这两个交换矩阵合并到EVPN多站点交换矩阵部署中。

DCNM 11.0(1)版本中引入的多站点域(MSD)是一个多交换矩阵容器，用于管理多个成员交换矩阵。它是重叠网络定义以及成员交换矩阵之间共享的虚拟路由和转发(VRF)的单一控制点。

注：本文档不介绍有关DCNM中每个选项卡的功能/属性的详细信息。请参见末尾的参考资料，其中确实包括详细说明。

  

先决条件

要求

Cisco 建议您了解以下主题：

• vCenter/UCS以部署DCNM虚拟机

• 熟悉NX-OS和Nexus 9000

• 以枝叶/主干方式连接的Nexus 9000ToR和EoR

使用的组件

本文档中的信息基于以下软件和硬件：

• DCNM 11.2(1)
• NX-OS 7.0(3)I7(7)和NX-OS 9.2(3)
• 主干：N9K-C9508 / N9K-X97160YC-EX和N9K-C9508 / N9K-X9636PQ
• 枝叶：N9K-C9372TX、N9K-C93180YC-EX、N9K-C9372TX-E、N9K-C92160YC-X
• 边界网关：N9K-93240-YC-FX2和N9K-C93180YC-FX
• 7000“主机”：N77-C7709

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

已建立物理拓扑

在vCenter中部署OVA/OVF

步骤1.在vCenter下，在您选择的服务器/主机中部署开放式虚拟化格式(OVF)模板，如图所示。

1. 在本地拥有OVA/OVF等文件，并通过Choose Files进行选择，如图所示：

2. 按照其余提示（VM名称、主机、网络设置，如图所示）操作，然后单击Finish。

步骤2.完成后，启动DCNM VM，如此处所示。

步骤3.启动Web控制台，进入控制台后，您应该看到以下提示（IP不同，因为此提示特定于您的环境和配置）：

步骤4.转到https://<your IP>:2443（这是您之前在OVA部署期间配置的IP），然后单击Get Started。在本例中，介绍全新安装。

步骤5.配置管理员密码后，必须选择要安装的交换矩阵类型。在LAN或FAB之间进行选择，因为每种类型都有不同的用途，因此请务必正确理解和选择。在本例中，使用LAN交换矩阵，它适用于大多数VXLAN-EVPN部署。

步骤6.按照安装程序的提示使用网络的DNS、网络时间协议(NTP)服务器、DCNM主机名等。

步骤7.配置管理IP和管理网关。管理网络提供与DCNM服务器的连接(SSH、SCP、HTTP、HTTPS)。这也是用于访问GUI的IP。IP地址应从之前安装的OVA中预先配置。

步骤8.配置带内网络。带内网络用于终端定位器等应用，需要前面板端口连接到交换矩阵中的9K，以在DCNM和9K之间建立边界网关协议(BGP)会话。 

步骤9.配置内部应用服务网络 —

要从DCNM 11.0版本开始，DCNM支持采用DCNM LAN OVA/ISO安装的应用框架(AFW)。此框架使用Docker将应用程序作为群集和非群集环境中的微服务进行协调，以实现横向扩展架构。

默认情况下随DCNM一起提供的其他应用包括Endpoint Locator、Watch Tower、Virtual Machine Manager插件、Config Compliance等。AFW负责这些应用的生命周期管理，包括提供网络、存储、身份验证、安全等。AFW还管理Network Insights应用（即NIR和NIA）的部署和生命周期。当您启用了NIA/NIR时，此子网用于Docker服务。

如何安装NIA/NIR将在第2天运营部分中介绍。

注意：此子网不应与分配给DCNM的eth0/eth1/eth2接口的网络和计算节点重叠。此外，此子网不应与分配给交换机或由DCNM管理的其他设备的IP重叠。安装DCNM主节点和辅助节点时（在本机HA部署中），所选子网应保持一致。

  

步骤10.检查并确认所有配置详细信息，然后开始安装。

步骤11.DCNM完全安装后，登录GUI（之前配置的IP地址或主机名）。

部署第一个交换矩阵 — RTP交换矩阵

步骤1.进入DCNM GUI后，导航到Fabric Builder。控制>交换矩阵>交换矩阵生成器，以创建第一个交换矩阵。

步骤2.单击Create Fabric并根据网络需要填写表单 — Easy Fabric是本地EVPN VXLAN部署的正确模板：

步骤3.填写交换矩阵的基础层、重叠、vPC、复制、资源等要求。

本部分介绍通过DCNM所需的所有底层、重叠、vPC、复制等设置。这取决于网络编址方案、要求等。在本例中，大多数字段保留为默认值。L2VNI和L3VNI已更改，因此L2VNI以2开头，L3VNI以3开头，以便于以后进行故障排除。还启用双向转发检测(BFD)和其他功能。

步骤4.在Bootstrap配置下，配置您希望DCNM在POAP过程中传给交换矩阵内的交换机的DHCP地址范围。配置适当的（现有）默认网关。完成后，单击Save，现在您可以继续将交换机添加到交换矩阵中。

将交换机添加到交换矩阵

步骤1.导航到控制>结构>结构构建器，然后选择结构。在左侧面板上，单击Add Switches，如图所示。

您可以通过使用种子IP(意味着必须手动配置每台交换机的mgmt0 IP)来发现交换机，也可以通过POAP发现交换机，并让DCNM为您配置所有mgmt0 IP地址、VRF管理等。在本例中，我们将使用POAP。

步骤2.当您看到您感兴趣的交换机后，输入您希望DCNM使用的所需IP地址和主机名，输入Admin PW，然后点击Bootstrap，如图所示。

成功的启动日志应如图所示，从交换机的控制台开始。

步骤3.在部署整个交换矩阵的配置之前，请确保之前已使用设备凭证配置DCNM。您登录时，GUI中应该显示一个弹出窗口。如果没有，您可以始终通过管理>凭证管理> LAN凭证来访问它。 

注意：如果缺少设备凭证，DCNM无法将配置推送到交换机。

  

部署交换矩阵的配置

步骤1.使用相同的步骤发现给定交换矩阵的所有交换机后，导航到Control > Fabric > Fabric Builder > <your selected Fabric>。您应该在此处看到您的交换机及其所有链路。点击保存和部署。

步骤2.在Config Deployment窗口中，您可以看到每台交换机DCNM推送的配置行数。如果需要，您也可以预览配置，并比较之前和之后的配置：

确保所有交换机状态都已完成，100%没有任何错误 — 如果有任何错误，请务必逐一解决它们(有关示例，请参阅在此部署过程中遇到的问题部分)

步骤3.（可选）此时您可以登录到设备并发出任何show run CLI，以验证配置是否由DCNM成功推送。

示例：

部署第二个交换矩阵 — SJ

对RTP交换矩阵执行与之前相同的步骤，对BGP AS等使用不同的值。

步骤1.导航到控制>交换矩阵>交换矩阵生成器>创建交换矩阵>命名它!

本部分涵盖所有需要的Underlay、Overlay、vPC、复制等设置。这取决于网络编址方案、要求等。

注意：如果使用了多站点，则此处的任播网关MAC应与另一个交换矩阵匹配，但稍后不支持不同的任播网关MAC。这将在稍后的“多站点部署”部分进行更正（由于内容简洁，未显示在文章中）。

步骤2.如前所述配置Bootstrap部分。再次浏览添加交换机。发现所有配置后，单击Save & Deploy部署配置。RTP Fabric Deployment（RTP交换矩阵部署）部分对此进行了全面介绍（此处省略是为了简洁起见）。

最后从Fabric Builder的角度来看待拓扑。

理想情况下，所有交换机及其链路都应显示为绿色。此图显示了DCNM中不同的状态颜色。

步骤3.配置并部署两个交换矩阵后，确保保存配置并重新加载，以便TCAM更改生效。转至Controls > Fabric > Fabric Builder > <your Fabric>，导航到Tabular View，如图所示。

步骤4.然后单击power按钮（这将同时重新加载所有交换机）：

创建网络(VLAN/L2VNI)和VRF(L3VNI)

步骤1.导航到Control > Fabric > Networks，如图所示。

步骤2.如图所示，选择Scope进行更改。即此配置需要应用于哪个交换矩阵？

步骤3.单击+符号，如图所示。

步骤4. DCNM引导您完成创建交换机虚拟接口(SVI)（或纯L2 VLAN）的过程。 如果在此阶段未创建VRF，请再次单击+按钮，这会将您暂时转到VRF浏览，然后继续使用SVI设置。

可以在Advanced选项卡下配置以下功能： 

• ARP抑制
• 入口复制
• 组播组
• DCHP
• 路由标记
• TRM
• L2 VNI Route-Target
• 在边界上启用L3网关

步骤5.单击Continue部署网络/VRF配置。

步骤6.双击拓扑视图中的设备（或设备）（DCNM会自动将您带到此处），选择它们进行适用的配置。单击Save，如图所示。

步骤7.选择后，交换机应显示为蓝色（已准备好部署），如下图所示。

注：如果您要在部署之前验证CLI的配置，可以点击详细视图而不是部署，然后在下一个屏幕中点击预览。 

在应用配置时，交换机变为黄色，并在配置完成后返回绿色。

步骤8.（可选）如果需要，您可以登录CLI以验证配置（请记住使用expand-port-profile选项）：

多站点配置

对于此全新部署，MSD交换矩阵通过边界网关(BGW)之间的直接对等进行部署。 另一种方法是使用集中式路由服务器，本文档中未介绍此方法。

步骤1.导航到控制>交换矩阵生成器>创建交换矩阵，如图所示。

步骤2.为您的多站点交换矩阵指定一个名称，并在交换矩阵模板的下拉列表中选择MSD_Fabric_11_1。

第3步：在General下，确保您的L2和L3 VNI范围与您的单个交换矩阵使用的相匹配。此外，任播网关MAC必须在两个交换矩阵（本示例中为RTP/SJ）上匹配。如果网关MAC不匹配，DCNM会向您提供错误，并且需要在使用MSD部署前进行更正。

步骤4.单击Save，然后导航到MSD交换矩阵，然后单击Save & Deploy。成功完成之后，您的拓扑应类似于以下内容（所有交换机+绿色链路）：

部署主机访问/中继策略

在本示例中，配置了两个不同VTEP对的vPC中继并测试本地RTP交换矩阵内的连接。相关拓扑，如图所示：

步骤1.导航到Control > Fabric > Interfaces，如图所示。

步骤2.单击+进入“添加接口”向导，如图所示。

在本示例中，vPC中继创建在N7K的下游，用于在此演练中ping测试。

步骤3.选择适当的vPC对、物理接口、LACP开/关、BPDUGuard等。

步骤4.完成后，单击Save。或者，您可以直接部署，如图所示。

步骤5.（可选）查看要应用的配置。

步骤6.（可选）在7K上手动配置：

步骤7.（可选）在N7K上创建测试SVI，以对RTP中的VTEP执行ping操作（VTEP在VRF标红色A中有任播网关10.212.20.1）：

步骤8.（可选）验证RTP中的其他VTEP通过EVPN/HMM看到此主机：

步骤9.（可选）对seoul-bb11/12重复相同的过程（创建vPC端口通道，创建SVI 2300）。 从RTP-Left到RTP-Right执行ping操作，以确认RTP交换矩阵中通过EVPN的L2连接：

在Add Interfaces情景下，可按照类似步骤创建非vPC端口通道、访问接口等。

第2天运营

通过DCNM升级NX-OS软件

步骤1.上传图像（或一组图像到DCNM的服务器），然后导航到Control > Image Management > Image Upload，如图像所示。

步骤2.按照提示进行本地上载，然后文件应如下图所示：

步骤3.上传文件后，如果交换机需要升级，您可以继续执行安装和升级。导航到控制>映像管理>安装和升级，如映像所示。

步骤4.选择要升级的交换机。在本例中，升级整个RTP交换矩阵。

第5步：选择要将交换机升级至哪个NX-OS版本（最佳做法是将所有交换机升级到同一NX-OS版本）：

步骤6.单击下一步,DCNM通过安装前检查运行交换机。此窗口可能需要较长时间，因此您也可以选择Finish Installation Later，并在您离开时安排升级。

完成任务后，此命令会将任务排队，其显示与图中所示类似。

注：上述情况的例外情况是其中一台RTP交换机没有足够空间用于NX-OS映像。

步骤7.完成兼容性后，单击同一窗口中的完成安装，如图所示。

步骤8.您可以选择要并发（全部同时）或按顺序（一次一个）完成的升级。 由于这是实验环境，因此选择并发。

任务创建后会显示IN PROGRESS，如图所示。

此处显示选择图像的另一种方法。

安装终端定位器

要使DCNM应用正常工作，您必须在DCNM服务器和前面板端口之间具有到交换矩阵中某个Nexus 9000的带内连接。在本示例中，DCNM服务器连接到RTP交换矩阵中一个主干的Ethernet1/5。

步骤1.将此CLI手动添加到Nexus 9000:

步骤2.确保您可以ping通DCNM服务器，反之亦然。

步骤3.导航到DCNM GUI > Control > Endpoint Locator > Configure，如图所示。

步骤4.选择要启用终端定位器的交换矩阵，如图所示。

步骤5.如图所示，选择主干。

第 6 步： （可选）。 在继续下一步之前，通过DCNM服务器上的此CLI将eth2的IP从原始部署更改（如果在DCNM服务器全新安装期间配置的原始IP仍然正确，则不需要执行此步骤）：

步骤7.检验带内接口配置。这应该与上一步中配置的内容匹配。

步骤8.查看配置后，单击Configure。此步骤可能需要几分钟：

完成后，系统将显示通知，如图所示。

请注意，DCNM已在L2VPN EVPN系列中的所选主干上配置了BGP邻居。

步骤9.您现在可以使用终端定位器。导航到监控 > 终端定位器 > 浏览。

在本示例中，您可以看到为RTP交换矩阵中的本地ping测试配置的两台主机：

此部署期间遇到的问题

连线错误

一对交换机布线错误，导致vPC对等链路端口通道500出现捆绑错误。示例:

步骤1.导航回控制 > Fabric Builder并查看错误：

步骤2.对于port-channel500命令失败的第一个错误 — 通过show cdp neighbors验证到vPC对等体的连接在10G和40G端口上（不兼容）。 以物理方式删除10G端口并从DCNM中删除链路：

配置功能失败

对于“feature ngoam”配置失败的第二个错误 — 交换机已升级到支持“feature ngoam”的较新NX-OS版本，然后再次点击Save & Deploy。这两个问题都已解决。

重叠不同交换矩阵的管理子网

当部署第二个交换矩阵时，SJ使用相同的子网（如果物理上独立，则应该可以）；但是，DCNM记录冲突并且POAP失败。由于SJ交换矩阵被置于不同的管理VLAN中并更改了DHCP地址范围，因此可以解决此问题。

分支接口

步骤1.对于某些交换机的分支接口（请参阅拓扑），为T2主干手动添加了此CLI:

步骤2.导航到Control > Interfaces，然后删除父接口：

实际使用的接口是Eth1/6/1-4和Eth1/7/1-4。如果不更正此问题，保存和部署将在以后失败。有一个方法可以通过DCNM本身进行分流(+号旁边的按钮；但是，本文未涉及)

部署到不受支持的功能时出现交换矩阵错误

SJ交换矩阵中的某些机箱(T2)不支持TRM，因此，当DCNM尝试推送此配置时，它无法向前移动。TRM支持如下：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/92x/vxlan-92x/configuration/guide/b-cisco-nexus-9000-series-nx-os-vxlan-configuration-guide-92x/b_Cisco_Nexus_9000_Series_NX-OS_VXLAN_Configuration_Guide_9x_chapter_01001.html#concept_vw1_syb_zfb

未选中Network和VRF Edit窗口下的TRM Enable框，该图像显示。

在Control > Fabric Builder > VRF下重复相同的过程。

  

分别单击Continue和Deploy，如前所述。

DCNM 11.2中有哪些新功能？

• vPC 交换矩阵对等连接

• 基于eBGP的路由交换矩阵

  • 在顶部启用EVPN

• 简单的交换矩阵灰场增强功能

  • 边界主干/边界网关主干

  • PIM Bidir

  • 租户路由组播

• 第0天/使用外部DHCP服务器的引导程序

第2天运营：

• 网络见解资源

• 网络见解顾问

• IPv6支持外部访问(eth0)

• UCS-FI的VMM计算可视性

• 拓扑视图增强功能

• 内联升级自11.0/11.1

使用DCNM从传统vPC更改为无MCT的vPC:

无MCT vPC的优势：

• 增强型双宿主解决方案，不会浪费物理端口

• 保留传统vPC特征

• 使用PIP为单一托管终端优化路由

相关信息

• Cisco DCNM LAN交换矩阵配置指南，版本11.2(1)
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/control.html
  
  
• 章节：VXLAN BGP EVPN交换矩阵中的边界调配使用案例 — 多站点
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/border-provisioning-multisite.html
  
• 使用vPC边界网关的VXLAN EVPN多站点的下一代DCI白皮书
  https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/whitepaper-c11-742114.html#_Toc5275096
  
  
• 章节：DCNM应用
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/applications.html