目录

简介

先决条件

要求

使用的组件

背景信息

配置

逻辑网络图

配置

IPN交换机配置

从APIC进行所需配置

多站点控制器配置

验证

故障排除

相关信息

简介

本文档介绍设置和配置以应用为中心的基础设施(ACI)多站点交换矩阵的步骤。

版本3.0中引入的ACI多站点功能允许您互连单独的思科ACI应用策略基础设施控制器(APIC)集群域（交换矩阵）。 每个站点代表不同的可用区域。这有助于确保跨站点的多租户第2层和第3层网络连接，并且还跨交换矩阵端到端扩展策略域。您可以在多站点GUI中创建策略，并将其推送到所有集成站点或所选站点。或者，您可以从单个站点导入租户及其策略，并将其部署在其他站点。

先决条件

要求

Cisco推荐您：

- 请完成《思科ACI多站点协调器安装和升级指南》中的说明以设置多站点控制器(MSC)。

- 确保已在两个或多个站点中完全发现ACI交换矩阵。

- 确保部署在不同站点的APIC集群具有与MSC节点的带外(OOB)管理连接。

使用的组件

本文档中的信息基于以下软件和硬件版本：

站点 A

硬件设备

逻辑名称

N9K-C9504，带N9K-X9732C-EX

spine109

N9K-C93180YC-EX

leaf101

N9K-C93180YC-EX

leaf102

N9K-C9372PX-E

leaf103

APIC-SERVER-M2

apic1

站点 B

硬件设备

逻辑名称

N9K-C9504，带N9K-X9732C-EX

spine209

N9K-C93180YC-EX

leaf201

N9K-C93180YC-EX

leaf202

N9K-C9372PX-E

leaf203

APIC-SERVER-M2

APIC2

IP网络(IPN)

N9K-C93180YC-EX

Hardware

version

APIC

版本3.1(2m)

MSC

版本：1.2(2b)

IPN

NXOS:版本7.0(3)I4(8a)

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

注意：跨站点命名空间规范化由连接的主干交换机执行。这要求第2代或更高版本的Cisco Nexus 9000系列交换机在产品名称末尾带有“EX”或“FX”。或者，ACI多站点版本1.1(x)及更高版本支持Nexus 9364C。

有关硬件要求和兼容性信息的更多详细信息，请参阅《ACI多站点硬件要求指南》。

配置

逻辑网络图

配置

本文档主要介绍用于多站点部署的ACI和MSC端配置。IPN交换机配置详细信息未完全涵盖。但是，IPN交换机中列出了一些重要配置，供参考。

IPN交换机配置

这些配置用于连接到ACI主干的IPN设备。

vrf context intersite

description VRF for Multi-Site lab

feature ospf

router ospf intersite

vrf intersite

//在站点A中朝向主干109

//在站点B中朝向主干209

interface Ethernet1/49

speed 100000

mtu 9216

no negotiate auto

no shutdown

interface Ethernet1/49.4

mtu 9150

encapsulation dot1q 4

vrf member intersite

ip address 172.16.1.34/27

ip ospf network point-to-point

ip router ospf intersite area 0.0.0.1

no shutdown

interface Ethernet1/50

speed 100000

mtu 9216

no negotiate auto

no shutdown

interface Ethernet1/50.4

mtu 9150

encapsulation dot1q 4

vrf member intersite

ip address 172.16.2.34/27

ip ospf network point-to-point

ip router ospf intersite area 0.0.0.1

no shutdown

注意：多协议边界网关协议(MP-BGP)以太网虚拟专用网(EVPN)控制平面通信的最大传输单元(MTU) — 不同站点中的主干节点之间的通信 — 默认情况下，主干节点生成9000字节数据包以交换终端路由信息。如果未修改该默认值，站点间网络(ISN)必须支持至少9100字节的MTU大小。要调整默认值，请修改每个APIC域中的相应系统设置。

本示例在主干节点上使用默认控制平面MTU大小（9000字节）。

从APIC进行所需配置

1. 从APIC GUI为每个站点配置iBGP AS和路由反射器。

1. 登录站点的APIC并为每个站点的APIC集群配置内部边界网关协议(iBGP)自治系统编号和路由反射器节点。选择APIC GUI > System > System Settings > BGP Route Reflector。这是将用于交换矩阵Pod配置文件的默认BGP路由路由反射器策略。

2. 为每个站点的APIC集群配置交换矩阵Pod配置文件。选择APIC GUI > Fabric > Fabric Policies > Pod Policies > Policy Groups。点击默认Pod策略组。从BGP Route Reflector Policy下拉列表中，选择default。

2. 配置主干访问策略以包括APIC GUI中每个站点的外部路由域。
使用接入实体配置文件(AEP)和第3层路由域（APIC GUI >交换矩阵>访问策略）配置主干上行链路到IPN交换机的主干访问策略。

1. 创建交换机配置文件。

2. 创建可附加访问实体配置文件(AAEP)、第3层路由域和VLAN池。

3. 创建主干接入端口策略组。从Attached Entity Profile下拉列表中，选择msite。

4. 创建主干接口配置文件。将面向IPN的主干接入端口与上一步中创建的接口策略组关联。

注意：目前，无需在APIC GUI的infra租户下配置开放最短路径优先(OSPF)的L3Out。这将通过MSC进行配置，并在以后将配置推送到每个站点。

3. 从APIC GUI为每个站点配置外部数据平面隧道终端(TEP)。选择APIC GUI > Infra > Policies > Protocol > Fabric Ext Connection Policies。然后创建站内/站间配置文件。

4. 重复上述步骤以完成SiteB ACI交换矩阵的APIC端配置。

多站点控制器配置

1. 在MSC GUI中逐个添加每个站点。

1. 连接并登录MSC GUI。

2. 单击ADD SITE以在MSC中逐个注册站点。您还可以在窗口右上角看到集群状态。

3. 使用APIC的IP地址之一，并为每个站点分配一个唯一的站点ID。有效范围为1-127。

2. 在MSC中按站点配置基础设施策略。

1. 登录MSC GUI。从左窗格中选择“站点”，然后单击“配置INFRA”。

2. 配置交换矩阵基础设施常规设置。从BGP对等类型(BGP Peering Type)下拉列表中，选择全网状（全网状 — EBGP /路由反射器 — IBGP）。

3. 完成后，从左侧窗格中选择一个站点。然后，您将在中间窗格中看到站点信息。有三个不同的配置级别。您可以选择站点级别、Pod级别或主干级别。它将允许在配置面板（右窗格）上进行不同设置。

4. 点击站点区域后，站点级配置(多站点启用（打开）、数据平面组播TEP、BGP ASN、BGP社区(例如，extended:as2-nn4:2:22)、OSPF区域ID、OSPF区域类型（存根阻止TEP池通告）、外部路由域等)将显示。在此，您可以配置或修改：

- 数据平面组播TEP（每个站点一个环回），用于头端复制(HREP)

- 边界网关协议(BGP)自治系统(AS)（匹配APIC中配置的站点的AS）

- OSPF区域ID、OSPF区域类型和OSPF接口策略（用于指向IPN的主干接口）

- 外部路由域

在大多数情况下，属性值已从APIC自动检索到MSC。

5. 点击Pod区域并转至POD级别特定策略。输入数据平面单播TEP。

6. 单击“主干”区域并转到主干特定的基础设施设置。对于从主干到IPN交换机的每个接口：

设置IP地址和掩码

BGP对等 — 打开

控制平面TEP — 输入路由器IP地址

主干是路由反射器 — 打开

7. 对其他站点重复上述步骤，并在MSC中完成基础设施配置。

8. 单击DEPLOY。这将保存基础设施配置并将其推送到两个站点中的APIC。

APIC集群与MSC之间的初始集成已完成并可使用。

您应该能够为MSC上不同ACI站点的租户配置扩展策略。

验证

使用本部分可确认配置能否正常运行。

1. 从每个APIC集群上的APIC GUI验证基础设施配置。

- 验证在每个APIC集群的infra租户下配置了站内/站间配置文件。

- 验证在每个APIC集群(APIC GUI)上配置了infra L3Out（站点间）、OSPF和BGP。

1. 登录站点的APIC并验证租户基础设施>策略>协议>交换矩阵扩展连接策略下的站内/站间配置文件。当站点由MSC完全配置/管理时，站点间配置文件将如下所示。

2. 选择APIC GUI > Tenant Infra > Networking > External Routed Networks。此处，站点间L3Out配置文件应在两个站点的租户基础设施下自动创建。

此外，确保VLAN 4中正确设置了L3Out逻辑节点和接口配置文件配置。

2. 从每个APIC集群上的主干CLI检验OSPF/BGP会话。

- 验证OSPF在主干上，并从IPN（主干CLI）获取路由。

- 验证BGP会话是否处于远程站点（主干CLI）。

登录主干CLI，验证BGP L2VPN EVPN和OSPF在每个主干上是否已启用。另外，验证BGP的节点角色是站点扬声器。

spine109# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 1

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.1.34       1 FULL/ -          04:13:07 172.16.1.34     Eth1/32.32

spine109#

spine109# show bgp l2vpn evpn summary vrf overlay-1

BGP summary information for VRF overlay-1, address family L2VPN EVPN

BGP router identifier 172.16.1.3, local AS number 100

BGP table version is 235, L2VPN EVPN config peers 1, capable peers 1

0 network entries and 0 paths using 0 bytes of memory

BGP attribute entries [0/0], BGP AS path entries [0/0]

BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor    V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd

172.16.2.3 4 200 259     259       235  0     0  04:15:39 0

spine109#

spine109# vsh -c 'show bgp internal node-role'

Node role : : MSITE_SPEAKER

spine209# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 1

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.1.34       1 FULL/ -          04:20:36 172.16.2.34     Eth1/32.32

spine209#

spine209# show bgp l2vpn evpn summary vrf overlay-1

BGP summary information for VRF overlay-1, address family L2VPN EVPN

BGP router identifier 172.16.2.3, local AS number 200

BGP table version is 270, L2VPN EVPN config peers 1, capable peers 1

0 network entries and 0 paths using 0 bytes of memory

BGP attribute entries [0/0], BGP AS path entries [0/0]

BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

172.16.1.3      4   100     264     264      270    0    0 04:20:40 0

spine209#

spine209# vsh -c 'show bgp internal node-role'

Node role :                    : MSITE_SPEAKER

3. 从每个APIC集群的主干CLI验证Overlay-1接口。
登录主干CLI以检查并验证Overlay-1接口。

ETEP（多Pod数据平面TEP）

用于在单个ACI交换矩阵内多个Pod之间路由流量的数据平面隧道终端地址。

DCI-UCAST(站点间数据平面单播ETEP（每个站点任播）)

此任播数据平面ETEP地址是每个站点唯一的。它被分配给连接到IPN/ISN设备的所有主干，用于接收L2/L3单播流量。

DCI-MCAST-HREP(站点间数据平面 组播TEP)

此任播ETEP地址分配给连接到IPN/ISN设备的所有主干，用于接收L2 BUM（广播、未知单播和组播）流量。

MSCP-ETEP（多站点控制平面ETEP）

这是控制平面ETEP地址，也称为MP-BGP EVPN的每个主干上的BGP路由器ID。

spine109# show ip int vrf overlay-1

<snip>

lo17, Interface status: protocol-up/link-up/admin-up, iod: 83, mode: etep

IP address: 172.16.1.4, IP subnet: 172.16.1.4/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo18, Interface status: protocol-up/link-up/admin-up, iod: 84, mode: dci-ucast

IP address: 172.16.1.1, IP subnet: 172.16.1.1/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo19, Interface status: protocol-up/link-up/admin-up, iod: 85, mode: dci-mcast-hrep

IP address: 172.16.1.2, IP subnet: 172.16.1.2/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo20, Interface status: protocol-up/link-up/admin-up, iod: 87, mode: mscp-etep

IP address: 172.16.1.3, IP subnet: 172.16.1.3/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

spine209# show ip int vrf overlay-1

<snip>

lo13, Interface status: protocol-up/link-up/admin-up, iod: 83, mode: etep

IP address: 172.16.2.4, IP subnet: 172.16.2.4/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo14, Interface status: protocol-up/link-up/admin-up, iod: 84, mode: dci-ucast

IP address: 172.16.2.1, IP subnet: 172.16.2.1/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo15, Interface status: protocol-up/link-up/admin-up, iod: 85, mode: dci-mcast-hrep

IP address: 172.16.2.2, IP subnet: 172.16.2.2/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo16, Interface status: protocol-up/link-up/admin-up, iod: 87, mode: mscp-etep

IP address: 172.16.2.3, IP subnet: 172.16.2.3/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

最后，确保未从MSC发现故障。

故障排除

目前没有针对此配置的故障排除信息。

相关信息

- 思科ACI多站点架构白皮书

- 技术支持和文档 - Cisco Systems