目錄

簡介

必要條件

需求

採用元件

背景資訊

設定

邏輯網路圖

組態

IPN交換器組態

APIC所需的配置

多站點控制器配置

驗證

疑難排解

相關資訊

簡介

本文檔介紹設定和配置以應用為中心的基礎設施(ACI)多站點交換矩陣的步驟。

3.0版中引入的ACI多站點功能允許您互連單獨的思科ACI應用策略基礎設施控制器(APIC)群集域（結構）。 每個站點代表不同的可用區。這有助於確保跨站點的多租戶第2層和第3層網路連線，並且還將策略域端到端擴展到交換矩陣。您可以在多站點GUI中建立策略並將其推送到所有整合站點或選定站點。或者，您可以從單個站點匯入租戶及其策略，並將其部署到其他站點。

必要條件

需求

思科建議您：

- 完成Cisco ACI Multi-Site Orchestrator安裝和升級指南中的說明，以設定多站點控制器(MSC)。

- 確保已在兩個或多個站點中完全發現ACI交換矩陣。

- 確保在單獨站點部署的APIC集群具有到MSC節點的帶外(OOB)管理連線。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

站點A

硬體裝置

邏輯名稱

N9K-C9504，帶N9K-X9732C-EX

骨幹109

N9K-C93180YC-EX

leaf101

N9K-C93180YC-EX

leaf102

N9K-C9372PX-E

leaf103

APIC-SERVER-M2

apic1

站點B

硬體裝置

邏輯名稱

N9K-C9504，帶N9K-X9732C-EX

骨幹209

N9K-C93180YC-EX

leaf201

N9K-C93180YC-EX

leaf202

N9K-C9372PX-E

leaf203

APIC-SERVER-M2

apic2

IP網路(IPN)

N9K-C93180YC-EX

硬體

版本

APIC

版本3.1(2m)

MSC

版本:1.2(2b)

IPN

NXOS:版本7.0(3)I4(8a)

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

背景資訊

附註：跨站點名稱空間規範化由連線的脊柱交換機執行。這要求第二代或更高版本的Cisco Nexus 9000系列交換機在產品名稱末尾帶有「EX」或「FX」。或者，ACI多站點版本1.1(x)及更高版本支援Nexus 9364C。

有關硬體要求和相容性的詳細資訊，請參閱ACI多站點硬體要求指南。

設定

邏輯網路圖

組態

本文檔主要介紹用於多站點部署的ACI和MSC端配置。未完全涵蓋IPN交換機配置詳細資訊。但是，列出了IPN交換機的一些重要配置以供參考。

IPN交換器組態

這些配置用於連線到ACI主幹的IPN裝置。

vrf context intersite

description VRF for Multi-Site lab

feature ospf

router ospf intersite

vrf intersite

//指向Site-A中的Spine109

//指向Site-B中的Spine209

interface Ethernet1/49

speed 100000

mtu 9216

no negotiate auto

no shutdown

interface Ethernet1/49.4

mtu 9150

encapsulation dot1q 4

vrf member intersite

ip address 172.16.1.34/27

ip ospf network point-to-point

ip router ospf intersite area 0.0.0.1

no shutdown

interface Ethernet1/50

speed 100000

mtu 9216

no negotiate auto

no shutdown

interface Ethernet1/50.4

mtu 9150

encapsulation dot1q 4

vrf member intersite

ip address 172.16.2.34/27

ip ospf network point-to-point

ip router ospf intersite area 0.0.0.1

no shutdown

附註：多協定邊界網關協定(MP-BGP)乙太網虛擬專用網路(EVPN)控制平面在不同站點的脊柱節點之間通訊的最大傳輸單元(MTU) — 預設情況下，脊柱節點生成9000位元組的資料包以交換端點路由資訊。如果未修改預設值，則站點間網路(ISN)必須支援至少9100位元組MTU大小。為了調整預設值，請在每個APIC域中修改相應的系統設定。

此範例在骨幹節點上使用預設控制平面MTU大小（9000位元組）。

APIC所需的配置

1. 從APIC GUI為每個站點配置iBGP AS和路由反射器。

1. 登入站點的APIC，為每個站點的APIC群集配置內部邊界網關協定(iBGP)自治系統編號和路由反射器節點。選擇APIC GUI > System > System Settings > BGP Route Reflector。這是將用於交換矩陣Pod配置檔案的預設BGP路由路由反射器策略。

2. 為每個站點的APIC群集配置交換矩陣莢配置檔案。選擇APIC GUI > Fabric > Fabric Policies > Pod Policies > Policy Groups。按一下預設的Pod策略組。在「BGP Route Reflector Policy」下拉式清單中選擇default。

2. 從APIC GUI配置主幹訪問策略，以包含每個站點的外部路由域。
使用訪問實體配置檔案(AEP)和第3層路由域(APIC GUI >交換矩陣>訪問策略)為到IPN交換機的脊柱上行鏈路配置脊柱訪問策略。

1. 建立交換器設定檔。

2. 建立可連線訪問實體配置檔案(AAEP)、第3層路由域和VLAN池。

3. 建立骨幹接入埠策略組。從連線的實體配置檔案下拉選單中，選擇msite。

4. 建立主幹介面配置檔案。將面向主幹訪問埠的IPN與上一步中建立的介面策略組相關聯。

附註：就目前而言，不需要在APIC GUI的infra租戶下設定L3Out of Open Shortest Path First(OSPF)。這將通過MSC進行配置，配置稍後將推送到每個站點。

3. 從APIC GUI為每個站點配置外部資料平面隧道端點(TEP)。選擇APIC GUI > Infra > Policies > Protocol > Fabric Ext Connection Policies。然後建立站點內/站點間配置檔案。

4. 重複上述步驟，完成SiteB ACI交換矩陣的APIC端配置。

多站點控制器配置

1. 在MSC GUI中逐個新增每個站點。

1. 連線並登入到MSC GUI。

2. 按一下ADD SITE以在MSC中逐個註冊站點。您還可以在視窗右上角看到集群狀態。

3. 使用APIC的一個IP地址並為每個站點分配一個唯一的站點ID。有效範圍為1-127。

2. 在MSC中為每個站點配置基礎設施策略。

1. 登入到MSC GUI。從左窗格中選擇Sites，然後按一下CONFIGURE INFRA。

2. 配置Fabric Infra General設定。在「BGP Peering Type」下拉式清單中選擇full-mesh(full mesh - EBGP /route reflector - IBGP)。

3. 完成後，從左側窗格中選擇一個站點。然後，您將在中間窗格中看到站點資訊。有三種不同的配置級別。您可以選擇「站點」級別、「Pod」級別或「骨幹」級別。它將允許在配置面板（右窗格）上進行不同的設定。

4. 按一下站點區域後，站點級別配置(多站點啟用（開）、資料平面組播TEP、BGP ASN、BGP社群（例如，extended:as2-nn4:2:22）、OSPF區域ID、OSPF區域型別（末節阻止測試池通告）、外部路由域等)將顯示在右窗格中。您可以在此處配置或修改：

- 資料平面組播TEP（每個站點一個環回），用於頭端複製(HREP)

- 邊界閘道通訊協定(BGP)自治系統(AS)（與APIC中設定的站台中的AS相符）

- OSPF區域ID、OSPF區域型別和OSPF介面策略（用於指向IPN的主幹介面）

- 外部路由域

在大多數情況下，屬性值已經從APIC自動檢索到MSC。

5. 按一下Pod區域並轉到POD級別的特定策略。輸入資料平面單播TEP。

6. 按一下「骨幹」區域並轉至骨幹特定的基本設定。對於從主幹到IPN交換機的每個介面：

設定IP地址和掩碼

BGP對等 — 開啟

控制平面TEP — 輸入路由器IP地址

骨幹是路由反射器 — 開啟

7. 對其他站點重複這些步驟，並在MSC中完成基礎設施配置。

8. 按一下「DEPLOY」。這將儲存基礎設施，並將基礎設施配置推送到兩個站點的APIC。

APIC集群與MSC之間的初始整合已經完成，可以隨時使用。

您應該能夠為MSC上的租戶為不同的ACI站點配置擴展策略。

驗證

使用本節內容，確認您的組態是否正常運作。

1. 從每個APIC群集上的APIC GUI驗證基礎設施配置。

- 驗證每個APIC群集上的infra租戶下是否配置了Intransite/Intersite配置檔案。

- 驗證每個APIC集群(APIC GUI)上配置了基礎設施L3Out（站點間）、OSPF和BGP。

1. 登入站點的APIC並在Tenant infra>Policies > Protocol > Fabric Ext Connection Policies下驗證站點內/站點間配置檔案。當站點完全由MSC配置/管理時，站點間配置檔案將如下所示。

2. 選擇APIC GUI > Tenant Infra > Networking > External Routed Networks。在此，應在兩個站點的租戶基礎設施下自動建立站點間L3Out配置檔案。

此外，請確保在VLAN 4中正確設定了L3Out邏輯節點和介面配置檔案配置。

2. 從每個APIC群集上的主幹CLI檢驗OSPF/BGP會話。

- 檢驗OSPF是否位於主幹上並且從IPN（主幹CLI）獲取路由。

- 驗證BGP會話是否啟動到遠端站點（主幹CLI）。

登入到主幹CLI，驗證每個主幹上的BGP L2VPN EVPN和OSPF是否啟動。此外，請確認BGP的節點角色為msite-speaker。

spine109# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 1

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.1.34       1 FULL/ -          04:13:07 172.16.1.34     Eth1/32.32

spine109#

spine109# show bgp l2vpn evpn summary vrf overlay-1

BGP summary information for VRF overlay-1, address family L2VPN EVPN

BGP router identifier 172.16.1.3, local AS number 100

BGP table version is 235, L2VPN EVPN config peers 1, capable peers 1

0 network entries and 0 paths using 0 bytes of memory

BGP attribute entries [0/0], BGP AS path entries [0/0]

BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor    V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd

172.16.2.3 4 200 259     259       235  0     0  04:15:39 0

spine109#

spine109# vsh -c 'show bgp internal node-role'

Node role : : MSITE_SPEAKER

spine209# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 1

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.1.34       1 FULL/ -          04:20:36 172.16.2.34     Eth1/32.32

spine209#

spine209# show bgp l2vpn evpn summary vrf overlay-1

BGP summary information for VRF overlay-1, address family L2VPN EVPN

BGP router identifier 172.16.2.3, local AS number 200

BGP table version is 270, L2VPN EVPN config peers 1, capable peers 1

0 network entries and 0 paths using 0 bytes of memory

BGP attribute entries [0/0], BGP AS path entries [0/0]

BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

172.16.1.3      4   100     264     264      270    0    0 04:20:40 0

spine209#

spine209# vsh -c 'show bgp internal node-role'

Node role :                    : MSITE_SPEAKER

3. 從每個APIC群集上的主幹CLI檢驗Overlay-1介面。
登入到主幹CLI以檢查和驗證Overlay-1介面。

ETEP（多pod資料平面TEP）

用於在單個ACI交換矩陣內的多個Pod之間路由流量的資料平面隧道端點地址。

DCI-UCAST(站點間資料平面單播ETEP（每個站點的任播）)

此任播資料平面ETEP地址對於每個站點是唯一的。它分配給連線到IPN/ISN裝置的所有主幹，用於接收L2/L3單播流量。

DCI-MCAST-HREP(站點間資料平面 多點傳送TEP)

此任播ETEP地址分配給連線到IPN/ISN裝置的所有主幹，並用於接收L2 BUM（廣播、未知單播和多播）流量。

MSCP-ETEP（多站點控制平面ETEP）

這是控制平面ETEP位址，也稱為BGP路由器ID，位於每個主幹上，用於MP-BGP EVPN。

spine109# show ip int vrf overlay-1

<snip>

lo17, Interface status: protocol-up/link-up/admin-up, iod: 83, mode: etep

IP address: 172.16.1.4, IP subnet: 172.16.1.4/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo18, Interface status: protocol-up/link-up/admin-up, iod: 84, mode: dci-ucast

IP address: 172.16.1.1, IP subnet: 172.16.1.1/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo19, Interface status: protocol-up/link-up/admin-up, iod: 85, mode: dci-mcast-hrep

IP address: 172.16.1.2, IP subnet: 172.16.1.2/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo20, Interface status: protocol-up/link-up/admin-up, iod: 87, mode: mscp-etep

IP address: 172.16.1.3, IP subnet: 172.16.1.3/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

spine209# show ip int vrf overlay-1

<snip>

lo13, Interface status: protocol-up/link-up/admin-up, iod: 83, mode: etep

IP address: 172.16.2.4, IP subnet: 172.16.2.4/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo14, Interface status: protocol-up/link-up/admin-up, iod: 84, mode: dci-ucast

IP address: 172.16.2.1, IP subnet: 172.16.2.1/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo15, Interface status: protocol-up/link-up/admin-up, iod: 85, mode: dci-mcast-hrep

IP address: 172.16.2.2, IP subnet: 172.16.2.2/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo16, Interface status: protocol-up/link-up/admin-up, iod: 87, mode: mscp-etep

IP address: 172.16.2.3, IP subnet: 172.16.2.3/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

最後，確保MSC沒有出現故障。

疑難排解

目前尚無適用於此組態的具體疑難排解資訊。

相關資訊

- Cisco ACI多站點架構白皮書

- 技術支援與文件 - Cisco Systems