内容

概要

前提条件

要件

使用するコンポーネント

背景説明

設定

論理ネットワークダイアグラム

設定

IPNスイッチの設定

APICからの必要な設定

マルチサイトコントローラの設定

確認

トラブルシュート

関連情報

概要

このドキュメントでは、アプリケーションセントリックインフラストラクチャ(ACI)マルチサイトファブリックをセットアップおよび設定する手順について説明します。

リリース3.0で導入されたACIマルチサイト機能により、個別のCisco ACI Application Policy Infrastructure Controller(APIC)クラスタドメイン（ファブリック）を相互接続できます。 各サイトは異なる可用性ゾーンを表します。これにより、サイト間でマルチテナントのレイヤ2およびレイヤ3ネットワーク接続が保証され、ファブリック間でポリシードメインがエンドツーエンドで拡張されます。マルチサイトGUIでポリシーを作成し、すべての統合サイトまたは選択したサイトにポリシーをプッシュできます。または、テナントとそのポリシーを1つのサイトからインポートし、他のサイトに展開することもできます。

前提条件

要件

シスコでは次を推奨しています。

- マルチサイトコントローラ(MSC)をセットアップするには、『Cisco ACI Multi-Site Orchestratorインストールおよびアップグレードガイド』の手順を実行します。

- ACIファブリックが2つ以上のサイトで完全に検出されていることを確認します。

- 個別のサイトに導入されたAPICクラスタが、MSCノードへのアウトオブバンド(OOB)管理接続を持っていることを確認します。

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

サイトA

ハードウェアデバイス

論理名

N9K-C9504（N9K-X9732C-EX搭載）

spine109

N9K-C93180YC-EX

leaf101

N9K-C93180YC-EX

leaf102

N9K-C9372PX-E

leaf103

APIC-SERVER-M2

apic1

サイトB

ハードウェアデバイス

論理名

N9K-C9504（N9K-X9732C-EX搭載）

spine209

N9K-C93180YC-EX

leaf201

N9K-C93180YC-EX

leaf202

N9K-C9372PX-E

leaf203

APIC-SERVER-M2

apic2

IPネットワーク(IPN)

N9K-C93180YC-EX

ハードウェア

バージョン

APIC

バージョン3.1(2m)

MSC

バージョン1.2(2b)

IPN

NXOS:バージョン7.0(3)I4(8a)

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

注：クロスサイトネームスペースの正規化は、接続スパインスイッチによって実行されます。これには、製品名の末尾に「EX」または「FX」を付けた第2世代またはそれ以降のCisco Nexus 9000シリーズスイッチが必要です。または、Nexus 9364Cは、ACIマルチサイトリリース1.1(x)以降でサポートされています。

ハードウェア要件と互換性の詳細については、『ACI Multi-Site Hardware Requirements Guide』を参照してください。

設定

論理ネットワークダイアグラム

設定

このドキュメントでは、主に、マルチサイト展開のためのACIおよびMSC側の設定に焦点を当てています。IPNスイッチの設定の詳細については、詳しく説明していません。ただし、IPNスイッチの重要な設定の一部を参照用にリストしています。

IPNスイッチの設定

これらの設定は、ACIスパインに接続されたIPNデバイスで使用されます。

vrf context intersite

description VRF for Multi-Site lab

feature ospf

router ospf intersite

vrf intersite

//サイトAのSpine109へ

//サイトBのSpine209に向かって

interface Ethernet1/49

speed 100000

mtu 9216

no negotiate auto

no shutdown

interface Ethernet1/49.4

mtu 9150

encapsulation dot1q 4

vrf member intersite

ip address 172.16.1.34/27

ip ospf network point-to-point

ip router ospf intersite area 0.0.0.1

no shutdown

interface Ethernet1/50

speed 100000

mtu 9216

no negotiate auto

no shutdown

interface Ethernet1/50.4

mtu 9150

encapsulation dot1q 4

vrf member intersite

ip address 172.16.2.34/27

ip ospf network point-to-point

ip router ospf intersite area 0.0.0.1

no shutdown

注：異なるサイトのスパインノード間のマルチプロトコルボーダーゲートウェイプロトコル(MP-BGP)イーサネット仮想プライベートネットワーク(EVPN)コントロールプレーン通信の最大伝送ユニット(MTU)：スパインノードはデフォルトで9000バイトのパケットを生成し、エンドポイントのルーティング情報を交換。このデフォルト値を変更しない場合、サイト間ネットワーク(ISN)は9100バイト以上のMTUサイズをサポートする必要があります。デフォルト値を調整するには、各APICドメインの対応するシステム設定を変更します。

この例では、スパインノードでデフォルトのコントロールプレーンMTUサイズ（9000バイト）を使用します。

APICからの必要な設定

1. APIC GUIから各サイトのiBGP ASおよびルートリフレクタを設定します。

1. サイトのAPICにログインし、各サイトのAPICクラスタの内部ボーダーゲートウェイプロトコル(iBGP)自律システム番号およびルートリフレクタノードを設定します。[APIC GUI] > [System] > [System Settings] > [BGP Route Reflector]を選択します。これは、ファブリックポッドプロファイルに使用されるデフォルトのBGPルートリフレクタポリシーです。

2. 各サイトのAPICクラスタのファブリックポッドプロファイルを設定します。[APIC GUI] > [Fabric] > [Fabric Policies] > [Pod Policies] > [Policy Groups]を選択します。デフォルトのポッドポリシーグループをクリックします。[BGP Route Reflector Policy]ドロップダウンリストから、[default]を選択します。

2. APIC GUIから、各サイトの外部ルーテッドドメインを含むようにスパインアクセスポリシーを設定します。
アクセスエンティティプロファイル(AEP)およびレイヤ3ルーテッドドメイン(APIC GUI > Fabric > Access Policies)を使用して、IPNスイッチへのスパインアップリンクのスパインアクセスポリシーを設定します。

1. スイッチプロファイルを作成します。

2. Attachable Access Entity Profile(AAEP)、レイヤ3ルーテッドドメイン、およびVLANプールを作成します。

3. スパインアクセスポートポリシーグループを作成します。[アタッチされたエンティティプロファイル]ドロップダウンリストから、[msite]を選択します。

4. スパインインターフェイスプロファイルを作成します。IPN側のスパインアクセスポートを、前の手順で作成したインターフェイスポリシーグループに関連付けます。

注：現時点では、APIC GUIからインフラテナントの下にOpen Shortest Path First(OSPF)のL3Outを設定する必要はありません。これはMSCを介して設定され、後で各サイトにプッシュされる設定が行われます。

3. APIC GUIから、サイトごとに外部データプレーンのトンネルエンドポイント(TEP)を設定します。[APIC GUI] > [Infra] > [Policies] > [Protocol] > [Fabric Ext Connection Policies]を選択します。次に、サイト内/サイト間プロファイルを作成します。

4. 前の手順を繰り返して、SiteB ACIファブリックのAPIC側の設定を完了します。

マルチサイトコントローラの設定

1. MSC GUIで各サイトを1つずつ追加します。

1. MSC GUIに接続してログインします。

2. [ADD SITE]をクリックして、MSCにサイトを1つずつ登録します。ウィンドウの右上にクラスタのステータスが表示されます。

3. APICのIPアドレスの1つを使用し、各サイトに1つの一意のサイトIDを割り当てます。有効な範囲は1 ～ 127です。

2. MSCのサイトごとにインフラストラクチャポリシーを設定します。

1. MSC GUIにログインします。左側のペインで[Sites]を選択し、[CONFIGURE INFRA]をクリックします。

2. ファブリックインフラストラクチャの一般設定を行います。[BGP Peering Type]ドロップダウンリストから、[full-mesh](フルメッシュ- EBGP /route reflector - IBGP)を選択します。

3. 完了したら、左側のペインからいずれかのサイトを選択します。次に、中央のペインにサイト情報が表示されます。設定レベルは3つあります。サイトレベル、ポッドレベル、またはスパインレベルを選択できます。設定パネル（右ペイン）で異なる設定が可能になります。

4. サイトエリアをクリックすると、サイトレベルの設定(Multi-Site Enable (On)、データプレーンマルチキャストTEP、BGP ASN、BGPコミュニティ(たとえば、extended:as2-nn4:2:22)、OSPFエリアID、OSPFエリアタイプ（stub advertisingを防止）、外部ルートドメインなど)右側のペインに表示されます。ここでは、設定または変更できます。

- データプレーンマルチキャストTEP（サイトごとに1つのループバック）、ヘッドエンドレプリケーション(HREP)に使用

- ボーダーゲートウェイプロトコル(BGP)自律システム(AS)（APICで設定されたサイトのASと一致）

- OSPFエリアID、OSPFエリアタイプ、およびOSPFインターフェイスポリシー（IPNへのスパインインターフェイス用）

- 外部ルーテッドドメイン

ほとんどの場合、属性値はAPICからMSCに自動的に取得されています。

5. [Pod]エリアをクリックし、PODレベル固有のポリシーに移動します。データプレーンユニキャストTEPを入力します。

6. [Spine]エリアをクリックし、スパイン固有のインフラセッティングに移動します。スパインからIPNスイッチに向かう各インターフェイスについて、次の手順を実行します。

IPアドレスとマスクの設定

BGPピアリング：オン

コントロールプレーンTEP：ルータのIPアドレスを入力します

スパインはルートリフレクタです – オン

7. 他のサイトに対してこれらの手順を繰り返し、MSCでインフラストラクチャ設定を完了します。

8. [Deploy] をクリックします。これにより、両方のサイトのAPICにインフラストラクチャ設定が保存され、プッシュされます。

APICクラスタとMSCの初期統合は完了しており、すぐに使用できます。

さまざまなACIサイトのMSC上のテナントに対して拡張ポリシーを設定できる必要があります。

確認

ここでは、設定が正常に機能しているかどうかを確認します。

1. 各APICクラスタのAPIC GUIからインフラストラクチャ設定を確認します。

- 各APICクラスタのインフラテナントでサイト内/サイト間プロファイルが設定されていることを確認します。

- 各APICクラスタ(APIC GUI)でインフラストラクチャL3Out（サイト間）、OSPF、およびBGPが設定されていることを確認します。

1. サイトのAPICにログインし、[Tenant infra] > [Policies] > [Protocol] > [Fabric Ext Connection Policies]でサイト内/サイト間プロファイルを確認します。サイトがMSCによって完全に設定/管理されている場合、サイト間プロファイルは次のようになります。

2. [APIC GUI] > [Tenant Infra] > [Networking] > [External Routed Networks]を選択します。ここでは、サイト間L3Outプロファイルは、両方のサイトのテナントインフラストラクチャの下に自動的に作成されます。

また、L3Out論理ノードとインターフェイスプロファイルの設定がVLAN 4で正しく設定されていることを確認します。

2. 各APICクラスタのスパインCLIからOSPF/BGPセッションを確認します。

- スパインでOSPFがアップしており、IPN（スパインCLI）からルートを取得していることを確認します。

- BGPセッションがリモートサイト（スパインCLI）に到達していることを確認します。

スパインCLIにログインし、BGP L2VPN EVPNおよびOSPFが各スパインで起動していることを確認します。また、BGPのノードロールがmsite-speakerであることも確認します。

spine109# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 1

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.1.34       1 FULL/ -          04:13:07 172.16.1.34     Eth1/32.32

spine109#

spine109# show bgp l2vpn evpn summary vrf overlay-1

BGP summary information for VRF overlay-1, address family L2VPN EVPN

BGP router identifier 172.16.1.3, local AS number 100

BGP table version is 235, L2VPN EVPN config peers 1, capable peers 1

0 network entries and 0 paths using 0 bytes of memory

BGP attribute entries [0/0], BGP AS path entries [0/0]

BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor    V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd

172.16.2.3 4 200 259     259       235  0     0  04:15:39 0

spine109#

spine109# vsh -c 'show bgp internal node-role'

Node role : : MSITE_SPEAKER

spine209# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 1

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.1.34       1 FULL/ -          04:20:36 172.16.2.34     Eth1/32.32

spine209#

spine209# show bgp l2vpn evpn summary vrf overlay-1

BGP summary information for VRF overlay-1, address family L2VPN EVPN

BGP router identifier 172.16.2.3, local AS number 200

BGP table version is 270, L2VPN EVPN config peers 1, capable peers 1

0 network entries and 0 paths using 0 bytes of memory

BGP attribute entries [0/0], BGP AS path entries [0/0]

BGP community entries [0/0], BGP clusterlist entries [0/0]

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

172.16.1.3      4   100     264     264      270    0    0 04:20:40 0

spine209#

spine209# vsh -c 'show bgp internal node-role'

Node role :                    : MSITE_SPEAKER

3. 各APICクラスタのスパインCLIからOverlay-1インターフェイスを確認します。
Spine CLIにログインし、Overlay-1インターフェイスを確認します。

ETEP（マルチポッドデータプレーンTEP）

単一のACIファブリック内の複数のポッド間でトラフィックをルーティングするために使用されるデータプレーンのトンネルエンドポイントアドレス。

DCI-UCAST(サイト間データプレーンユニキャストETEP（サイトごとのエニーキャスト）)

このエニーキャストデータプレーンのETEPアドレスは、サイトごとに一意です。これはIPN/ISNデバイスに接続されているすべてのスパインに割り当てられ、L2/L3ユニキャストトラフィックの受信に使用されます。

DCI-MCAST-HREP（サイト間データプレーン） マルチキャストTEP)

このエニーキャストETEPアドレスは、IPN/ISNデバイスに接続されているすべてのスパインに割り当てられ、L2 BUM（ブロードキャスト、不明なユニキャスト、およびマルチキャスト）トラフィックを受信するために使用されます。

MSCP-ETEP（マルチサイトコントロールプレーンETEP）

これはコントロールプレーンのETEPアドレスで、MP-BGP EVPNの各スパインではBGPルータIDとも呼ばれます。

spine109# show ip int vrf overlay-1

<snip>

lo17, Interface status: protocol-up/link-up/admin-up, iod: 83, mode: etep

IP address: 172.16.1.4, IP subnet: 172.16.1.4/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo18, Interface status: protocol-up/link-up/admin-up, iod: 84, mode: dci-ucast

IP address: 172.16.1.1, IP subnet: 172.16.1.1/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo19, Interface status: protocol-up/link-up/admin-up, iod: 85, mode: dci-mcast-hrep

IP address: 172.16.1.2, IP subnet: 172.16.1.2/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo20, Interface status: protocol-up/link-up/admin-up, iod: 87, mode: mscp-etep

IP address: 172.16.1.3, IP subnet: 172.16.1.3/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

spine209# show ip int vrf overlay-1

<snip>

lo13, Interface status: protocol-up/link-up/admin-up, iod: 83, mode: etep

IP address: 172.16.2.4, IP subnet: 172.16.2.4/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo14, Interface status: protocol-up/link-up/admin-up, iod: 84, mode: dci-ucast

IP address: 172.16.2.1, IP subnet: 172.16.2.1/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo15, Interface status: protocol-up/link-up/admin-up, iod: 85, mode: dci-mcast-hrep

IP address: 172.16.2.2, IP subnet: 172.16.2.2/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

lo16, Interface status: protocol-up/link-up/admin-up, iod: 87, mode: mscp-etep

IP address: 172.16.2.3, IP subnet: 172.16.2.3/32

IP broadcast address: 255.255.255.255

IP primary address route-preference: 1, tag: 0

最後に、MSCから障害が検出されていないことを確認します。

トラブルシュート

現在、この設定に関する特定のトラブルシューティング情報はありません。

関連情報

- Cisco ACIマルチサイトアーキテクチャホワイトペーパー

- テクニカル サポートとドキュメント – Cisco Systems