アカウントをお持ちの場合

  •   パーソナライズされたコンテンツ
  •   製品とサポート

アカウントをお持ちでない場合

アカウントを作成

Cisco Application Centric Infrastructure デザイン ガイド ホワイト ペーパー

White Paper

ダウンロード オプション

  • PDF
    (7.9 MB)
    Adobe Reader を使ってさまざまなデバイスで表示
Updated: 2020 年 7 月 29 日

ダウンロード オプション

  • PDF
    (7.9 MB)
    Adobe Reader を使ってさまざまなデバイスで表示
Updated: 2020 年 7 月 29 日

目次

  • エンドポイント学習に関する考慮事項
  • データプレーン学習
  • NIC チーミング設計時の考慮事項
  • EPG 設計時の考慮事項
  • コントラクト設計時の考慮事項
  • VRF インスタンス、ブリッジドメイン、EPG、コントラクトの解決と展開の即時性
  • サービス品質(QoS
  • 外部レイヤ 3 接続の設計
  • ベストプラクティスの概要
  • 関連情報
  •  

     

    目次

    はじめに... 6

    コンポーネントとバージョン... 7

    Cisco ACI の構成要素... 7

    Cisco Nexus 9000 シリーズ ハードウェア... 7

    リーフスイッチ.... 8

    スパインスイッチ.... 9

    Cisco Application Policy Infrastructure ControllerAPIC.... 10

    ハードウェアまたはソフトウェアが混在するファブリック... 11

    複数種のスパインを含むファブリック.... 11

    複数種類のリーフを備えたファブリック.... 11

    複数バージョンのソフトウェアを実装したファブリック.... 11

    ファブリックエクステンダ(FEX... 12

    物理トポロジ... 13

    リーフ/スパイン型設計... 13

    リーフアップリンク... 14

    仮想ポートチャネル... 14

    外部接続の配置... 15

    VRF-lite GOLF かの選択.... 15

    サーバ接続にボーダーリーフを使用.... 17

    L3Out はサーバ接続には使用不可.... 18

    L3Out vPC.. 18

    サービスリーフに関する考慮事項... 18

    ファブリックのトランスポート インフラストラクチャ設計時の考慮事項... 19

    リーフ転送プロファイルの選択... 19

    Fabric-id. 20

    インフラストラクチャ VLAN.. 20

    TEP アドレスプール... 22

    BGP ルートリフレクタポリシー... 23

    BGP 自律システム番号に関する考慮事項.... 25

    BGP ルートリフレクタの配置.... 25

    BGP の最大パス.... 25

    Network Time ProtocolNTP)の構成... 26

    COOP グループポリシー... 26

    再配布されるルートの IS-IS メトリック... 27

    最大伝送単位... 27

    コンバージェンスを高速化するファブリック インフラストラクチャの構成... 29

    高速リンクフェールオーバー.... 29

    デバウンスタイマー.... 29

    Bidirectional Forwarding DetectionBFD.... 29

    Quality of ServiceQoS... 30

    オーバーレイトラフィックの Quality of ServiceQoS.... 31

    IPN 向けトラフィックの Quality of ServiceQoS.... 31

    Cisco APIC の設計上の考慮事項... 34

    Cisco APIC のチーミング... 34

    シスコ APIC のインバンド管理とアウトオブバンド管理... 35

    アプリケーションに使用される内部 IP アドレス... 35

    APIC クラスタリング... 35

    クラスタのサイズ指定と冗長性... 36

    スタンバイコントローラ... 37

    ファブリックの復旧... 37

    Cisco APIC の設計上の考慮事項(概要)... 38

    ファブリックの「アクセス」の設計... 38

    Cisco ACI オブジェクトの命名... 38

    テナント間でオブジェクト名が重複するオブジェクト.... 40

    VLAN プールとドメインの定義... 40

    ファブリックアクセス ポリシーの設定... 41

    Attachable Access Entity ProfileAAEP.... 42

    インターフェイスポリシー.... 43

    Cisco Discovery ProtocolLLDP、およびポリシーの解決.... 44

    ポートチャネルと仮想ポートチャネル.... 44

    vPC を使用してコンバージェンスを高速化する構成.... 46

    インターフェイスのオーバーライド.... 46

    ポートトラッキング.... 47

    ループ緩和機能... 48

    インターフェイスレベルのコントロール プレーン ポリシング(CoPP.... 49

    MisCabling プロトコル(MCP.... 49

    トラフィックストーム制御.... 51

    エンドポイントの移動抑制、エンドポイントループ保護、および不正エンドポイント制御の選択.... 51

    エラーによって無効化された場合の復旧ポリシー.... 54

    スパニングツリープロトコルに関する考慮事項.... 54

    スパニングツリートポロジの変更範囲の最小化.... 55

    スパニングツリー BPDU ガード.... 55

    レイヤ 2 PDU を転送するための仮想スイッチの構成.... 55

    レイヤ 2 ループを軽減するためのベストプラクティス.... 55

    グローバル構成... 56

    リモートエンドポイント学習の無効化... 58

    サブネットチェックの適用(Enforce Subnet Check... 59

    不正エンドポイント制御... 59

    IP エージングの有効化... 59

    ドメイン検証の有効化... 60

    テナントネットワークの設計... 60

    テナントのネットワーク構成... 61

    ネットワーク中心型Network Centric設計とアプリケーション中心型Application Centric設計... 62

    ネットワーク中心型トポロジの導入... 63

    サーバのデフォルトゲートウェイ.... 63

    エンドポイントグループへのサーバの割り当て.... 63

    外部へのレイヤ 2 接続.... 63

    ACL フィルタリング.... 64

    セグメント化によるテナント設計の実装(アプリケーション中心型)... 65

    EPG およびブリッジドメインに関する考慮事項.... 66

    既存のブリッジドメインへの EPG の追加.... 67

    ブリッジドメインの結合.... 67

    コントラクト設計時の考慮事項.... 68

    VRF 設計時の考慮事項... 71

    common テナント内の VRF およびブリッジドメイン.... 72

    common テナント内の VRF とユーザテナント内のブリッジドメイン.... 73

    Ingress フィルタリングと Egress フィルタリングの推奨設計.... 74

    ブリッジドメイン設計時の考慮事項... 75

    移行設計用のブリッジドメイン構成.... 76

    ブリッジ ドメイン フラッディング.... 77

    BPDU の処理.... 78

    カプセル化範囲限定のフラッディング(Flood in Encapsulation.... 79

    ハードウェアプロキシを使用したフラッディングの軽減.... 80

    ARP フラッディング.... 81

    ブリッジドメインでのレイヤ 2 マルチキャストおよび IGMP スヌーピング.... 82

    ブリッジドメインに関する推奨事項の概要.... 83

    デフォルトゲートウェイ(サブネット)設計時の考慮事項... 83

    パーバシブゲートウェイ.... 83

    サブネットの構成:ブリッジドメインまたは EPG... 83

    レイヤ 2 拡張機能を使用してファブリックを接続した SVI の仮想 MAC アドレスとカスタム MAC アドレス... 84

    エンドポイント学習に関する考慮事項... 85

    IP 学習をサブネットに限定.... 85

    エンドポイントのエージング.... 86

    ブリッジドメインおよび VRF レベルでのエンドポイント保持ポリシー.... 87

    同じ MAC アドレスに対して複数の IP アドレスを使用するエンドポイントエージング.... 87

    データプレーン学習... 88

    Cisco ACI マッピングデータベースとスパインプロキシ.... 88

    ブリッジドメインと IP ルーティング.... 89

    「リモート」エントリ.... 89

    ARP パケットを基にしたデータプレーン学習.... 89

    Cisco ACI でのデータプレーン学習の構成.... 90

    フローティング IP アドレスに関する考慮事項.... 92

    NIC チーミング設計時の考慮事項... 92

    vPC.. 92

    アクティブ - スタンバイ NIC チーミング.... 93

    アクティブ - アクティブ NIC チーミング.... 93

    EPG 設計時の考慮事項... 93

    アプリケーション プロファイルの EPG から EPG へのホストの割り当て.... 94

    Attachable Access Entity ProfileAAEP)から EPG へのホストの割り当て.... 95

    トランクポートおよびアクセスポートの構成.... 95

    EPG VLAN 間のマッピング.... 96

    EPG と外部スイッチの接続.... 98

    マルチスパニングツリーの適用.... 98

    リーフ上の内部 VLANEPG ブリッジドメインの規模.... 99

    コントラクト設計時の考慮事項... 99

    セキュリティコントラクトは IP アドレスのない ACL.. 100

    フィルタとサブジェクト.... 100

    許可、拒否、リダイレクト.... 101

    コントラクトの方向の概念.... 101

    双方向フィルタおよび逆方向フィルタオプション.... 101

    EPG 間での 1 個のコントラクトの構成.... 103

    コントラクトの適用範囲.... 104

    common テナント内のコントラクトとフィルタ.... 104

    適用されていない VRF インスタンス、優先グループ、vzAny. 105

    vzAny の使用.... 105

    コントラクトとフィルタリングルールの優先度.... 106

    ポリシー CAM の圧縮.... 106

    VRF インスタンス、ブリッジドメイン、EPG、コントラクトの解決と展開の即時性... 107

    サービス品質(QoS... 110

    外部レイヤ 3 接続の設計... 111

    レイヤ 3 外部(L3Out)ネットワークと外部ルーティングネットワーク... 112

    L3Out の簡略オブジェクトモデル.... 113

    L3Out ルータ ID に関する考慮事項.... 114

    レイヤ 3 外部接続(L3Out)のルート通知オプション.... 115

    外部ネットワーク(外部 EPG)の構成オプション.... 116

    ブリッジドメインサブネットのアドバタイズ.... 117

    ホストルートの通知.... 118

    ボーダーリーフスイッチの設計... 118

    vPC を使用した L3Out 119

    L3Out のゲートウェイ復元力.... 119

    外部ブリッジドメイン.... 121

    外部 EPG への L3Out SVI サブネットの追加.... 121

    L3Out 用のBidirectional Forwarding DetectionBFD.... 122

    複数の L3Outs に関する考慮事項... 123

    外部 EPG VRF 適用範囲.... 123

    2 台以上のボーダーリーフスイッチを使用する場合の考慮事項.... 126

    外部接続に BGP を使用... 127

    BGP 自律システム(AS)番号.... 127

    BGP の最大パス.... 128

    ルートのインポート.... 128

    ルート集約... 129

    OSPF ルート集約.... 131

    トランジットルーティング... 132

    サポートされているトランジットルーティングの組み合わせ.... 135

    トランジットルーティングシナリオでのループ防止.... 135

    ベストプラクティスの概要... 136

    関連情報... 137


     

    はじめに

    Cisco Application Centric InfrastructureCisco ACI)技術を利用すると、プログラム可能なマルチハイパーバイザ ファブリック内で仮想ワークロードと物理ワークロードを統合して、マルチサービス データセンターまたはクラウドデータセンターを構築できます。Cisco ACI ファブリックはルータまたはスイッチとして動作する個々のコンポーネントで構成されていますが、単一のエンティティとしてのプロビジョニングとモニタリングが可能です

    本書では、図 1 に示されているようなファブリックの実装方法について説明します。

    本書で説明する設計は、次のリファレンストポロジに基づいています。

        複数のリーフスイッチに相互接続された 2 台のスパインスイッチ

        複数速度のポート(1102540 Gbps)が前面パネルに設けられた、サーバ接続用のトップオブラック(ToR)リーフスイッチ

        リーフスイッチに冗長接続された物理サーバおよび仮想サーバ

        Cisco ACI でレイヤ 3 外部(L3Out)接続と呼ばれる、他のネットワークに接続するための構成を持つ 1 組のボーダーリーフスイッチ

        ファブリック内のリーフスイッチのペアに冗長接続された、3 台の Cisco Application Policy Infrastructure ControllerAPIC)のクラスタ

    図 1.        Cisco ACI ファブリック

    Related image, diagram or screenshot

    本書の設計のネットワークファブリックは、主に次のサービスを提供します

        物理ワークロードおよび仮想ワークロードの接続

        複数のテナント(部門やホスティングされた顧客ごとのテナント)への区分されたファブリックの提供

        ネットワーク ファイル システム(NFS)や Microsoft Active Directory などのコンピューティングワークロードを用いたインフラサービスを他のテナントに提供するホストサーバまたは仮想マシン向けの共有サービス区画(テナント)

        ファブリック内に存在するテナントに専用または共有のレイヤ 3 ルーテッド接続を提供する機能

    コンポーネントとバージョン

    本書の執筆時点で利用可能な Cisco ACI の最新リリースは 4.0 です。本書での推奨事項は、Virtual Machine ManagerVMM)が統合されているかどうかを問わず、APIC リリース 3.2 以降を実行する Cisco ACI ファブリックに適用されます。

    VMware vSphere 6.x がインストールされた VMware ESXi ホストは、物理ドメイン経由で Cisco ACI と統合できます(詳細は後述)。VMware vSphere Distributed SwitchvDS)、Cisco Application Virtual SwitchAVS)、または Cisco ACI Virtual EdgeAVE)を使用して VMM ドメインと統合することも可能です。この設計ガイドでは、Cisco ACI Virtual EdgeAVE)との統合については説明していません。

    注:Cisco ACI でサポートされる仮想化製品の詳細については、https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/aci/virtualization/matrix/virtmatrix.html にあるオンラインドキュメントで、サポート表を参照してください。

    Cisco ACI と仮想化製品の統合の詳細については、https://www.cisco.com/c/ja_jp/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html#Virtualization_—_Configuration_Guides を参照してください。

    Cisco ACI の構成要素

    Cisco ACI ファブリックは、さまざまなハードウェア プラットフォームを使用して構築できます。以下の基準に従ってプラットフォームを選択してください。

        必要な物理レイヤ接続のタイプ

        必要な TCAMTernary Content-Addressable Memory)の容量

        分析機能のサポート

        オーバーレイでのマルチキャストルーティング

        リンクレイヤの暗号化のサポート

        Fibre Channel over EthernetFCoE)のサポート

    使用可能なリーフスイッチとスパインスイッチのリストは、以下の URL で確認できます。

    https://www.cisco.com/c/ja_jp/products/switches/nexus-9000-series-switches/models-comparison.html

    Cisco Nexus 9000 シリーズ ハードウェア

    このセクションでは、本書で言及されているリーフノードおよびスパインノードの命名規則について説明します。

        N9K-C93xx は、Cisco ACI リーフとモジュラ型シャーシを表します

        N9K-X97xx は、Cisco ACI スパインラインカードを表します。

    末尾の -E -X は、それぞれ以下を意味します。

        -E:機能拡張版。これは、着信トラフィックの送信元 IP アドレスを基づいてトラフィックをエンドポイントグループ(EPG)に分類する機能がそのスイッチに追加されていることを表します。

        -X:分析機能のサポート。これは、ハードウェアレベルで分析機能がサポートされていることを表します。分析機能をサポートするハードウェアは、ポリシー CAM、バッファリング機能、およびトラフィックを EPG に分類する機能の拡張機能も搭載します。

        -FMAC セキュリティのサポート。

    ポート速度に関連する命名規則は以下のとおりです。

        G100M/1G

        P1/10Gbps 拡張 Small Form-Factor PluggableSFP+

        T100Mbps1Gbps10GBASE-T 銅線

        Y10/25Gbps SFP+

        Q40Gbps Quad SFP+QSFP+

        L50Gbps QSFP28

        C100Gbps QSFP28

        D400Gbps QSFP-DD

    最新の分類については、以下のページで確認できます。

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/n9k_taxonomy.html

    リーフスイッチ

    Cisco ACI では、すべてのワークロードがリーフスイッチに接続されます。Cisco ACI ファブリックで使用されるリーフスイッチは、トップオブラック(ToR)型です。使用するリーフスイッチは、以下の機能を基準にしてさまざまなモデルから選択できます。

        ポート速度とメディアタイプ

        バッファリングとキューの管理:Cisco ACI すべてのリーフノードは、Flowlet ロードバランシングをサポートする高度な機能を備えているため、トラフィックの負荷を精密に分散できます。これらの高度な機能には、輻輳状況に応じてトラフィックを分散するダイナミック ロード バランシングや、長時間にわたって帯域幅を大量にコンシュームするフロー(エレファントフローと呼ばれる)よりも遅延の影響を受けやすい短時間のフロー(エレファントフローと対比してマウスフローと呼ばれる)を優先するダイナミック パケット プライオリタイゼーション(DPP)などがあります。また、最新のハードウェアでは、エレファントフローとマウスフローを追跡・測定して優先順位をさらに効率的に設定する機能や、バッファをさらに効率的に処理する機能も導入されています。

        ポリシー CAM のサイズと処理:ポリシー CAM は、EPG 間のトラフィックをフィルタリングする機能を備えたハードウェアリソースです。通信できる EPG(セキュリティゾーン)の組み合わせがアクセスコントロールリスト(ACL)として定義された TCAM リソースでもありす。ポリシー CAM のサイズはハードウェアによって異なります。また、ポリシー CAM によるレイヤ 4 処理と双方向コントラクト処理も、ハードウェアによって異なります。

        オーバーレイでのマルチキャストルーティングのサポート:Cisco ACI ファブリックは、テナントトラフィックのマルチキャストルーティング(オーバーレイでのマルチキャストルーティング)を実行できます。

        分析機能のサポート:最新のリーフスイッチとスパインラインカードでは、分析とアプリケーション依存関係のマッピングのためのフロー分析機能を提供します

        リンクレベルの暗号化のサポート:最新のリーフスイッチとスパインラインカードでは、ラインレートでの MAC セキュリティ(MACsec)暗号化を実行できます。

        学習エンドポイント数のスケーラビリティ:Cisco ACI の主要な機能の 1 つに、マッピングデータベースが挙げられます。マッピングデータベースには、どのエンドポイントがどのブリッジドメインのどの Virtual Extensible LANVXLAN)トンネルエンドポイント(VTEP)にマッピングされているかなどの情報が記録されます

        ファイバチャネル(FC)と Fibre Channel over EthernetFCoE):リーフモデルによっては、FC FCoE に対応するエンドポイントを接続して、リーフノードを FCoE NPV デバイスとして使用できます。

        レイヤ 4 からレイヤ 7L4-L7)サービスのリダイレクトのサポート:L4-L7 サービスグラフは、Cisco ACI の初期リリースから提供されている機能であり、すべてのリーフノードで使用できます。L4-L7 サービスグラフのリダイレクトオプションを使用すると、プロトコルに基づいて L4-L7 デバイスにトラフィックをリダイレクトできます。

        マイクロセグメンテーション、または EPG 分類機能:マイクロセグメンテーションとは、EPG 内のトラフィックを分離し(プライベート VLAN 機能とほぼ同様)、仮想マシンのプロパティ、IP アドレス、MAC アドレスなどに基づいてトラフィックをセグメント化する機能です。

        サポートできる最長プレフィックス一致(LMP)エントリ、ポリシー CAM エントリ、IPv4 エントリなどの数を増やすためにハードウェアリソースの割り当てを変更する機能。このコンセプトは、「タイルプロファイル」と呼ばれ、Cisco ACI 3.0 から導入されています。詳細については、https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/kb/b_Cisco_APIC_Forwarding_Scale_Profile_Policy.pdf を参照してください。また、検証済みのスケーラビリティに関する以下のガイドも参照してください。

    https://www.cisco.com/c/ja_jp/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html#Verified_Scalability_Guides

    Cisco Nexus® 9000 シリーズ スイッチの各モデルの違いについて、詳しくは以下を参照してください。

        https://www.cisco.com/c/ja_jp/products/collateral/switches/nexus-9000-series-switches/datasheet-c78-738259.html

        https://www.cisco.com/c/ja_jp/products/switches/nexus-9000-series-switches/models-comparison.html

    スパインスイッチ

    スパインスイッチは、複数のフォームファクタで用意されています。Cisco Nexus 固定フォーム ファクタ スパイン スイッチのモデルについて詳しくは、こちらのリンク(https://www.cisco.com/c/ja_jp/products/collateral/switches/nexus-9000-series-switches/datasheet-c78-739886.html)を参照してください。

    これらのスパインスイッチとラインカードは、以下の点で異なります。

        ポート速度

        ラインカードモード:新しいラインカードには、Cisco NX-OS モードまたは Cisco ACI モードで使用できるハードウェアが搭載されています。

        分析機能のサポート:分析は主にリーフ機能であり、スパインでは必要ない場合がありますが、将来的には、分析を使用する機能がスパインに追加される可能性もあります。

        リンクレベルの暗号化と CloudSec のサポート

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/aci_multi-site/sw/2x/configuration/Cisco-ACI-Multi-Site-Configuration-Guide-201/Cisco-ACI-Multi-Site-Configuration-Guide-201_chapter_011.html#id_79312

        Cisco ACI マルチポッドとマルチサイトのサポート:詳しくはマルチポッド、マルチサイトに関する詳細ドキュメント、リリースノートを参照してください。

    注:モデルについて詳しくは、こちらのリンク(https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/aci_multi-site/sw/2x/hardware-requirements/Cisco-ACI-Multi-Site-Hardware-Requirements-Guide-201.html)を参照してください。

    Cisco Nexus 9500 プラットフォームのモジュールラインカードの違いについて詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/products/collateral/switches/nexus-9000-series-switches/datasheet-c78-732088.html

    Cisco ACI ファブリックは、各 IP アドレスとリーフスイッチの組み合わせ情報をマッピングデータベースに格納して、ホストルックアップに基づき(ルーティング実行時に)トラフィックを転送します。ファブリック内の既知のエンドポイントは、すべてスパインスイッチにプログラムされます。リーフの転送テーブルには該当のリーフが使用するエンドポイントのみ保存されるため、リーフのハードウェアリソースは余力が維持されます。その結果、単一リーフの規模と比較して、ファブリックの全体規模を非常に大きくすることができます。

    スパインモデルの間には、マッピングデータベースでサポートされるエンドポイントの数に違いがあります。このエンドポイントの数は、搭載しているファブリックモジュールの種類と数によって異なります

    最新の Cisco ACI リリースでは、検証済みのスケーラビリティ限度と、ファブリックごとに使用できるエンドポイントの数に従ってください(以下のリンクを参照)。

    https://www.cisco.com/c/ja_jp/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html#Verified_Scalability_Guides

    検証済みのスケーラビリティ限度に従う場合、スパイン構成とエンドポイントスケーラビリティは以下のようになります。

        ファブリックラインカードが 4 枚:最大 450,000 件のプロキシ データベース エントリ

        固定スパインスイッチ:最大 180,000 件のプロキシ データベース エントリ

    上記の数字は MAC アドレス、IPv4 アドレス、IPv6 アドレスの合計値です。たとえば固定スパインを備えた Cisco ACI ファブリックの場合、次のような意味を持ちます。

        180,000 件の MAC 専用 EP(各 EP MAC アドレス 1 のみの場合

        90,000 件の IPv4 EP(各 EP MAC アドレス 1 IPv4 アドレス 1つを持つ場合

        60,000 件のデュアルスタック EP(各 EP MAC アドレス 1 IPv4 アドレス 1 IPv6 アドレス 1 つを持つ場合

    サポートされるエンドポイントの数は、ハードウェアテーブルの容量と、設定に基づいてソフトウェアが許可する構成数、検証済の数値の組合せによって決まります

    この情報については、各リリースの検証済みスケーラビリティガイドと APIC GUI のキャパシティダッシュボードを参照してください。

    Cisco Application Policy Infrastructure Controller(APIC)

    APIC はポリシー設定の中核的存在です。ここで統計情報がアーカイブ保存および処理されることで、可視性、テレメトリ、アプリケーション正常性に関する情報が得られ、ファブリックの包括的な管理が可能になります。APIC は物理アプライアンスで、リーフスイッチ接続用に 2 個のインターフェイスを備えた Cisco UCS® ラックサーバを使用しています。アウトオブバンド管理に対応するギガビット イーサネット インターフェイスも備えています

    APIC の各モデルについて詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/products/collateral/cloud-systems-management/application-policy-infrastructure-controller-apic/datasheet-c78-739715.html

    注:クラスタに複数の APIC モデル混在させることが可能です。ただし、その場合のスケーラビリティは、最も性能の低いクラスタメンバーに基づいて決定されます

    ハードウェアまたはソフトウェアが混在するファブリック

    複数種のスパインを含むファブリック

    Cisco ACI では、新旧世代のハードウェアがスパインおよびリーフノードに混在しても構いません。たとえば 1 世代のハードウェアリーフノードと新世代のハードウェアスパイン、または逆の混在も許容されます。スパインハードウェアについて主に考慮すべき点は、以下のとおりです。

        リーフノードとスパインノード間のアップリンク帯域幅

        マッピングデータベースのスケーラビリティ(スパインで使用されるファブリックラインカードの種類などによって異なる)

        Multi-Site では、サイト間ネットワークに接続するため、Cisco Nexus 9500 プラットフォームのクラウドスケール ラインカードを基盤としたスパインノードが必要(訳注:第 2 世代のモジュラー型スパインスイッチ(Cisco Nexus 9332C および 9364C)利用の場合でも Multi-Site を構成できます

    複数種のスパインスイッチが混在しても構いませんが、ファブリックがサポートするエンドポイントの総数は最小公分母となります。

    複数種類のリーフを備えたファブリック

    同じファブリックに複数種類のハードウェアのリーフノードを混在させた場合にはリーフノードによって各機能のサポートやスケーラビリティのレベルが異なる場合があります。

    Cisco ACI では、処理能力が主にリーフノードに存在するため、リーフハードウェアの選択によって、使用可能な機能(オーバーレイ内でのマルチキャストルーティング、FCoE など)が決まります。

    これらの機能は以下の 2 種類に大別できます。

        リーフローカルの機能:IP ベースの EPG、コピーサービス、サービスベースのリダイレクト、FCoE、マイクロセグメンテーションなどの分類機能(OpFlex プロトコルをサポートするソフトウェアスイッチを使用するかどうかにより異なる)

        リーフローカルでない機能:オーバーレイ内でのレイヤ 3 マルチキャストなど

    リーフローカルの機能では、使われている ASIC に関係なく、管理対象のオブジェクトを APIC がリーフノードにプッシュします。リーフが特定の機能をサポートしない場合、構成が失敗します。

    リーフローカルでない機能(現在はマルチキャストのみ)については、ブリッジドメイン(BD)や仮想ルーティング・転送(VRF)インスタンスで利用する場合、リーフローカルでない機能をサポートするリーフノードにのみ展開する必要があります。

    複数バージョンのソフトウェアを実装したファブリック

    Cisco ACI ファブリックでは、すべて APIC およびスイッチで同じバージョンのソフトウェアが動作していることを前提としています。ただしアップグレード中には、同じファブリック内でも異なるバージョンの OS が動作する場合があります。

    リーフノードでは異なるバージョンのソフトウェアが実行されている場合、APIC がそのソフトウェアバージョンでサポートされている機能に基づき機能をプッシュします。リーフのソフトウェアが古いため機能を理解できない場合、リーフはその機能を拒否します。ただし、これによる障害は発生しません

    ファブリックで混在可能な OS バージョンの組み合わせについて詳しくは、こちら(https://www.cisco.com/c/ja_jp/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html#Software_and_Firmware_Installation_and_Upgrade_Guides)を参照してください。

    Cisco ACI ファブリック内に異なるバージョンのソフトウェアが混在するのは、アップグレードを容易にするための一時的な状態です。その状態でファブリックが動作する間は、設定変更を行わない、もしくは最低限にする必要があります。

    ファブリックエクステンダ(FEX

    ファブリックエクステンダ(FEX)を Cisco ACI リーフに接続できます。この主な目的は、ファブリックエクステンダを使用している既存ネットワークからの移行を容易とするためです。FEX の主な利用要件がファストイーサネットのポート速度である場合、Cisco ACI 3.0 と合わせて登場した Cisco ACI リーフ Cisco Nexus 9348GC-FXP も検討してください。

    FEX は「ストレートスルートポロジ(straight-through topology)」方法で Cisco ACI に接続できます。ホストと FEX の間では vPC を構成できますが、FEX Cisco ACI リーフの間では構成できません。

    FEX は、リーフ前面パネルのポートと、変換済みダウンリンク(Cisco ACI リリース 3.1 以降)に接続できます。

    FEX には、サーバおよびネットワークデバイスをリーフに直接接続する場合と比較して、多くの制限があります。主な制限事項は、以下のとおりです。

        FEX では L3Out がサポートされない

        レートリミッタがサポートされない

        トラフィックストーム制御を行えない

        ポートセキュリティがサポートされない

        FEX をルータ接続、もしくはサービスグラフリダイレクトのための L4-L7 デバイスの接続に利用すべきでない

        マイクロセグメンテーションとの併用は可能ですが、マイクロセグメンテーションが使用されている場合は、FEX ポートで Quality of ServiceQoS)が機能しません。マイクロセグメンテーションの対象となるすべてのトラフィックが特定のサービスクラス(CoS)でタグ付けされるためです。マイクロセグメンテーションと FEX は、本書執筆時点では、広範囲にわたる検証を受けていない機能です。

    Cisco ACI リリース 2.2 から、以下のとおり、FEX FCoE が使用できるようになりました。

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/1-x/release/notes/apic_rn_221.html

    FEX Cisco ACI を併用する場合は、検証済みのスケーラビリティ限度を確認する必要があります。特に、ポート数と、ポートに構成された VLAN 数とをかけ合わせた数(一般的に PV と表記)を確認してください。

    https://www.cisco.com/c/ja_jp/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html#Verified_Scalability_Guides

    スケーラビリティについては、次の点に留意する必要があります。

        VRF、ブリッジドメイン(BD)、エンドポイントなどの全体の規模は、リーフに接続された FEX を使用しているか、リーフにエンドポイントを直接接続しているかにかかわらず、同じです。つまり FEX を使用する場合、リーフが提供するハードウェアリソースは、そのリーフのポートだけでなくそれ以外のポートに対しても分配されます。

        FEX ポートで使用できる VLAN の総数は、リーフごとに使用可能な FEX のホスト向けポートに対する PV ペアの最大数に制限されます。本書執筆時点で、この数はリーフあたり最大 10,000 です。つまり、100 FEX ポートに対して、各 FEX ポートに最大 100 VLAN を構成できます。

        本書執筆時点では、FEX ポートあたりのカプセル化の最大数は 20 です。つまり、FEX ポートあたりの EPG の最大数は 20 です。

        本書執筆時点では、リーフあたりの FEX の最大数は 20 です。

    ファブリックエクステンダを Cisco ACI に接続する方法について詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/200529-Configure-a-Fabric-Extender-with-Applica.html

    物理トポロジ

    Cisco ACI では、各リーフスイッチがネットワーク内の全スパインスイッチに接続されるリーフ/スパイン型トポロジを採用しています。リーフスイッチ間もしくはスパインスイッチ間が相互に接続されることはありません。

    Cisco ACI 3.2 では、ACI ファブリックでリーフを 1 階層のみ配置できます。

    リーフ/スパイン型設計

    ファブリックはリーフ/スパイン型アーキテクチャに基づき構成されます。このアーキテクチャでは、リーフノードとスパインノードが以下の役割を担います。

        リーフノード:リーフノードのポートは、従来のイーサネットデバイス(サーバ、ファイアウォール、ルータポートなど)に接続されます。リーフスイッチはファブリックのエッジにあり、VXLAN トンネルエンドポイント(VTEP)として機能します。Cisco ACI における用語では、リーフの VTEP に割り当てられた IP アドレスを「物理トンネルエンドポイント(PTEP)」と呼びます。リーフノードは、テナントのパケットをルーティングまたはブリッジングすると共に、ネットワークポリシーの適用を担います。

        スパインノード:スパインノードは、リーフデバイスを相互接続します。またスパインノードは、Cisco ACI ポッド IP ネットワーク経由で接続したマルチポッドファブリックの構築に使用できるほか、サポート対象の WAN デバイスにも接続できます(詳しくは「外部レイヤ 3 接続の設計」セクションを参照)。スパインデバイスはまた、エンドポイントと VTEP 間のすべてのマッピングエントリ(スパインプロキシ)を格納します。

    ポッド内では、すべてのリーフノードがすべてのスパインノードに接続され、すべてのスパインノードがすべてのリーフノードに接続されますが、スパインノード間またはリーフノード間での直接接続は行えません。誤ってスパインスイッチ間またはリーフスイッチ間配線した場合、インターフェイスが機能しなくなります。特定のリーフデバイスが一部のスパインデバイスに接続されないトポロジ(ストレッチドファブリック設計)も構成できますが、トラフィックを最適な形で転送できなくなります。

    リーフアップリンク

    Cisco ACI 3.1 まで、リーフスイッチのアップリンクポートはファブリック(iVXLAN)ポートとしてハードコードされており、スパインスイッチにのみ接続できました。Cisco ACI 3.1 からは、デフォルトの構成を変更して、通常はアップリンクのポートをダウンリンクにしたり、逆にダウンリンクをアップリンクにしたりできます。詳しくは以下のリンクを参照してください。

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/1-x/aci-fundamentals/b_ACI-Fundamentals/b_ACI-Fundamentals_chapter_010011.html#id_60593

    注:Cisco ACI リーフ/スパインがサポートするオプティックスについて詳しくは、こちらのツール(https://tmgmatrix.cisco.com/home)でご確認ください。

    仮想ポートチャネル

    Cisco ACI は、レイヤ 2 とレイヤ 3 のトラフィックを等コストでマルチパス処理できるルーテッド ファブリック インフラストラクチャです。高度なアルゴリズムを使用することで、マウスフローとエレファントフローを最適化し、Flowlet に基づきトラフィックを分散できます。

    また Cisco ACI では、リーフポートで仮想ポートチャネル(vPC)技術を使用して、ファブリックへのサーバ接続を最適化できます。

    Cisco ACI リーフノードに接続されたサーバは、スループットと耐障害性を向上させるために、vPC(つまりサーバ側のポートチャネル)経由での接続が多く利用されています。これは物理サーバと仮想サーバの両方に当てはまります。

    vPC は既存のレイヤ 2 インフラストラクチャへの接続または L3Out 接続(vPC とレイヤ 3 スイッチ仮想インターフェイス(SVI))にも使用できます。

    したがって、ファブリック内のどのリーフノードペアを同じ vPC ドメインの一部として構成するかを決めることが重要です。

    2 台のリーフスイッチ間で vPC ドメインを作成する場合、両スイッチの世代が一致する必要があります。スイッチの世代が異なる場合、vPC ピアの互換性が確保されません。たとえば 9372TX のリーフと -EX または -FXとの間では vPC を構成できません

    ハードウェア世代の異なる 2 台のリーフが vPC ピアとなることを意図していない場合も、Cisco ACI ソフトウェアは、片方のリーフから vPC と互換性のある別のリーフに移行できるように設計されています。ファブリックで Cisco Nexus 9372PX スイッチのリーフペア(以降の例では 9372PX-1 9372PX-2 と呼称)が使用されており、これらを Cisco Nexus 93180YC-EX のリーフ(93180YC-EX-1 および 93180YC-EX-2 と呼称)に交換する必要があると仮定します。

    新しいリーフを導入すると、以下のように機能します。

        vPC ペアの 9372PX-2 93180YC-EX-2 に置き換えると、9372PX-1 によりエンドポイントを 93170YC-EX2 に同期できます。

        93180YC-EX-2 vPC メンバーポートは、ダウン状態のままとなります。

        9372PX-1 を取り除くと、93180YC-EX-2 vPC メンバーポートが 10 20 秒後にアップ状態になります。

        9372PX-1 93180YC-EX-1 に置き換えると、93180YC-EX-2 がエンドポイントを 93180YC-EX-1 と同期します。

        93180YC-EX-1 93180YC-EX-2 の両方の vPC メンバーポートがアップ状態になります

    注:詳細は、以下のリンクを参照してください。

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/1-x/Operating_ACI/guide/b_Cisco_Operating_ACI/b_Cisco_Operating_ACI_chapter_01101.html#id_56210

    外部接続の配置

    外部ルーテッド接続(L3Out や外部 L3 接続とも呼ばれる)は Cisco ACI の構成要素であり、ファブリックが外部に接続する方法を定義します。L3Out は、キャンパスコアや WANMPLS-VPN クラウドなどとファブリックを接続する中心的な役割を担います。

    VRF-lite GOLF かの選択

    外部へのレイヤ 3 接続は、リーフノード(通常、ボーダーリーフノードと呼ばれる)にルータを接続する方法と、スパインスイッチに直接接続する方法の 2 通りあります。

        VRF-lite を使用したボーダーリーフノード経由での接続:この接続は、図 2 に示すとおり、スタティックルーティング、OSPF、拡張内部ゲートウェイ ルーティング プロトコル(EIGRP)、またはボーダー ゲートウェイ プロトコル(BGP)をサポートするルーティング機能を持つデバイスを使用して実現できます。外部ルータに接続するリーフノード インターフェイスは、レイヤ 3 ルーテッドインターフェイス、サブインターフェイス、または SVI として構成されます。

        マルチプロトコル BGPMP-BGPEVPN および VXLANGOLF とも呼ばれます)を使用したスパインポート経由での接続:この接続では、スパインと通信する WAN デバイスが MP-BGP EVPN 対応である必要があります。MP-BGP EVPN は、VXLAN を使用してスパインポートにトラフィックを送信します(図 3)。オプションで OpFlex プロトコルもサポートします。本書執筆時点で、このトポロジは Cisco Nexus 7000 シリーズおよび 7700 プラットフォーム(F3)スイッチ、Cisco® ASR 9000 シリーズ アグリゲーション サービス ルータ、Cisco ASR 1000 シリーズ アグリゲーション サービス ルータでのみ実現可能です。このトポロジでは、WAN ルータとスパインの間の直接接続は必要ありません。そのため、たとえば間に OSPF ベースのネットワークを配置することもできます。

    図 2.        VRF-lite を使用した外部との接続(Cisco ACI における標準的な L3Out

    Related image, diagram or screenshot

    図 3.        レイヤ 3 EVPN サービスを使用した外部との接続

    Related image, diagram or screenshot

    2 のトポロジは、リーフノードに接続された任意のルータとの間で動作します。このトポロジでは、VRF-lite が用いられます。

    3 のトポロジでは、WAN ルータが MP-BGP EVPNOpFlex プロトコル、および VXLAN をサポートしている必要があります。図 3 のトポロジでは、ファブリック インフラストラクチャが WAN ルータまで拡張されます。この WAN ルータは、実質的にファブリック内のボーダーリーフの役割を果たします。

    MP-BGP EVPN ソリューションの主な利点は以下のとおりです

        すべて VRF とテナントに対して 1 つの MP-BGP セッションのみが用いられる

        運用の簡素さ:複数のテナントが同じスパインを使用して、各 VRF インターフェイスで複数の論理ノード、インターフェイス、およびダイナミックルーティングを定義することなく外部に接続できる。

        OpFlex プロトコルを使用して WAN ルータデバイスの設定を自動化できる(GOLF ルータでの VRF の自動プログラミングなど)。この機能はオプションです。

        GOLF ルータへの VXLAN データプレーンハンドオフ。

    注:外部にホストルートをアナウンスできる点はCisco ACI 4.0 より前のリリースにおいてはMP-BGP EVNP ソリューションのメリットでしたCisco ACI 4.0 では VRF-lite ソリューションにもホストルートをアナウンスする機能が追加されています。

    https://www.cisco.com/c/ja_jp/td/docs/switches/datacenter/aci/apic/sw/4-x/L3-configuration/Cisco-APIC-Layer-3-Networking-Configuration-Guide-401.pdf

    本書執筆時点における MP-BGP EVPN ソリューション使用の主なデメリットは、以下のとおりです

        マルチキャストがサポートされていない

        "GOLF" VRF による VRF ルート共有の制限

    2 のトポロジで開始し、必要な場合は後に図 3 のトポロジに移行できます。

    注:この設計ガイドでは、MP-BGP EVPNOpFlex プロトコル、および VXLAN を使用したファブリックの拡張について、詳しく説明しません。GOLF について詳しくは、以下のドキュメントを参照してください。

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-736899.html

    VRF-lite L3Out の構築では、リーフノードをボーダーリーフ専用として使用することも、ボーダーノードとコンピューティングノードの兼用として使用することもできます。専用のボーダーリーフを使用することは、リーフをコンピューティングと VRF-lite の両方に使用する場合と比べ、拡張性の理由から有益と考えられます。

    サーバ接続にボーダーリーフを使用

    Cisco ACI ファブリック内のすべてのリーフスイッチが Cisco Nexus 9300-EX Cisco 9300-FX プラットフォームスイッチなどの第 2 世代リーフスイッチである場合、ボーダーリーフスイッチへのエンドポイントの接続が完全にサポートされます。

    トポロジに第 1 世代リーフスイッチが含まれている場合は、ボーダーリーフが第 1 世代リーフスイッチか第 2 世代リーフスイッチかに関係なく、以下の選択肢を考慮する必要があります。

        VRF Ingress ポリシーが有効(デフォルトかつ推奨される構成)の場合、Cisco ACI リリース 2.2(2e)以降のソフトウェアが必要です。ボーダーリーフスイッチでエンドポイントの学習を無効にするオプションを併せて設定する必要があります。

        [テナント(Tenant] > [ネットワーキング(Networking] > [VRFVRFs] に移動して、[ポリシー制御適用方向(Policy Control Enforcement Direction] オプションで [Egress] を選択して、Egress ポリシーの VRF インスタンスを設定する方法も可能です

    本書執筆時点では、コンピューティング用リーフスイッチとしても使用されるボーダーリーフスイッチを経由して外部に接続するトポロジを構成しVRF インスタンスが Ingress ポリシー(既定)に構成されている場合、ボーダーリーフスイッチでのリモートエンドポイント学習を無効にすることを推奨しています。

    Cisco ACI のバージョンに合わせて、以下のいずれかの手順で、ボーダーリーフのリモート IP アドレスエンドポイント学習を無効にできます。

        [ファブリック(Fabric] > [アクセスポリシー(Access Policies] > [グローバルポリシー(Global Policies] > [ファブリック全体の設定ポリシー(Fabric Wide Setting Policy] で、[リモートEP学習の無効化(Disable Remote EP Learn] を選択

        [システム(System] > [システム設定(System Setting] > [ファブリック全体設定(Fabric Wide Setting] > [リモートEP学習の無効化(Disable Remote EP Learning]

    注:[リモートEP学習の無効化(Disable Remote EP Learn] 設定オプションで、リモートエンドポイントIPアドレスと VTEP 間のマッピングの学習を無効化できます。ただし、この設定は入力ポリシーが有効となっている VRF インスタンスを持つボーダーリーフスイッチに対してのみ有効です。この設定オプションでは、ローカルリーフ上のエンドポイントの MAC アドレスの学習動作は変更されません。ボーダーリーフのリモートエンドポイント学習を無効化しても、マルチキャストルーティングは利用可能です。「リモートエンドポイント学習の無効化」セクションで詳細情報を提示します。

    L3Out はサーバ接続には使用不可

    ボーダーリーフスイッチは、外部ルータに接続するための 3 種類のインターフェイスを使用して構成できます。

        レイヤ 3(ルーテッド)インターフェイス

        IEEE 802.1Q タグ付け対応サブインターフェイス

        スイッチ仮想インターフェイス(SVI

    L3Out のインターフェイスで SVI を構成する場合は、VLAN カプセル化を指定します。同じ L3Out の複数のボーダーリーフノードで同じ VLAN カプセル化を指定すると、外部ブリッジドメインが構成されます。

    L3Out はルーティングデバイスの接続に使用します。L3Out SVI はサーバを直接接続するためには使用できません。サーバは、EPG および ブリッジドメイン(BD)に接続する必要があります。

    これには、以下の複数の理由があります。

        SVI を持つ L3Out によって作成された L2 ドメインは、通常のブリッジドメインとは同等ではありません。

        L3 外部接続は、複数ホップ離れたホストとのルーティング通信用として設計されています。

    図 4.        L3Out はサーバ接続には使用禁止

    Related image, diagram or screenshot

    L3Out vPC

    vPC 上では、スタティックまたはダイナミックのルーティングプロトコルによるピアリングを L3Out に構成できます。この場合は設計上の特別な考慮事項ありません。

    サービスリーフに関する考慮事項

    ファイアウォール、ロードバランサ、またはその他の L4-L7 デバイスを Cisco ACI ファブリックに接続する場合、専用のリーフまたはリーフペアを使用してすべてのサービスデバイスを集約するか、ファイアウォールとロードバランサをサーバの接続に使用されるものと同じリーフノードに接続するかを選択できます。

    これは規模を考慮して判断します。大規模なデータセンターでは、L4-L7 サービスの接続専用のリーフノードを使用することが理にかなっています。

    サービスリダイレクト機能を使用してサービスグラフを構成するには、リーフが第 1 世代の Cisco ACI リーフスイッチである場合、専用のサービスリーフノードを使用する必要があります。Cisco Nexus 9300 EX 以降のスイッチを使用する場合は、サービスグラフリダイレクト機能に L4-L7 サービスデバイス専用のリーフスイッチを使用する必要はありません。

    ファブリックのトランスポート インフラストラクチャ設計時の考慮事項

    Cisco ACI における転送は VXLAN オーバーレイによって実行されます。リーフノードは仮想トンネルエンドポイント(VTEPとなりCisco ACI においては PTEP(物理トンネルエンドポイント)と呼ばれます。

    Cisco ACI エンドポイントの MAC アドレスと IP アドレスが存在する場所(TEP)に関する情報を格納するマッピングデータベースを維持・管理します。

    Cisco ACI は、オーバーレイ上でレイヤ 2 またはレイヤ 3 の転送を実行できます。レイヤ 2 スイッチング通信には、ブリッジドメイン(BD)を識別する VXLAN ネットワーク識別子(VNID)が付加されます。また、レイヤ 3(ルーティング)通信には、VRF を識別する番号を含む VNID が付加されます。

    Cisco ACI では、VXLAN 通信を転送するインフラストラクチャとして、アップリンクに構成された専用の VRF とサブインターフェイスが使用されます。Cisco ACI では、VXLAN トラフィックのトランスポート インフラストラクチャ Overlay-1 と呼ばれ、テナント "infra" の一部として存在します。

    Overlay-1 VRF には、VTEPvPC 仮想 IP アドレス、APIC、およびスパインプロキシ IP アドレスそれぞれ対する /32 ルートが格納されています。

    Cisco ACI のリーフノードおよびスパインノードを表す VTEP は、物理トンネルエンドポイント(PTEP)と呼ばれます。個々の PTEP アドレスに加えて、スパインにはプロキシ TEP も割り当てられます。プロキシ TEP は、すべてのスパインに存在し、マッピングデータベースを参照する転送ルックアップに利用されるエニーキャスト IP アドレスです。各 VTEP アドレスは、Overlay-1 VRF にループバックとして存在します。また、ファブリック自体は、ファブリックループバック TEPFTEP)としても表されます。FTEP は、仮想スイッチ VTEP 宛ての VXLAN でカプセル化されたトラフィックに利用されます。Cisco ACI は、配下の VTEP デバイスの可動性を確保するために、すべてのリーフノードで同一となる、一意の FTEP アドレスを定義します。

    インフラストラクチャの設計時には、このトラフィックを伝送するためにどの VLAN を使用するか、TEP アドレス指定にどの IP アドレスプールを使用するかを決定する必要があります。

        インフラストラクチャ VLAN は、接続先の既存ネットワーク インフラストラクチャに存在する可能性のある既存の VLAN と重複させないでください。詳しくは「インフラストラクチャ VLAN」セクションを参照してください。

        TEP IP アドレスプールは、サーバにより使用されている可能性がある既存の IP アドレスプールとは重複しないようにしてください。詳しくは「TEP アドレスプール」セクションを参照してください。

    リーフ転送プロファイルの選択

    ファブリックを導入する際には、データセンターの要件に最も適した転送プロファイルを、初期の段階で定義してください

    デフォルトプロファイルでは、IPv4 IPv6 の両方、ならびにレイヤ 3 マルチキャスト機能をサポートするよう、リーフが構成されます。ただし、主にレイヤ 2 インフラストラクチャとして Cisco ACI を使用する場合は、より多くの MAC エントリを持つ IPv4 プロファイルを使い、IPv6 エントリを使わないことが望ましい場合もあります。IPv6 を使う場合は、高デュアルスタック プロファイルが適しているかもしれません。一部のプロファイルでは、最長プレフィックス一致(LMP)テーブルに、より大きな容量を割り当てます。たとえば Cisco ACI をトランジット ルーティング ネットワークとして使用する場合、ファブリックが IPv4 IPv6 に割り当てる容量は小さくなります。

    プロファイル設定はリーフ単位なので、リーフの使用目的ごとに異なるスケールプロファイル定義できます。たとえば専用ボーダーリーフとして使用されるリーフには、より大きな最長プレフィックス一致(LMP)テーブルの構成をお勧めします。

    構成可能な転送プロファイルについて詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/kb/b_Cisco_APIC_Forwarding_Scale_Profile_Policy.pdf

    Fabric-id

    Cisco ACI ファブリックの構成では、fabric-id をファブリックに割り当てる必要があります。fabric-id pod-id site-id とは混同しないでください。特定の場合(自動 RT GOLF を使用する場合や、すべてのサイトが同じ ASN に属している場合など)を除き、単に "fabric-id 1" と指定すれば十分です。

    インフラストラクチャ VLAN

    APIC "infra" と呼ばれるテナント(APIC のユーザインターフェイスではテナント "infra" と表示)に関連付けられた VLAN を経由して Cisco ACI ファブリックと通信します。この VLAN は、ファブリックノード(リーフノード、スパインノード、および APIC)間の内部制御通信に使用されます

    インフラストラクチャ VLAN 番号は、ファブリックのプロビジョニング時に選択されます。この VLAN は、APIC とリーフスイッチ間の内部接続に使用されます

    使用しているインフラストラクチャ VLAN は、図 5 で示すようにGUI から確認することも、コマンドライン インターフェイスから確認することもできます。たとえばリーフで次のコマンドを使用して確認します。

    leaf1# show system internal epm vlan all | grep Infra

    図 5.        APIC のボンドとインフラストラクチャ VLAN

    Related image, diagram or screenshot

    インフラストラクチャ VLAN は、Cisco ACI ファブリックを他の(Cisco ACI 以外の)デバイスまで拡張するためにも使用されます。たとえば Virtual Machine ManagerVMM)が実装された Cisco ACI で、DHCP リスエストを送信して Cisco ACI ファブリックの TEP プールから動的にアドレスを取得し、VXLAN トラフィックを送信するために、AVE または AVS でインフラストラクチャ VLAN を使用することがあります。

    インフラストラクチャ VLAN Cisco ACI ファブリックを超えて拡張される場合(たとえば AVSAVEOpFlex プロトコルを使用する OpenStack 統合、または Hyper-V 統合を使用する場合)、この VLAN は図 6 のとおり、他の(Cisco ACI 以外の)デバイスを通過する必要があります。

    図 6.        インフラストラクチャ VLAN に関する考慮事項

    Related image, diagram or screenshot

    一部のプラットフォーム(Cisco Nexus 900070005000 シリーズ スイッチなど)では、一定範囲の VLAN ID(通常は 3968 4095)が予約されています

    Cisco UCS では、以下の VLAN が予約されています。

        FI-6200FI-6332FI-6332-16UPFI-63244030 4047。なお、VLAN 4048 VSAN 1 により使用されています

        FI-64544030 4047(固定)、3915 4042(別の 128 個の連続する VLAN 群に移動できますが、リブートが必要です)

    https://www.cisco.com/c/ja_jp/td/docs/unified_computing/ucs/ucs-manager/GUI-User-Guides/Network-Mgmt/3-1/b_UCSM_Network_Mgmt_Guide_3_1/b_UCSM_Network_Mgmt_Guide_3_1_chapter_0110.html

    競合を回避するには、他のプラットフォームの予約範囲内にないインフラストラクチャ VLANたとえば 3915 未満の VLAN)を選択するようお勧めします。

    注:Cisco ACI リーフポートでインフラストラクチャ VLAN を転送できるようにするには、任意のポート群に関連付けられる Attachable Access Entity ProfileAAEP)のチェックボックスをオンにする必要があります。

    TEP アドレスプール

    Cisco ACI ファブリックは、APIC に直接接続されているリーフノードから順に段階的に起動されます。リンク層検出プロトコル(LLDP)とコントロールプレーン IS-IS のコンバージェンスは、このブートプロセスと並行して行われます。Cisco ACI ファブリックは LLDP ベース および DHCP ベースのファブリック検出機能を使用して、ファブリックスイッチノードの自動検出、インフラストラクチャへの TEP アドレスの割り当て、スイッチへのファームウェアのインストールを自動的に行います。

    7 に、Cisco ACI ノードでのブートアップと自動プロビジョニング機能の仕組みを示します。ノードは APIC から IP アドレスを取得します。その後、HTTP GET リクエストを通じてファームウェアのダウンロードを要求します。

    図 7.        リーフまたはスパインのブートシーケンス

    Related image, diagram or screenshot

    TEP はファブリック内に配置されますが、場合により、ファブリックの範囲を超えて拡張されます。たとえば AVE を使用すると、ファブリックの TEP アドレスが仮想スイッチに割り当てられます。そのため、データセンター内にて内部 TEP 範囲と外部ネットワークで重複するアドレスを使用することはお勧めしません。

    アドレスプールに必要なアドレスの数は、次のようないくつかの要因によって異なります。

        APIC の数

        リーフノードとスパインノードの数

        アプリケーション仮想スイッチ(AVS)、AVE インスタンス、Hyper-V ホスト。またはより一般的に、VMM 統合が管理し、OpFlex と統合された仮想ホストの数

        必要な vPC の数

    注:この計算において、各ポッドは他のポッドのプールとは重複しない独自の TEP プールを使用しますので、他のポッドのノードを含める必要はありません(詳細:https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-737855.html)。

    将来的なアドレスの枯渇を回避するために、可能な限り /16 または /17 の範囲を割当てることを推奨します。これが不可能な場合でも、少なくとも /22 の範囲が必要です。ただし /22 では大規模導入でアドレスが枯渇する可能性もあります。後で簡単には変更できないことを踏まえて、TEP 範囲は慎重に決めることが重要です。

    以下のコマンドを使用して、初回構成後に TEP プールを確認できます。

    Apic1# moquery –c dhcpPool

    TEP プールの範囲を決める際は、マルチポッド、マルチサイト、リモートリーフ、vPOD といった他の Cisco ACI 機能を今後使用する可能性にも配慮します。

    次の注意事項を考慮してください。

        Cisco ACI マルチポッド:TEP プールの計算では、構成中以外のポッドのノード数まで反映させる必要はありません。各ポッドが(他のポッドプールとは重複しない)独自の TEP プールを使用するためです。

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-737855.html

        一方、定義したプールが他の既存または将来のポッドと重複していないことを確認する必要があります。Cisco ACI マルチポッドでは、TEP プールを外部ルーティング可能とするための厳格な要件は存在しません。

        Cisco ACI マルチサイト:マルチサイト構成では、TEP プールから完全に独立した特定のパブリックルーティング可能なアドレス、コントロールプレーン外部トンネルエンドポイント(サイト間ネットワークに接続されたスパインごとに 1 個)、データプレーン ETEP(サイトのポッドごとに 1 個)、およびヘッドエンド レプリケーション ETEP(サイトごとに 1 個)を使用する必要があります。(参考)Https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-739609.pdf :「サイト間通信を実現するために各サイト内で使用されている TEP プールプレフィックスを各サイト間で交換する必要はありません。そのため、これらのプールの割り当て方法に関して、技術的な制限はありません。ただし、TEP プールのサマリプレフィックスの交換が将来求められるようになった場合に備えて、個別のサイト間では重複した TEP プールの割り当てを避けることが強く推奨されます。

    リモートリーフおよび vPOD 関連情報については、以下を参照してください。

    リモートリーフ:https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-740861.html vPOD 関連情報:https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/aci_vpod/installation-upgrade/4-x/Cisco-ACI-Virtual-Pod-Installation-Guide-401.pdf

    BGP ルートリフレクタポリシー

    インフラストラクチャ VRF でのルーティングは IS-IS に基づき行われます。各テナント VRF 内のルーティングは、Cisco ACI ファブリックに直接接続されているエンドポイント向けのホストルーティングに基づき行われます。

    Cisco ACI は、MP-BGP VPNv4 または VPNv6 を用いて外部ルートを ACI 内部に伝播します。BGP ルートリフレクタは、単一のファブリック内で多数のリーフスイッチをサポートするために導入されます。すべてのリーフスイッチおよびスパインスイッチは、1 つの BGP 自律システム(Cisco ACI マルチポッド構成のすべてのポッドを含む)内に存在します。

    BGP ルートリフレクタポリシーは、ファブリック内で MP-BGP を実行するかどうか、どのスパインノードが BGP リフレクタとして動作すべきかを管理します

    BGP 自律システム(AS)番号は、同じ APIC クラスタによって管理されているすべて Cisco ACI ポッド(マルチポッド)、つまりファブリック全体に適用されることに注意してください。

    ファブリック内で MP-BGP を有効化して設定するには、[ファブリックポリシー(Fabric Policies] タブの [ポッドポリシー(Pod Policies] で、BGR ルートリフレクタのデフォルトポリシーを変更します。ポリシーを有効にするには、既定の BGP ルートリフレクタポリシーをポッドポリシーグループとポッドプロファイルに追加する必要があります(図 8)。

    図 8.        BGP ルートリフレクタの設定

    Related image, diagram or screenshot

    ボーダーリーフは、外部ルートを学習した後、任意の VRF インスタンスから MP-BGP VPNv4 アドレスファミリのインスタンスに外部ルートを再配布します。MP-BGP は、VRF インスタンスごとに別個の BGP ルーティングテーブルを維持管理します。MP-BGP 内では、ボーダーリーフが BGP ルートリフレクタであるスパインスイッチへのルートをアドバタイズします。その後、VRF インスタンスがインスタンス化されているすべてのリーフスイッチに、ルートが伝播されます。図 9 は、Cisco ACI ファブリック内のルーティングプロトコルです。VRF-lite を使用する外部ルータとボーダーリーフとの間のルーティングプロトコルも示されています。

    図 9.        Cisco ACI ファブリックのルーティング配布

    Related image, diagram or screenshot

    BGP 自律システム番号に関する考慮事項

    Cisco ACI ファブリックでは、1 つの自律システム(AS)番号だけがサポートされます。内部 MP-BGP BGP セッション(ボーダーリーフスイッチと外部ルータ間)には同じ AS 番号が使用されます。

    BGP ルートリフレクタの配置

    Cisco ACI ファブリックでは、BGP ルートリフレクタが以下の 2 つの目的に使用されます。

        リーフノードを経由した従来の L3Out 接続には、通常の BGP ルートリフレクタが使用されます。

        マルチポッドおよび EVPN WAN 接続には、BGP EVPN ルートリフレクタが使用されます。

    従来の L3Out 接続(リーフノード経由の接続)には、冗長性を確保するため、Cisco ACI ポッドあたり 1 組のルートリフレクタを構成するようお勧めします(図 10)。

    図 10.     BGP ルートリフレクタの配置

    Related image, diagram or screenshot

    ルートリフレクタは、[ファブリックポリシー(Fabric Policies] でルートリフレクタポリシーの構成を使用したうえで、[ポッドポリシー(Pod Policies] にて(外部ルートリフレクタノードではなく)ルートリフレクタノードの構成を使用して構成します。

    BGP の最大パス

    BGP を実行する他の導入と同様に、Cisco ACI がネイバーから受け入れることのできる AS パスの数を制限するようお勧めします。具体的には [テナント(Tenant] > [ネットワーキング(Networking] > [プロトコルポリシー(Protocol Policies] > [BGP] > [BGPタイマー(BGP Timers] でテナントごとに最大 AS 限度値を指定することで構成できます。

    Network Time ProtocolNTP)の構成

    ファブリックでは必ず Network Time ProtocolNTP)を構成してください(図 11)。

    図 11.     NTP の構成

    Related image, diagram or screenshot

    NTP の構成について詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/200128-Configuring-NTP-in-ACI-Fabric-Solution.html

    COOP グループポリシー

    COOP は、スパインノード間でエンドポイントマッピング情報をやり取りするために、Cisco ACI ファブリック内で使用されます。ソフトウェアリリース 2.01m)以降、Cisco ACI ファブリックには、COOP メッセージを認証する機能が備わっています。

    COOP グループポリシー(本書執筆時点では [システム設定(System Settings] > [COOPグループ(COOP Group]、以前のリリースでは [ファブリックポリシー(Fabric Policies] > [ポッドポリシー(Pod Policies] からアクセス)は、COOP メッセージの認証を管理します。Compatible モードと Strict モードの 2 つのモードが使用可能です。Compatible モードは、認証済みの接続と未認証の接続の両方を受け付け、下位互換性を持つ既定のモードです。Strict モードでは、MD5 認証接続のみが許可されます。図 12 はこれら 2 種類のモードです

    図 12.     COOP グループポリシー

    Related image, diagram or screenshot

    本番環境においては安全性を確保するために、 Strict モードの有効化を推奨します。

    再配布されるルートの IS-IS メトリック

    再配布されるルートの IS-IS メトリックを規定値の 63 よりも小さくすることは、良い判断です。その理由は、たとえばスパインのアップグレード/リブート時に、スパインのすべての構成が完了し、メトリックがより低い値(たとえば 32)になるまで、外部の宛先へのパスにスパインが入らないようにするためです。

    この設定は [ファブリック(Fabric] > [ファブリックポリシー(Fabric Policies] > [ポリシー(Policies] > [ポッド(Pod] > [ISISポリシーデフォルト(ISIS Policy default] で行います。

    最大伝送単位

    13 は、Cisco ACI ファブリック内の VXLAN カプセル化トラフィックの形式を示しています。

    イーサネットフレームが VLAN ヘッダーでカプセル化されてファブリックのアクセスポートに到着した場合であっても、VLAN ヘッダーは削除されます。VXLAN ペイロードとしてカプセル化されるイーサネットフレームサイズは、通常、元の MTU サイズの 1500 + 14 バイトのヘッダー(フレームチェックシーケンス [FCS] が再計算されて追加され、IEEE 802.1q ヘッダーは削除される)となります。これに加えて、ファブリック側の配線上で配送されるイーサネットフレームには、IP ヘッダー(20 バイト)と UDP ヘッダー(8 バイト)に加え、iVXLAN ヘッダー(8 バイト)が付加されます。

    Cisco ACI ファブリックで使用されている VXLAN ヘッダーについては、図 13 を参照してください。

    図 13.     VXLAN ヘッダー

    Related image, diagram or screenshot

    そのため、ファブリックポートがサポートする必要がある最小 MTU サイズは、元の MTU サイズ + 50 バイトとなります。Cisco ACI ファブリックのアップリンクの MTU は、着信パケットの MTU(デフォルトでは 9000 バイト)+ 150 バイトに構成されています

    ファブリックのアクセスポートの MTU は、ジャンボフレームを送信するサーバに対応できるよう、9000 バイトとなっています

    注:Cisco ACI では、デフォルトで MTU 1500 バイトとなっている従来のファブリックに対し、すでに MTU 9000 バイトに設定されているため、ジャンボフレームを手動で構成する必要はありません。

    通常は Cisco ACI ファブリックの MTU のデフォルト値を変更する必要はありません。敢えて変更する場合は、[ファブリック(Fabric] > [ファブリックポリシー(Fabric Policies] > [ポリシー(Policies] > [グローバル(Global] > [ファブリックL2 MTUポリシー(Fabric L2 MTU Policy] で変更できます。この MTU は、VXLAN トラフィックのペイロードを指します。Cisco ACI リリース 3.1(2)以降では MTU 9216 バイトに変更できます。この設定は EPG をポートに対して紐付けると有効になります

    Cisco ACI 3.1(2)以降、ACI アップリンクの MTU は、9366 バイト(9216 + 150)です。

    VXLAN オーバーレイを IPN で伝送する必要がある場合は、L3Out MTU が正しく構成されていることを確認する必要があります。

    マルチポッドでの MTU 構成について詳しくは、以下のドキュメントを参照してください。

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-737855.html

    コンバージェンスを高速化するファブリック インフラストラクチャの構成

    高速リンクフェールオーバー

    Cisco ACI リリース 3.1 以降では、LBX と呼ばれる機能を有効化することで、ファブリックリンクの障害発生時にフェールオーバーのコンバージェンスを高速化できるようになっています。LBX は、-EX 以降のリーフの ASIC 機能を使用して、ハードウェア転送テーブル(リーフの vPC メンバーポートがダウン状態のときにスパインにバウンスビットを転送したり、バウンスビットを設定したりする ECMP テーブル)をより迅速に更新し、コントロールプレーンの更新を非同期に実行します。

    この機能は、リーフごとに構成でき、「高速リンクフェールオーバー」と呼ばれます。リーフのアップリンクでこの機能を有効にすると、ERSPAN では使用できなくなります。

    デバウンスタイマー

    デバウンスタイマーは、リンクダウンイベントが通知されてからハードウェアテーブルが更新されるまでのタイマー値です。デフォルトでは 100 msec です。このタイマーは、コンバージェンス向上のために 10 msec まで削減できます。

    図 14.     デバウンスタイマー

    Related image, diagram or screenshot

    Bidirectional Forwarding Detection(BFD)

    Bidirectional Forwarding DetectionBFD)により、レイヤ 3 リンクで高速コンバージェンスが可能となります。ピアリングルータがレイヤ 2 デバイス、またはルータが互いに直接接続されていないレイヤ 2 クラウド経由で接続されている場合には BFD が役立ちます。

    APIC リリース 3.1(1)からは、リーフスイッチとスパインスイッチ間、ならびに GOLF、マルチポッド、およびマルチサイト接続用の IPN リンク(OSPF または スタティックルートと併用)とスパイン間で BFD を構成できます。ファブリックリンク用の BFD は、-EX 以降のラインカードおよびリーフで実装されます。

    注:BFD -EX もしくは -FX 以降のラインカードを搭載したスパインおよび 9364C 以降の固定型スパインで実装されています。

    ストレッチファブリックでは、リーフとスパイン間のリンクで BFD を使用すると便利です。この機能は IS-IS と併用されます。BFD は、ファブリックポリシー、インターフェイスポリシー、ポリシー、および L3 インターフェイスを使用して IS-IS に構成できます。これがリーフ - スパイン間の全リンクに共通の構成である場合は、デフォルトポリシーを変更するだけで構成できます。これが一部のリンクに固有の構成である場合は、新しい L3 インターフェイスポリシーを定義し、それをリーフ ファブリック ポート ポリシー グループに適用する必要があります。

    15 は、ファブリックリンクで BFD を有効にする方法です。

    図 15.     ファブリックリンクでの Bidirectional Forward Detection の有効化

    Related image, diagram or screenshot

    注:BFD について詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/td/docs/switches/datacenter/aci/apic/sw/2-x/L3_config/b_Cisco_APIC_Layer_3_Configuration_Guide/b_Cisco_APIC_Layer_3_Configuration_Guide_chapter_0100.html

    Quality of ServiceQoS

    GOLF を使用しない単一のポッド設計の場合、外部 VXLAN ヘッダーの Differentiated Services Code PointDSCP)については、Overlay-1 インフラストラクチャ テナントのファブリック自体の中で処理されるため、通常は注意を払う必要がありません。

    ファブリックがマルチポッドまたは GOLF によって拡張されている場合、VXLAN トラフィックはルーティングされたインフラストラクチャを通過しているため、マルチポッドアーキテクチャが正しく機能するよう適切な Quality of ServiceQoS)を設定する必要があります。GOLF またはマルチポッドでは、テナント "infra" dot1p preserve または CoS 変換を構成していない場合、ポッド間または WAN とファブリックとの間のトラフィック転送が正しく機能しないことがあります。

    上記の理由により、単一ポッドでの展開時には dot1p preserve もしくはテナント "infra" クラスオブサービス(CoS)変換のいずれか一方を構成することが推奨されます。

    オーバーレイトラフィックの Quality of ServiceQoS

    Cisco ACI 4.0 では、トラフィックの優先順位付けにユーザ定義可能な 6 種類の QoS グループと、4 つの内部的に予約された QoS グループを使用します

    ユーザが定義可能な QoS グループは、[ファブリックアクセスポリシー(Fabric Access Policies] > [ポリシー(Policies] > [グローバルポリシー(Global Policies] > [QoS クラス(QOS Class] から構成できます(図 16)。デフォルトでは、テナントの EPG からのトラフィックは、元のパケットの CoS に関係なく、レベル 3 のクラスにマッピングされます。

    dot1p preservation ノブが設定されている場合、ファブリック内で使用される VXLAN DSCP ヘッダーは元の受信パケットのサービスクラス(CoS)と、EPG QoS クラスレベルの両方を伝送します。これにより、トラフィックが EPG からファブリックを出る際に、パケットの CoS が元のフレームと同じ値に構成されます(カスタム QoS ポリシーで上書きするよう構成した場合を除く)。元のパケットの DSCP 値(つまり、内部 DSCP 値)は、通常は変更されず、外部 VXLAN ヘッダーにもマッピングされません。元のパケットの DSCP を変更するには「カスタム QoS」を構成します。

    図 16.     Cisco ACI ファブリックの QoS グループ

    Related image, diagram or screenshot

    IPN 向けトラフィックの Quality of Service(QoS)

    マルチポッドまたは GOLF を使用する場合、テナント "Infra" Quality of ServiceQoS)設定が必要になることがあります。なぜなら、マルチポッドや GOLF を使う場合、ファブリックトラフィックは VXLAN でカプセル化されて IPN ネットワークで伝送されるため、トラフィックを正しく優先順位付けする必要があるからです

    多くの場合、IPN ネットワークスイッチは、外側の VXLAN ヘッダーの DSCP 値に基づいてトラフィックの CoS を設定します。受信側のスパインは、CoS 値または DSCP 値を使用して、トラフィックを Cisco ACI の正しいキューに関連付けます。デフォルト設定では、トラフィックを IPN ネットワークから受信するスパインが、DSCP CS6 または CoS 6 のいずれかを特別な QoS クラス(トレースルート目的で Cisco ACI が使う)を割り当てます。そのため、IPN からスパインが受信した通常のトラフィックが DSCP CS6 または CoS 6 でタグ付けされていると、破棄される可能性があります。

    ファブリックアクセスで "dot1p preserve" を構成すると、IPN VXLAN DSCP 外部ヘッダーには、元のトラフィックの CoS に基づく DSCP 値と、トラフィックがファブリック内で所属していた QoS グループまたは QoS クラスレベルに関する情報がどちらも VXLAN DSCP 外部ヘッダーにエンコードおよび格納されて伝送されます。

    "dot1p preserve" の主なデメリットとしては、VXLAN ヘッダーの DSCP 値を一致させて IPN 上で QoS を構成する場合に、CoS と内部の Cisco ACI QoS クラスが DSCP ヘッダーにどのようにマッピングされているかを把握する必要があり、どの DSCP 値が何に使用されているのかを変更できない点です。すでに使用されていない DSCP クラスセレクタに ACI トラフィックを柔軟に割り当てる必要がある場合には、注意が必要です

    たとえば、縦方向(north-to-south)トラフィック用の GOLF やポッド間の接続に IPN を使用する場合に、DSCP CS6 の外部ヘッダーを持つ垂直型トラフィックが存在する可能性があります(内部の DSCP ヘッダーは GOLF デバイスによって外部 VXLAN ヘッダーにコピーされる場合があります)。

    その後、場合によっては、縦方向(north-to-south)トラフィックに使用される DSCP 値と重複しないポッド間コントロール プレーン トラフィック用に DSCP クラスセレクタを選択する必要があります。

    dot1p preserve を使用する代わりに Cisco ACI テナント "infra" の変換を設定する場合は、ACI qos-group のトラフィックを外側 VXLAN ヘッダーの特定の DSCP 値にマッピングできます。これにより、他の種類のトラフィックでまだ使用されていない DSCP 値を選択できます。

    17 は、dot1p preserve 機能を設定する方法です

    18 はテナント "infra" DSCP 変換に qos-group を設定する方法です。この設定は通常、テナント "infra" > [ポリシー(Policies] > [プロトコルポリシー(Protocol Policies] DSCP class-cos 変換ポリシーを設定する形で行います

    図 17.     dot1p preserve の有効化

    Related image, diagram or screenshot

    図 18.     テナント "infra" における QoS 変換ポリシー

    Related image, diagram or screenshot

    詳しくは以下のリンクを参照してください。

    http://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/kb/b_Multipod_QoS.html

    次の設計ガイドラインが適用されます。

        必ず、dot1p preserve またはテナント "infra" の変換ポリシーのいずれか片方を設定してください。両方を同時に設定しないでください。

        CoS 6 値と DSCP CS6 値は通常、traceroute トラフィック用に予約されているため、通常は CoS 6 または DSCP CS 6 を使用したすべてのトラフィックを Cisco ACI スパインが IPN から受信しないように配慮する必要があります。

        L3Out 接続を GOLF 経由で提供している場合には、GOLF デバイスと Cisco ACI スパインとの間のルーティングネットワークについて、ACI での使用方法に沿った外部 DSCP ヘッダー値を持つ VXLAN トラフィックが送信されるよう配慮してください。つまり、GOLF からの VXLAN トラフィックから、ACI のコントロールプレーン、ポリシープレーン、SPAN およびトレースルートで使用する DSCP 値を排除する必要があります。場合によっては、VXLAN でカプセル化されたトラフィックを、Cisco ACI L3 に関連付けている DSCP 値にリマークする必要もあります。その代わりに VXLAN(内部 DSCP ヘッダー)でカプセル化されたトラフィックの DSCP 値を変更する必要はありません。

        Cisco ACI 4.0 では、より多くのユーザ構成可能な QoS グループと、それらの QoS グループを外部 DSCP ヘッダーにエンコードする新機能が導入されました。そのため、一時的に OS が混在したファブリックで Cisco ACI 3.x から Cisco ACI 4.x にアップグレードする際、ポッド間のトラフィックの分類における一貫性が確保されない場合があります。ただし、コントロールプレーン トラフィックの分類には一貫性が保たれます。

    Cisco APIC の設計上の考慮事項

    Cisco Application Policy Infrastructure ControllerAPIC)は、Cisco ACI ファブリックのイメージ管理、ブートストラッピング、およびポリシー設定を行うクラスタ型ネットワーク管理兼ポリシーシステムです。

    APIC は、以下の制御機能を提供します。

        ポリシーマネージャ:Cisco ACI のポリシーベースの設定を定義・展開する際に使用する分散ポリシーリポジトリを管理します。

        トポロジマネージャ:最新の Cisco ACI トポロジとインベントリの情報を維持管理します。

        オブザーバ:APIC の監視サブシステム。Cisco ACI の運用状態、正常性、および性能情報のデータリポジトリとして機能します。

        ブートディレクタ:スパインスイッチ、リーフスイッチ、APIC 要素のブートとファームウェア更新を管理します。

        アプライアンスディレクタ:APIC アプライアンスクラスタの形成と制御を管理します。

        Virtual Machine ManagerVMM):ポリシーリポジトリとハイパーバイザ間のエージェントとして機能し、VMware vCenter などのハイパーバイザ管理システムとのやり取りを行います。

        イベントマネージャ:APIC とファブリックノードから開始されるすべてのイベントと障害のリポジトリを管理します。

        アプライアンス要素:ローカル APIC アプライアンスのインベントリと状態を管理します。

    Cisco APIC のチーミング

    APIC には、ファブリック接続用の 2 枚のネットワーク インターフェイス カード(NIC)が搭載されています。これらの NIC は、冗長性確保のため、異なるリーフノードに接続する必要があります。APIC の接続は自動的にアクティブバックアップ チーミング(常に片方のインターフェイスのみ有効)として構成されます。この構成は、/proc/net/bonding Bash シェルから確認できます(ただし変更はできません)。

    19 は、APIC Cisco ACI ファブリックとの接続の一般的な例です。

    図 19.     Cisco APIC Cisco ACI ファブリックの接続

    Related image, diagram or screenshot

    APIC ソフトウェアは、Cisco ACI リーフスイッチとのインバンド接続用に bond0 インターフェイスおよび bond0 インフラストラクチャ VLAN インターフェイスを作成します。また、アウトオブバンド(OOB)管理ポートとして bond1 を作成します。

    インフラストラクチャ VLAN ID 4093(非推奨)であると仮定すると、ネットワーク インターフェイスは次のようになります。

        bond0:リーフスイッチへのインバンド接続用の NIC ボンディング インターフェイスです。このインターフェイスには IP アドレスが割り当てられません。

        bond0.<infra VLAN>:このサブインターフェイスは、リーフスイッチに接続されます。最初の APIC ソフトウェア構成中に、インフラストラクチャ VLAN ID が指定されます。このインターフェイスは、設定時に指定される TEP アドレスのプールからダイナミック IP アドレスを取得します。

        bond1OOB 管理用の NIC ボンディング インターフェイスです。IP アドレスは割り当てられません。このインターフェイスは、oobmgmt と呼ばれる別のインターフェイスを起動するために使用されます。

        oobmgmt:この OOB 管理インターフェイスから、APIC にアクセスできます。ダイアログボックスでの APIC 初回構成中に、IP アドレスこのインターフェイスに割り当てます。

    シスコ APIC のインバンド管理とアウトオブバンド管理

    APIC 初回起動時に、OOB 管理用の管理 IP アドレスとデフォルトゲートウェイを入力します。また、APIC OOB とインバンド管理ネットワークの両方を使用するよう自動的に構成されます。後でインバンド管理ネットワークを追加すると、APIC がそちらを優先するようになります

    [ファブリック(Fabric] > [ファブリックポリシー(Fabric Policies] > [グローバルポリシー(Global Policies] では、APIC でインバンド接続とアウトオブバンド接続のどちらを優先するか管理できます。

    アプリケーションに使用される内部 IP アドレス

    Cisco ACI リリース 2.2 以降には、APIC で動作するコンテナアプリケーションをホストする機能があります。この機能でコンテナに対して 172.17.0.0/16 サブネット内の IP アドレスが割り当てられます。本書執筆時点では、このサブネット範囲を設定できません。そのため、APIC 管理接続を構成するときは、この IP 範囲が管理 IP アドレスまたは管理ステーションと重複しないようにしてください。

    APIC クラスタリング

    APIC は、LLDP ベースの検出プロセスを使用して、クラスタ内の他の APIC IP アドレスを検出します。このプロセスでは、APIC ID APIC IP アドレスへのマッピングAPIC の汎用一意識別子(UUID)を提供するアプライアンスベクターが維持管理されます。初期状態では、 APIC は、そのローカル IP アドレスが格納されたアプライアンスベクターを持っており、その他のすべて APIC スロットは不明とマークされます。

    スイッチのリブート後、リーフスイッチのポリシーエレメントは APIC からアプライアンスベクターを取得します。その後、スイッチはそのアプライアンスベクターをすべてのネイバーにアドバタイズしローカル アプライアンス ベクターとネイバーのアプライアンスベクターの不一致ローカル アプライアンス ベクター内のすべて APIC に報告します。

    APIC はこのプロセスを使うことで、リーフスイッチを介して Cisco ACI ファブリックに接続されている他の APIC を検出します。APIC がクラスタ内で新たに検出された APIC を検証した後、APIC は、ローカル アプライアンス ベクターを更新し、新しいアプライアンスベクターを使用してスイッチをプログラムします。その後、スイッチは、新しいアプライアンスベクターのアドバタイズを開始します。このプロセスは、すべてのスイッチが同一のアプライアンスベクターを持ち、すべて APIC が他のすべて APIC IP アドレスを認識するまで続きます。

    クラスタのサイズ指定と冗長性

    より大きな規模と対障害性を確保するために、Cisco ACI は、APIC に保存されているデータに対し、データシャーディングと呼ばれるコンセプトを適用します。シャーディングは平たく言えば、データリポジトリを複数のデータベース単位(シャードと呼ばれる)に分割します。データシャードに格納されシャード 3 回複製され各レプリカ APIC アプライアンスに割り当てられます(図 20)。

    図 20.     Cisco APIC データのシャーディング

    Related image, diagram or screenshot

    20 はポリシーデータ、トポロジデータ、オブザーバデータが 5 APIC のクラスタでそれぞれ 3 回複製されていることを示しています

    APIC クラスタでは単独の APIC すべてのシャードのリーダーとして機能することはありません。各レプリカに対してシャードリーダーが選択され、選択されたリーダーにのみ書き込み操作が行われます。そのため、APIC に寄せられるリクエストは、シャードリーダーを伝送する APIC にリダイレクトされます

    「スプリットブレイン」状態(APIC が相互接続されていない状態)から復旧すると、タイムスタンプによって自動調整が行われます。

    APIC はクラスタの目標サイズを定義する形で、クラスタを拡張または縮小します。

    目標サイズと実際のサイズが必ずしも一致するとは限りません。次の場合は、これらのサイズが一致しません。

        クラスタの目標サイズが引き上げられた場合

        クラスタの目標サイズが引き下げられた場合。

        コントローラノードに障害が発生した場合。

    APIC クラスタが拡張されると、一部のシャードレプリカが古い APIC で機能停止し、新しい APIC で起動します。これによりクラスタ内のすべて APIC でレプリカが均等に分配された状態を維持ます。

    クラスタにノードを追加する場合は、既存のノードに新しいクラスタサイズを入力する必要があります。

    クラスタから APIC ノードを削除する必要がある場合は、最後のアプライアンスを削除する必要があります。たとえば 4 ノードクラスタからはノード番号 4 を削除する必要があります。4 ノードクラスタからノード番号 2 削除することはできません。

    シャード内の各レプリカには使用優先順位があり、リーダーに選出されたレプリカで書き込み操作が行われます。他のレプリカはフォロワーであり、書き込み操作を行えません。

    ある APIC に存在するシャードレプリカがクラスタ内の他のレプリカへの接続を失った場合、そのシャードレプリカは、マイノリティ状態にあると言われます。マイノリティ状態のレプリカに書き込みは行えません(つまり、設定の変更は行えません)。ただしマイノリティ状態のレプリカが引き続き読み取り要求に応えることはできます。クラスタの APIC ノードが 2 つだけの場合、1 つの障害によってマイノリティ状態が発生します。ただし、1 つの APIC クラスタ内には少なくとも 3 つのノードがあるため、マイノリティ状態に陥るリスクはきわめて小さいと言えます。

    注:Cisco ACI ファブリックを起動する場合、完全に機能するクラスタを構成する前に、1 つまたは 2 つの APIC を構成できます。これは最終形態として望ましくはありませんが、Cisco ACI では、ブートストラップ例外と見なされるため、1 つまたは 2 つの APIC ファブリックを構成できます。

    APIC は、必ず 3 つ以上のコントローラのクラスタとして展開されます。本書執筆時点では、クラスタのコントローラを 1 つの Cisco ACI ポッドに対して 5 つまで増やしたり、複数のポッドに対して 7 つまで増やしたりできます。主にスケーラビリティ上の理由から、4 つ以上のコントローラを設定するようお勧めします。

    これにより、APIC に保存されるすべての設定がクラスタ内の他の 2 つのコントローラにも保存されるため、個々の APIC に障害が発生しても影響を防げます。この場合、残り 2 つのバックアップ APIC のうち 1 つがプライマリ APIC に昇格されます。

    4 つ以上のコントローラを導入する場合、必ずしもすべて APIC すべてのシャードが存在するとは限りません。この場合、5 つの APIC のうち 3 つが失われると、レプリカが存在できなくなります。動的に生成され、設定に保存されていないデータの中には、ファブリックに含まれていても、残りの APIC コントローラには存在しないものもあります。ファブリックをリセットせずにこのデータを復元するには、ファブリック ID リカバリ機能を使用します。

    スタンバイコントローラ

    スタンバイ APIC は、予備として確保しておき、1 クリックでクラスタ内のアクティブ APIC と交換できるコントローラです。このコントローラは、ポリシー設定やファブリック管理には関与しません。管理者のログイン情報を含め、いかなるデータもこのコントローラには複製されません(ログインにはレスキューユーザ ID を使用します)。

    3 つの APIC 1 つのスタンバイで構成されるクラスタでは、スタンバイモードになっているコントローラのノード ID はたとえば 4 となります。ただし以前にノード ID2」で動作していた APIC 置き換えたい場合は、スタンバイのコントローラをノード ID 2 として稼働させることができます。

    ファブリックの復旧

    すべてのファブリックコントローラが失われ、設定のコピーが存在する場合は、設定の一部として保存されていない VXLAN ネットワーク識別子(VNID)データをファブリックから読み出すことにより復元できます。復元データは、ファブリック ID リカバリ機能を使用して、最後に保存した設定と統合できます。

    この場合のファブリックの復元では、Cisco® テクニカル アシスタンス センター(TAC)のサポートを利用できます。

    ファブリック ID リカバリ機能により、スイッチ ID とノード ID に割り当てられているすべて TEP アドレスが復元されます。その後、復旧機能がファブリックのすべて ID VTEP を読み取り、エクスポート済みの設定と照合します。

    この復旧作業は、すでにファブリックに含まれている APIC からのみ実行できます。

    Cisco APIC の設計上の考慮事項(概要)

    APIC に関連する設計上の考慮事項は、以下のとおりです。

        APIC は、リーフノードのペアに冗長接続する必要があります(vPC は使用されないため、任意の 2 つのリーフノードに接続できます)。

        可能な限り、APIC サーバを複数のリーフノードに分散させるべきです。

        4 つ以上のコントローラを追加しても、各データベース要素(シャード)の複製は最大 3 回なので、高可用性は向上しません。ただしコントロールプレーンの拡張性は向上します。

        必要に応じてスタンバイ APIC の使用を検討してください。

        データセンターのレイアウトでは、残りのコントローラが読み取り専用モードになる事態や、ファブリック ID を復旧する必要が生じる事態を防げるよう、コントローラ配置にしかるべき考慮が必要です。

        XML 設定ファイル全体を定期的にエクスポートする必要があります(このバックアップコピーには、ブリッジドメインおよび VRF インスタンスに割り当てられた VNI などのデータ含まれません。新しいファブリックを再起動した場合、またはファブリック ID の復旧によりファブリックを再構築する場合には、ランタイムデータが再生成されます)。

    ファブリックの「アクセス」の設計

    APIC 管理モデルでは、以下の 2 つのカテゴリに Cisco ACI ファブリックの構成が分割されます。

        ファブリック インフラストラクチャの構成:vPCVLAN、ループ防御機能、アンダーレイ BPG プロトコルなどの物理ファブリックの構成です。

        テナントの構成:アプリケーション プロファイル、ブリッジドメイン、EPG などの論理構造の定義です。

    このセクションでは、通常はファブリック インフラストラクチャの設定の一環として実行されるネットワーク接続の準備手順について説明します。

    Cisco ACI オブジェクトの命名

    Cisco ACI は、各オブジェクトに名前が必要となるマネージド オブジェクト モデルを使用して構築されています。そのため、管理性を向上させトラブルシューティングを容易にするには、明確で一貫性のある命名規則に従うことが重要です。すべてのポリシーに一貫した名前を付けられるよう、Cisco ACI ファブリックを導入する前にポリシー命名規則を定義しておくことをお勧めします。

    1 に、命名規則の例を示します。

    表 1.        命名規則の例

    ポリシー名

    テナント

    [Function]

    Production

    Development

    VRF

    [Function]

    Trusted

    Untrusted

    Production

    Development

    ブリッジドメイン

    [Function]

    Web

    App

    AppTier1

    AppTier2

    エンドポイントグループ

    [Function]

    Web

    App

    AppTier1

    AppTier2

    Attachable Access Entity ProfileAAEP

    [Function]

    VMM

    BareMetalHosts

    L3Out_N7K

    VLAN プール

    [Function]

    VMM

    BareMetalHosts

    L3Out_N7K

    ドメイン

    [Function]

    BareMetalHosts

    VMM

    L2DCI

    L3DCI

    コントラクト

    [Prov]_to_[cons]

    Web_to_App

    サブジェクト

    [Rulegroup]

    WebTraffic

    フィルタ

    [Resource-Name]

    HTTP

    アプリケーション プロファイル

    [Function]

    SAP

    Exchange

    インターフェイスポリシー

    [Type] [Enable|Disable]

    CDP_Enable

    CDP_Disable

    LLDP_Disable

    インターフェイス ポリシー グループ

    [Type]_[Functionality]

    vPC_ESXi-Host1

    PC_ESXi-Host1

    PORT_ESXi-Host1

    インターフェイス プロファイル

    [Node1]_[Node2]

    101_102

    一部の命名規則ではオブジェクトのタイプが使用されます(テナントが Production_TNT と名付けられるなど)。しかし Cisco ACI ファブリックでは、各オブジェクトが特定クラスに属するため、このようなサフィックスは冗長に感じられます。ただし、それでもなお各オブジェクト名にタイプを表すサフィックスを含めたい場合もあるでしょう。

    注:L4-L7 デバイスを定義するオブジェクトのサブストリングである「N-」(N の後にハイフン)は、名前に含めないでください。サービスグラフの展開で使用されるブリッジドメイン(つまり、サービスグラフのデバイス選択ポリシーの設定で選択する必要があるブリッジドメイン)のサブストリング "C-" 、名前に含めないでください。

    テナント間でオブジェクト名が重複するオブジェクト

    VRF インスタンス、ブリッジドメイン、コントラクトなどに対してユーザの選択する名前は、オブジェクトが定義されているテナントごとに一意となります。そのためテナント "common" のオブジェクトを除き、異なるテナント内のオブジェクトに対しては同じ名前を再利用できます。

    テナント "common" は特殊な Cisco ACI テナントです。VRF インスタンスやブリッジドメインなどのオブジェクトを複数のテナントで共有する目的で使用できます。たとえばファブリックに対して 1 つの VRF インスタンスがあれば十分な場合、VRF インスタンスをテナント "common" で定義し、他のテナントから使用する設計もできます。

    テナント "common" で定義されたオブジェクトには、テナント全体で一意の名前を付ける必要があります。なぜなら Cisco ACI では、テナント "common" 内で検索しても特定の名前のオブジェクトが見つからない場合に、解決フレームワークにより自動的に関係を解決するからです。http://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/1-x/aci-fundamentals/b_ACI-Fundamentals/b_ACI-Fundamentals_chapter_010001.html を参照してください。次のように説明しています。

    「命名された関係に基づくポリシー解決では、一致する名前を持つ対象の MO(マネージドオブジェクト)が現在のテナントで見つからない場合、ACI ファブリック common テナントで解決を試みます。たとえば、ユーザのテナント EPG に、存在しないブリッジドメインを対象とした関係 MO が含まれていた場合、システムは common テナントでその関係の解決を試行します。命名済みの関係を現在のテナントまたは common テナントで解決できない場合、ACI ファブリックは、デフォルトポリシーに従い解決を試みます。デフォルトポリシーが現在のテナント内に存在する場合、デフォルトポリシーが使用されます。デフォルトポリシーが存在しない場合は、ACI ファブリックが common テナント内のデフォルトポリシーを検索します。ブリッジドメイン、VRF、コントラクト(セキュリティポリシー)の命名済み関係はデフォルト値に解決されません」。

    テナント "common" と通常のテナントで重複する名前を持つオブジェクトを定義する場合は、テナント "common" 内のオブジェクトではなく、テナント内から同名のオブジェクトが選択されます。たとえばテナント "Tenant-1" BD-1 という BD を定義し、テナント "common" "Tenant-1" VRF-1 という VRF を定義した場合、BD-1 "Tenant-1" VRF-1 に関連付けることはできますが、BD-1 "common" VRF-1 に関連付けることはできません。

    VLAN プールとドメインの定義

    Cisco ACI ファブリックでは、VLAN プールを使用して、1 つ以上のリーフノードの特定ポートに最終的に適用される VLAN 番号の範囲を定義します。VLAN プールは、スタティックプールまたはダイナミックプールのいずれかに構成できます。スタティックプールは通常、ファブリックに手動で構成されるホストやデバイス(たとえば、ベアメタルホストや従来のサービス挿入で使用して接続された L4-L7 デバイスなど)に使用されます。ダイナミックプールは、APIC VLAN を自動的に割り当てる必要がある場合、たとえば VMM 統合または自動サービス挿入(サービスグラフ)を使用する場合に使われます。

    VLAN プールを機能グループに分割することは一般的な手法です(表 2)。

    表 2.        VLAN プールの例

    VLAN 範囲

    タイプ

    用途

     

    1000 1100

    スタティック

    ベアメタルホスト

    1101 1200

    スタティック

    ファイアウォール

    1201 1300

    スタティック

    外部 WAN ルータ

    1301 1400

    ダイナミック

    仮想マシン

    ドメインは、Cisco ACI ファブリック内の VLAN の適用範囲、つまり VLAN プールの用途と使用場所を定義するために使用されます。ドメインには、物理ドメイン、仮想(VMM)ドメイン、外部レイヤ 2 ドメイン、外部レイヤ 3 ドメインといった複数種類のドメインが存在します。VLAN プールとドメインを 1 1 で対応させることが一般的です。

    注:設定ミスを防止するために、[システム設定(System Settings] > [ファブリック全体設定(Fabric Wide Settings] でドメイン検証機能を全体的に有効にすることをお勧めします。

    VLAN プールを選択するときは、サーバが ACI ではない何らかのスイッチまたは Cisco UCS ファブリック インターコネクトを介して ACI に接続する場合に注意が必要です。この場合、それらの中間デバイスの予約済み VLAN 範囲と重複しない VLAN プール、つまり 3915 より小さい VLAN を選択する必要があります。

    Cisco Nexus 900070005000 シリーズ スイッチでは、3968 4095 の範囲が予約されています。

    Cisco UCS では以下の VLAN が予約されています。

        FI-6200/FI-6332/FI-6332-16UP/FI-63244030 4047。なお、VLAN 4048 は、VSAN 1 により使用されます。

        FI-64544030 4047(固定)、3915 4042(別の 128 個の連続したブロック VLAN に移行できますが、リブートが必要です)。詳しくは以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/td/docs/unified_computing/ucs/ucs-manager/GUI-User-Guides/Network-Mgmt/3-1/b_UCSM_Network_Mgmt_Guide_3_1/b_UCSM_Network_Mgmt_Guide_3_1_chapter_0110.html

    ファブリックアクセス ポリシーの設定

    ファブリックアクセス ポリシーは、外部からの Cisco ACI ファブリックへのアクセスに関連します。VLAN プール、ドメイン、インターフェイス関連(LACPLLDPCisco Discovery Protocol、ポートチャネル、vPC など)の設定が含まれます。

    アクセスポリシーの設定は一般的に、図 21 に示すワークフローに従って行います。

    図 21.     アクセスポリシーの設定ワークフロー

    Related image, diagram or screenshot

    Attachable Access Entity Profile(AAEP)

    Attachable Access Entity ProfileAAEP)は、ドメイン(物理ドメインまたは仮想ドメイン)をインターフェイスポリシーにマッピングするために使用されます。最終目的は、VLAN をインターフェイスにマッピングすることです。AAEP の設定は、従来の Cisco NX-OS のインターフェイスで switchport access vlan x を設定するのとほぼ同様です。また AAEP は、インターフェイス ポリシー グループとドメイン間で(必要に応じて)1 対多の関連付けを許可します(図 22)。

    図 22.     AAEP 関係

    Related image, diagram or screenshot

    22 の例では、管理者は、1 つのポートまたはポートチャネルで VMM ドメインと物理ドメインの両方を構成(つまりスタティック パス バインディングを使用)する必要があります。そのためには、両方のドメイン(物理ドメインおよび仮想ドメイン)を単一の AAEP にマッピングしてから、該当のインターフェイスとポートチャネルを表す単一のインターフェイス ポリシー グループに AAEP を関連付けることができます。

    EPG とドメインの関連を定義すると、この EPG で定義されているスタティックバインディングまたはダイナミックバインディングのドメイン範囲の VLAN を使用できます。この同じ VLAN 範囲は、AAEP を介してリーフポートで有効化しておく必要があります。たとえば BD1 EPG1 がポート 1/1VLAN10 を使用し、VLAN10 が物理ドメインである domain1 の一部であると想定します。この場合、同じ物理ドメインをファブリックアクセス AAEP 設定の一部としてポート 1/1 に構成しておく必要があります。

    VLAN からのトラフィックは、テナント設定に基づきブリッジドメインにマッピングされ、ブリッジドメインに依存する VXLAN VNID を使用してファブリック内で伝送されます。各 VLAN には「ファブリックカプセル化」または FD_VLAN VNID と呼ばれる別の VNID も割り当てられます。これは BPDU の転送時や「カプセル化範囲限定のフラッディング(Flood in Encapsulation)」などの特殊なケースに使用されます。

    複数のドメインと複数の AAEP によって使用される VLAN 範囲が重複している場合、ファブリックで使用されるファブリックカプセル化は、domain1 に関連付けられた EPG1 により使用される VLAN10 と、domain2 に関連付けられた EPG2 により使用される VLAN10 との間で異なります。これは望ましい特性と言えます。なぜなら、EPG1 EPG2 が異なるブリッジドメイン(BD)に属し、片方の BD から他方の BD に(たとえばBPDU を転送する意味がないことを前提としているからです。

    ただし、使用するファブリックカプセル化が確定しない場合には、VLAN 範囲が重複する複数のドメインを同一の EPG にマッピングしないよう注意する必要があります。たとえば VLAN 範囲が 1 10 pool1 VLAN 範囲が 10 15 pool2 2 つの VLAN プールがあると想定します。さらに "pool1" physdom1 に、"pool2" physdom2 に関連付けられ、両者が同じ EPG にマッピングされていると想定します。その後、同じ VLAN10 のポート 1/1 および 1/2 EPG がマッピングされると、ファブリックカプセル化は同じにならない場合があります。また、この BD が外部スイッチング インフラストラクチャとのレイヤ 2 接続に使用されている場合、スパニングツリープロトコルがループを検出できず、レイヤ 2 ループを招く可能性があります。

    以上を考慮し、AAEP を定義するときは AAEP にマッピングされるドメイン間で VLAN 範囲が重複しないように注意してください。

    グローバル設定 [ドメイン検証を適用(Enforce Domain validation] を適用すると、VLAN の観点からファブリック アクセス ドメインと EPG を正しく構成できるため、構成ミスを防止できます。この構成は図 23 示しています。

    図 23.     ドメイン検証の構成

    Related image, diagram or screenshot

    インターフェイスポリシー

    インターフェイスポリシーは、LLDPCisco Discovery ProtocolLACP、ポート速度、ストーム制御、MisCabling ProtocolMCP)といった、インターフェイスレベルのパラメータの構成を担います。インターフェイスポリシーは、インターフェイス ポリシー グループ(次のセクションで説明)の一部としてまとめられます。

    各種のインターフェイスポリシーには、デフォルトポリシーが事前構成されています。ほとんどの場合、当該の機能またはパラメータは、デフォルトポリシーの一部として無効(Disabledに設定されています。

    デフォルトポリシーをそのまま流用・変更したりせず、構成項目ごとに明確なポリシーを作成するようお勧めします。たとえば LLDP の構成では、LLDP_Enabled LLDP_Disabled という(または類似の名前の)2 つのポリシーを構成し、LLDP の有効化または無効化に使用することが強く推奨されています。これにより、広範囲に影響を及ぼしかねないデフォルトポリシーの偶発的変更を予防できます。

    注:このポリシーは、スパインノードとリーフノードによってブートアップと実行対象イメージの検索に使用されるため、ファブリック アクセス ポリシー LLDP のデフォルト値を変更しないでください。サーバ用に別のデフォルト構成を作成する必要がある場合は、新しい LLDP ポリシーを作成して名前を付け、このポリシーを "default" ポリシーの代わりに使用します。

    Cisco Discovery ProtocolLLDP、およびポリシーの解決

    Cisco ACI VRF インスタンスおよびブリッジドメインでは、リーフにスイッチ仮想インターフェイス(SVI)を必要とするエンドポイントが存在しない限りSVI リーフデバイスのハードウェアには構成されません。Cisco ACI は、Cisco Discovery ProtocolLLDP、または OpFlex(サーバがサポートしている場合)に基づき、対象のリーフにこれらのリソースが必要かどうかを判断します。

    したがって、運用上の便宜だけでなく、転送が正常に機能するためにも、Cisco Discovery ProtocolCDP)または LLDP の構成が必要となります

    上記の理由により、仮想サーバに接続するインターフェイスでは、必ず Cisco Discovery Protocol または LLDP を構成してください。

    Cisco ACI における LLDP はデフォルトで30 秒のフレーム送信間隔と 120 秒の保持時間が設定されています。この構成はグローバル構成であり、[ファブリック(Fabric] > [ファブリックポリシー(Fabric Policies] > [グローバル(Global] で確認できます。

    CDP は、フレーム送信間隔が 60 秒、保持時間が 120 秒の通常の Cisco CDP タイマーを使用します。

    ポリシーグループで何も構成を指定しない場合にはLLDP がデフォルトで動作し、CDP は動作しません。これら 2 つは相互に排他的ではないため、ポリシーグループで有効になるように CDP を設定すると、Cisco ACI CDP パケットと LLDP パケットの両方を生成します。

    Cisco ACI ファブリックでファブリックエクステンダ(FEX)を使用している場合は、Cisco ACI リリース 2.2 から Cisco Discovery Protocol のサポートが追加されていることに注意してください。ファブリックエクステンダが使用された設計で古いバージョンの Cisco ACI を実行している場合は、ファブリック エクステンダ ポート用 LLDP を構成してください。

    詳細については、本書後半の「VRF インスタンス、ブリッジドメイン、EPG、コントラクトの解決と展開の即時性」セクションを参照してください。

    注:仮想サーバが Cisco UCS ファブリック インターコネクトを使用しブレードスイッチなど、他のデバイス経由で Cisco ACI ファブリックに接続する場合は、デバイスの管理 IP アドレス変更注意してください。管理 IP アドレスを変更すると、Cisco Discovery Protocol または LLDP の情報にフラッピングが発生し、Cisco ACI ポリシーが解決されている間にトラフィックが中断する場合があります。

    ポートチャネルと仮想ポートチャネル

    Cisco ACI ファブリックでは、ポートチャネルと vPC インターフェイス ポリシー グループを使用して作成されます。インターフェイス ポリシー グループは、[ファブリック(Fabric] > [アクセスポリシー(Access Policies] > [インターフェイスプロファイル(Interface Profiles] > [ポリシーグループ(Policy Groups] > [リーフポリシーグループ(Leaf Policy Groups] で作成できます。

    ポリシーグループは、ポートチャネルまたは vPC 用の単一のインターフェイスに対して作成できます。

    ポートチャネルタイプのポリシーグループに付与する名前は、Cisco NX-OS のコマンド channel-group channel-number と同じです。

    vPC タイプのポリシーグループに付与する名前は、channel-group channel-number および vpc-number と同じです。

    インターフェイス ポリシー グループは、Cisco Discovery ProtocolLLDPLACPMCP、ストーム制御など、複数のインターフェイスポリシーを関連付けます。ポートチャネルと vPC のインターフェイス ポリシー グループを作成する場合は、ポリシーはどのように再利用できるか、または再利用できないかを理解しておくことが重要です。図 24 に示す例について考察しましょう。

    図 24.     vPC インターフェイス ポリシー グループ

    Related image, diagram or screenshot

    この例では、vPC を使用して Cisco ACI リーフペアに 2 台のサーバが接続されています。この場合、2 種類のインターフェイス ポリシー グループを構成し、適切なインターフェイス プロファイル(使用ポートを指定)と関連付け、任意のスイッチプロファイルに割り当てる必要があります。よくある間違いは、1 個のインターフェイス ポリシー グループを構成し、1 つのリーフノード上で複数のポートチャネルまたは vPC にインターフェイス ポリシー グループを再利用しようとすることです。しかし、単一のインターフェイス ポリシー グループを使用して複数のインターフェイス プロファイルからこれを参照すると、同じポートチャネルまたは vPC に別のインターフェイスが追加されるため、望みどおりの結果が得られない場合があります。

    同じリーフスイッチまたは 2 種類のリーフスイッチで複数のインターフェイスに同じポリシーグループを割り当てる場合は、すべてのインターフェイスをまとめる方法を定義します。ポリシーグループの名前を定義する際には、ポートチャネルと vPC ごと 1 つのポリシーグループ名を付与する必要があることを考慮してください。

    原則として、ポートチャネルまたは vPC インターフェイス ポリシー グループは、ポートチャネルまたは vPC 1 1 でマッピングする必要があります

    管理者は、複数のポートチャネルまたは vPC に対して、ポートチャネルまたは vPC インターフェイスグループを再利用しないよう注意する必要があります。なお、このルールはポートチャネルと vPC にのみ適用されます。リーフ アクセス ポート インターフェイス ポリシー グループは再利用可能ですが、その場合はポリシーグループの構成変更多数のポートに適用される可能性がある点について、Cisco ACI インフラの管理者は注意が必要です。

    管理者は、ポートチャネルと vPC に連番(例:PC1PC2vPC1vPC2)を付けたいと考えるかもしれません。しかし Cisco ACI では、ポートチャネルまたは vPC の作成時に規則性のない番号を割り当てます。それらの番号が連番と一致する可能性は低く、混乱を招くおそれもあるため、連番方式は推奨されません。その代わりに、わかりやすい命名方式(Firewall_Prod_A など)の採用をお勧めします

    vPC を使用してコンバージェンスを高速化する構成

    Cisco ACI リリース 3.1 以降では、複数の障害シナリオでのコンバージェンス時間が短縮されました。このような障害のシナリオの 1 つに、サーバからリーフへの vPC の障害が挙げられます。コンバージェンス時間をさらに短縮するには、[リンクレベルポリシー( Link Level Policies] で、リンクデバウンス(Link Debounce)の間隔を既定値の 100 ミリ秒ではなく、10 ミリ秒に設定してください。

    インターフェイスのオーバーライド

    LLDP を有効にするポリシーなど、特定のポリシーを使用してインターフェイス ポリシー グループを構成した場合を想定してみましょう。インターフェイス ポリシー グループは、一定範囲のインターフェイス(1/1 2 など)に関連付けられてから、一連のスイッチ(101 104 など)に適用されます。その後、管理者は特定のスイッチ(104)のインターフェイス 1/2 のみ、LLDP ではなく Cisco Discovery Protocol を実行する必要があると判断したと仮定します。これを実現るのがインターフェイス オーバーライド ポリシーです。

    インターフェイス オーバーライド ポリシーは、特定のスイッチのポート(たとえばリーフノード 104 のポート 1/2)を参照し、インターフェイス ポリシー グループに関連付けられます。この例では当該リーフノードのインターフェイス 1/2 にインターフェイス オーバーライド ポリシーを構成してから、Cisco Discovery Protocol が構成されているインターフェイス ポリシー グループに関連付けることができます(図 25)。

    図 25.     インターフェイス オーバーライド

    Related image, diagram or screenshot

    インターフェイス オーバーライドは、 [ファブリックアクセスポリシー(Fabric Access Policies] [インターフェイスポリシー(Interface Policies] セクションで構成します(図 26)。

    図 26.     インターフェイス オーバーライドの構成

    Related image, diagram or screenshot

    なお、インターフェイス オーバーライドがポートチャネルまたは vPC を参照する場合は、対応するポートチャネルまたは vPC のオーバーライドポリシーを構成してから、これをインターフェイス オーバーライドから参照する必要があります。

    ポートトラッキング

    ポートトラッキング機能(リリース 1.22g)から使用可能)は、リーフノードが Cisco ACI ファブリックに含まれるすべてのスパインノードと接続が切れ、影響を受けたリーフノードにアクティブ - スタンバイ方式で接続されているホストが障害を一定時間検知できないシナリオ(図 27)に対応します。

    図 27.     アクティブ - スタンバイ NIC チーミングシナリオでのリーフ接続の喪失

    Related image, diagram or screenshot

    ポートトラッキング機能は、リーフノードでのファブリック接続喪失を検出し、ホスト側ポートをダウンさせます。結果的にホストが第 2 のリンクにフェイルオーバーできます(図 28)。

    図 28.     ポートトラッキングを有効化したアクティブ - スタンバイ NIC チーミング

    Related image, diagram or screenshot

    特殊性の高いサーバ導入を除き、サーバはデュアルホームとして構成し、ポートトラッキングを常に有効にしてください

    ポートトラッキングの設定は、[システム(System] > [システム設定(System Settings] > [ポートトラッキング(Port Tracking] で行えます

    ループ緩和機能

    Cisco ACI ルーテッドファブリックであるため、ファブリック インフラストラクチャ レベルでループが発生する可能性は本来ありません。一方、ルーテッドファブリックにブリッジドメイン(BD)を運用者側で構築できるため、ブリッジドメインを外部のケーブル配線またはスイッチと接続することでループが発生する可能性があります。また、ACI ファブリックに接続された外部ネットワークでループが発生することもあります。このようなループは ACI ファブリックの機能に影響を及ぼす可能性があります。

    このセクションでは、ループ発生の可能性を減らしたり、Cisco ACI ファブリックに対するループの影響を軽減したりするためにファブリックアクセス ポリシー レベルで構成できる機能について説明します。

    ループ防止に役立つ機能として、MisCabling プロトコル、トラフィックストーム制御、FD_VLAN での BPDU 転送、BPDU ガード(トポロジでのループ発生を抑止するために BPDU が適切な手段となる場合もあるため、必要な場合のみ使用)が挙げられます。

    この他にもプロトコル別、インターフェイス別のコントロール プレーン ポリシング(CoPP)、エンドポイント移動抑制、エンドポイントループ検出、不正なエンドポイント制御といった機能で、ファブリック自体へのループの影響を最小限に抑えることができます。

    インターフェイスレベルのコントロール プレーン ポリシング(CoPP

    コントロール プレーン ポリシング(CoPP)は、Cisco ACI 3.1 で導入されました。この機能を使用すると、制御トラフィックがまずインターフェイスレベルのポリサーによってレート制限された後、集約 CoPP ポリサーに到達します。これにより、特定のインターフェイスからのトラフィックが集約 COPP ポリサーを「フラッディングさせることを防ぎます。その結果、つ以上のインターフェイスからループまたは分散型サービス妨害(DDoS)攻撃が発生した場合でも、他のインターフェイスからの制御トラフィック CPU に到達できることを保証します。インターフェイス毎のプロトコル単位のポリサーは、Address Resolution ProtocolARP)、Internet Control Message ProtocolICMP)、Cisco Discovery ProtocolCDP)、Link Layer Discovery ProtocolLLDP)、Link Aggregation Control ProtocolLACP)、ボーダー ゲートウェイ プロトコル(BGP)、スパニングツリープロトコル、Bidirectional Forwarding DetectionBFD)、および Open Shortest Path FirstOSPF)の各プロトコルをサポートしています。この機能は Cisco Nexus 9300-EX 以降のスイッチで使用可能です。

    MisCabling プロトコル(MCP

    従来のネットワークとは異なり、Cisco ACI ファブリックはスパニングツリープロトコルには参加せず、BPDU を生成しません。BPDU は、同じ VLAN 上の同じ EPG にマッピングされたポート間で、ファブリックを介して透過的に転送されます。そのため、Cisco ACI は、外部デバイスのループ防止機能にある程度依存します

    2 つのリーフポートを誤ってケーブル接続した場合などは、ファブリック内の LLDP を使用して直接処理されます。ただし、別レベルでの保護が必要な場合もあります。このような場合、MCP を有効化すると保護に役立つことがあります。

    MCP を有効にすると、ループの原因となる設定の誤りに対して保護を強化できます。外部スイッチング インフラストラクチャでスパニングツリープロトコルが機能している場合、通常の条件下では、MCP がリンクを無効にする必要はありませんが、スパニングツリープロトコルが外部スイッチで動作を停止すると、MCP が介入してループを防止します。

    MCP VLAN ごとにループを検出した場合でも、MCP がリンクを無効にするように構成されていて、かつ物理リンク上に存在するいずれかの VLAN でループが検出された場合MCP はリンク全体を無効にします。

    スパニングツリープロトコルより粒度が細かいため、ループトポロジが存在する場合、スパニングツリープロトコルを実行する外部スイッチはよりきめ細かなループ防止を実現します。MCP は、スパニングツリープロトコルが動作を停止した場合に役立ちます。

    外部スイッチまたは同様のデバイス向けのすべてのポートで MCP を有効にするようお勧めします

    MCP ポリシーグループレベルのデフォルト構成では、インターフェイスレベルで MCP が有効化されますが、グローバルに有効化されない限り MCP は機能しません。

    すべてのインターフェイスで MCP はデフォルト(有効)に設定されていますが、MCP を動作させるにはグローバル MCP 構成を有効にする必要があります。

    これは [ファブリック(Fabric] > [アクセスポリシー(Access Policies] タブのグローバルポリシーのセクションで実行します(図 29)。

    図 29.     MCP の構成

    Related image, diagram or screenshot

    MCP を構成するには、ファブリックを一意に識別するためのキーを入力する必要があります。初期遅延(デフォルトでは 180 秒)は、Cisco ACI リーフが外部 L2 ネットワークに接続されている場合に STP がコンバージェンスするための十分な時間を MCP が確保するよう考慮されています。

    ループを検出するための MCP の最短時間は、(送信周期×ループ検出乗数 + 1)です。

    デフォルトの送信周期は 2 秒です。ループ検出乗数は、Cisco ACI リーフポートがループを宣言する前に連続して受信する必要があるパケットの数です。デフォルトは 3 です。タイマーがデフォルト設定の場合、MCP がループを検出するまでに最大で約 7 秒かかります。

    ループ保護アクションは Syslog 生成だけを目的に設定することも、ループ検出時にポートを無効化する設定も可能です。

    Cisco ACI 2.02fより前のバージョンでは、MCP がタグなしの MCP PDU を送信することにより、リンクレベルでループを検出していました。ソフトウェアリリース 2.02f)では、VLAN ごとの MCP もサポートされるようになりました。この改善により、特定リンクに対して(EPG で指定された)VLAN ID をタグ付けした MCP PDU が、Cisco ACI から送信されるようになりました。そのため現在は、MCP を使用して非ネイティブ VLAN のループを検出できます

    MCP VLAN ごとにループを検出できる場合でも、MCP がリンクを無効にするように構成されていて、物理リンク上に存在するいずれかの VLAN でループが検出された場合、MCP はリンク全体を無効にします。

    VLAN 単位の MCP は、リンクあたり最大 256 個の VLAN に対応します。つまり、リンクに 256 個以上の VLAN が構成されている場合、MCP は最初の 256 個で PDU を生成します。

    トラフィックストーム制御

    トラフィックストーム制御は、ブロードキャスト、マルチキャスト、および未知のユニキャストトラフィックの量を監視し、ユーザ指定の条件値に達した場合に未知のトラフィックを抑制する機能です。Cisco ACI ファブリックのトラフィックストーム制御は、[ファブリック(Fabric] > [アクセスポリシー(Access Policies] メニューを開き、[インターフェイスポリシー(Interface Policies] を選択して構成します。

    トラフィックストーム制御は、構成入力として以下の 2 つの値を取得します。

        レート:1 秒間隔でトラフィックが比較されるレートレベルを定義します。レートは、パーセンテージ、または秒あたりのパケット数として定義できます。

        最大バーストレート:トラフィックストーム制御がトラフィックを廃棄し始める前の最大トラフィックレートを指定します。このレートは、パーセンテージ、または 1 秒あたりのパケット数として定義できます。

    トラフィックストーム制御は、ブリッジドメインレベルで構成されたフラッド設定によって動作が異なります。不明なユニキャストトラフィックに対してハードウェアプロキシを使用するようにブリッジドメインが設定されている場合、トラフィックストーム制御ポリシーがブロードキャスト トラフィックとマルチキャストトラフィックに適用されます。しかし、ブリッジドメインが不明なユニキャストトラフィックをフラッディングするように設定されている場合、トラフィックストーム制御はブロードキャスト トラフィック、マルチキャストトラフィック、および未知のユニキャストトラフィックに適用されます。

    エンドポイントの移動抑制、エンドポイントループ保護、および不正エンドポイント制御の選択

    Cisco ACI は、エンドポイントがポート間でかなり頻繁に移動する場合に役立つ、以下の 3 つの機能を備えています。

        エンドポイント移動抑制機能:「エンドポイント保持ポリシー(Endpoint Retention Policy)」が適用されるブリッジドメインから、「移動回数(Move Frequency)」として構成されます。この回数は、ブリッジドメイン内のエンドポイントの合計移動回数を表します。この回数を超過すると、Cisco ACI は該当ブリッジドメインでのエンドポイント学習を停止します。なお、Cisco ACI にはハードウェアの重複排除機能があるため、単一のエンドポイント移動では移動抑制機能反応しません。移動抑制機能は、ループにありがちな、複数のエンドポイントが移動する場合に有効です。

        エンドポイントループ保護機能:グローバルレベルで構成される機能です。この機能はすべてのブリッジドメインに対して有効になります。あまりにも多くの移動が検出された場合に備えて、ループの原因となっているリンクのいずれか(どれかは選択できません)を Cisco ACI が一時停止するか、ブリッジドメインでの学習を無効にするかを選択できます。

        不正エンドポイント制御機能:グローバル設定であるという点ではエンドポイントループ保護機能と似ていますが、「ループ」が検出されると、Cisco ACI はエンドポイントの隔離のみを行います。つまり、あるポート上の VLAN に属するエンドポイントを凍結し、そのエンドポイントの学習を無効にします。

    エンドポイント移動抑制機能は、エンドポイントの合計移動回数をカウントします。そのため単一のリンク フェールオーバーでも、複数のエンドポイントがあり、カウントが指定の移動回数(デフォルトは 256 回)を超えた場合、移動抑制機能により学習が無効化されることもあります。アクティブリンク(またはアクティブパス)がダウンした結果フェールオーバーが発生した場合、リンクのダウンにより以前アクティブ状態だったパスのエンドポイントテーブルが消去されるため、学習の無効化が問題になることはありません。一方、以前からアクティブ状態になっているリンクがダウンすることなく新しいリンクがアクティブリンクとなった場合、エンドポイント抑制機能により、指定の条件値(256 エンドポイント)を超過した後に学習が無効化されます。エンドポイント移動抑制機能を使う場合は、1 つのパス(リンク、ポートチャネル、または vPC)に関連付けられたアクティブなエンドポイントの最大数と一致するように移動回数を調整してください。このシナリオでは、エンドポイントループ保護と不正エンドポイント制御の 2 つの機能が移動回数をカウントする方法は(移動抑制機能と)異なるため、各機能で特別な調整を行う必要はありません。

    30 はエンドポイントループ保護機能と不正エンドポイント制御機能が、サーバの誤構成またはループに対応する仕組みを示しています。この図では、外部レイヤ 2 ネットワークが Cisco ACI ファブリックに接続されています。何らかの誤構成により、H1 からのトラフィック(たとえば ARP パケットなど)がループしたとします。ACI で移動回数が条件を超えるエンドポイントが 1 つしかない場合、エンドポイント移動抑制ではなく、エンドポイントループ保護と不正エンドポイント制御により学習が無効化されます。Cisco ACI リーフに備わっている重複排除機能は、移動回数の条件値を超えたのが単一のエンドポイント(おそらく、ループではなく NIC チーミングの誤構成)なのか、複数のエンドポイント(ループの発生)なのかに関係なく、各エンドポイントの移動回数のカウントを可能にすることでループを検出します(図の右側)。

    図 30.     Cisco ACI リーフによるエンドポイント移動回数のカウント

    Related image, diagram or screenshot

    Cisco ACI ファブリックが特定の時間間隔内に指定された回数を超えて移動するエンドポイントを検出した場合、エンドポイントループ保護機能が働きます。エンドポイントの移動回数が指定の条件値を超えた場合、エンドポイントループ保護機能により、以下の 2 つのアクションのいずれかが実行されます。

        ブリッジドメイン内のエンドポイント学習を無効にする。

        エンドポイントが接続されているポートを無効にする。

    デフォルトのパラメータ値は以下のとおりです。

        ループ検出間隔:60

        ループ検出乗数:4

        アクション:ポート無効化

    これらのパラメータが表しているのは、エンドポイントの移動回数が 60 秒以内に 4 回を超えると、エンドポイントループ保護機能が指定されたアクション(ポートの無効化)を実行する、ということです。

    エンドポイントループ保護機能は、[ファブリック(Fabric] > [アクセスポリシー(Access Policies] > [グローバルポリシー(Global Policies] を選択して有効化します。

    自動エラー障害回復を構成しておくと、エンドポイントのループ保護イベント中に実行されたアクションによってポートが無効化された場合、指定された期間の経過後に無効ポートが再度有効化されます。このオプションを有効にするには、[ファブリック(fabric] > [アクセスポリシー(Access Policies] > [グローバルポリシー(Global Policies] を選択し、[EPの頻繁な移動(Frequent EP Moves] を選択します。

    不正エンドポイント制御は Cisco ACI 3.2 で導入された機能です。ポート間を高頻度で移動している MAC アドレスまたは IP アドレスが存在する場合に役立ちます。不正エンドポイント制御機能を使用すると、不審な動作を取っているエンドポイント(MAC アドレスと IP アドレス)のみが隔離されます。つまり Cisco ACI は、該当エンドポイントについて学習を無効化し、一定時間その TEP とポートを固定します。また不正エンドポイント制御機能は、問題のあるエンドポイントを簡単に特定できるよう、障害発生通知も行います。不正エンドポイント制御が有効になっている場合、ループ検出とブリッジドメイン移動回数は有効になりません。この機能は、サイト内で動作します。

    不正エンドポイント制御機能は L2 ループを停止しませんが、エンドポイントを隔離することで、COOP コントロールプレーンに対するループの影響を軽減します

    不正エンドポイント制御は、エンドポイントフラッピングを引き起こす可能性のある、サーバの誤構成が検出された場合に役立ちます。この場合、Cisco ACI は、サーバポートを無効にするのではなく、移動回数が条件を超えたエンドポイントの学習を(エンドポイントループ検出機能と同様に)停止します。そして管理者が構成を検証できるよう、問題のエンドポイントの IP に関する障害発生通知を行います。

    本書執筆時点では、不正エンドポイント制御を有効にすることが推奨されています。

    注:Cisco ACI 3.2 から以前のリリースにダウングレードする場合は、この機能を無効にする必要があります。

    31 は、不正エンドポイント制御を有効にする方法を説明しています。

    図 31.     不正エンドポイント制御機能をシステム設定で有効化

    Related image, diagram or screenshot

    エラーによって無効化された場合の復旧ポリシー

    ループ保護構成を定義する際には、エラー発生によって無効化されたポートを有効に戻すための時間も定義してください。

    この定義は、[エラーによって無効化された場合の復旧ポリシー(Error Disabled Recovery Policy] で行います。方法については図 32 を参照してください。

    図 32.     エラーによって無効化された場合の復旧ポリシー

    Related image, diagram or screenshot

    スパニングツリープロトコルに関する考慮事項

    Cisco ACI ファブリックは本来、スパニングツリープロトコルを実行しませんが、EPG 内で BPDU を転送できます。

    BPDU のフラッディング範囲は、データトラフィックのフラッディング範囲とは異なります。未知のユニキャストトラフィックとブロードキャスト トラフィックは、ブリッジドメイン内にフラッディングされます。スパニングツリープロトコル BPDU は、特定の VLAN カプセル化(FD_VLAN とも呼ばれる)内にフラッディングされます。そして多くの場合は EPG VLAN と一致します。

    33 は、外部スイッチがファブリックに接続している例です。

    図 33.     ファブリック BPDU のフラッディング動作

    Related image, diagram or screenshot

    リーフから受信した BPDU トラフィックは、コントロールプレーンの QoS グループに属するものとして分類され、この分類がポッド全体で保持されます。ポッド間で BPDU を転送する場合は、dot1p preserve またはテナント "infra" CoS 変換が構成されていることを確認してください。

    スパニングツリートポロジの変更範囲の最小化

    スパニングツリーの設計では、外部レイヤ 2 ネットワークの転送トポロジの変更に起因するスパニングツリートポロジ変更通知(TCN)によって、Cisco ACI ファブリック内のブリッジドメインのエンドポイントが不必要に消去されないように配慮してください

    Cisco ACI がブリッジドメイン内の VLAN TCN BPDU を受信すると、そのブリッジドメイン内の該当 VLAN に関連付けられているすべてのエンドポイントが消去されます。

    そのため EPG 内では、スイッチ導入ネットワークへの接続に使う VLAN と、ファブリックのリーフに直接接続されたエンドポイントに使用する VLAN とは異なっている必要があります。2 つの VLAN が異なることで、スパニングツリー TCN イベントにより削除されるエンドポイントを、スイッチ導入ネットワークで学習されたものに限定できます。

    スパニングツリー BPDU ガード

    物理サーバに接続されているポートには BPDU ガードを構成することをお勧めします。これにより、外部スイッチが物理サーバの代わりに接続された場合、ポートを error-disabled(エラーによる無効化)状態にできます。

    また、仮想ポート(VMM ドメイン内)に BPDU ガードを構成することをお勧めします。

    レイヤ 2 PDU を転送するための仮想スイッチの構成

    ループを検証して防止するよう Cisco ACI ファブリックを構成できますが、仮想サーバ内の仮想スイッチがレイヤ 2 PDU を転送しなければ、なおもループが意図せず発生する可能性があります。トラフィックストーム制御、不正エンドポイント検出などの Cisco ACI 機能によりループの影響が軽減されますが、仮想スイッチが適切に構成されていれば、ループを完全に回避できます。

    仮想スイッチが BPDU を破棄しないようにするには、こちらの記事(https://kb.vmware.com/s/article/2047822)を参照してください。記事内で仮想スイッチ構成 Net.BlockGuestBPDU の変更方法が説明されています。

    上記を構成し、Cisco ACI VLAN 単位の MCP を有効にすると、仮想サーバがループを発生させる可能性が大幅に低下します。

    レイヤ 2 ループを軽減するためのベストプラクティス

    まとめると、ループ発生の可能性とファブリックへループの影響を軽減するには、次の措置が必要です。

        グローバル不正エンドポイント制御Rouge Endpoint Controlを有効にして、Cisco ACI ファブリックに対するループ(および誤った NIC チーミング構成)の影響を軽減する。

        ファブリックを識別するためのキーを入力し、管理状態を enabled に変更することにより、ファブリック アクセス グローバル ポリシーで MCP を有効にする。VLAN 単位の MCP も有効にする。

        サーバに直接接続された Cisco ACI リーフインターフェイスについて、以下を行う

        インターフェイスで MCP が有効になっているか確認する(デフォルトの MCP ポリシーでは通常、MCP が有効になっています。そのため、MCP をグローバルで有効にすると、MCP がインターフェイスで有効になります)。

        スパニングツリー BPDU ガードが構成されていることを確認する

        今日利用されているほとんどの仮想ホストは LLDP CDP の両方をサポートしており、LLDP がデフォルトでオンになっているため、ホストの機能に合致するプロトコルが Cisco ACI リーフインターフェイスに構成されていることを確認する。

        ループが発生しない外部レイヤ 2 スイッチに(通常は 1 つの vPC を経由して)接続された Cisco ACI インターフェイスについて、以下を行う。

        Cisco ACI に接続されたインターフェイスで BPDU をフィルタリングし、ACI ファブリック上の TCN の影響を制限するように外部スイッチを構成する。

        MCPBPDU ガード、および場合によってはトラフィックストーム制御を用いて、Cisco ACI インターフェイスを構成する。外部 L2 スイッチから BPDU をフィルタリングすると、スパニングツリープロトコルによるループ防止を行えなくなります。ただし MCP BPDU ガードがこの vPC と他のすべて Cisco ACI インターフェイスに構成されている場合、別のスイッチがファブリックに追加されると、そのスイッチのポートが error-disabled 状態になります

        接続されたネットワークデバイスの機能と合致するプロトコルが ACI リーフインターフェイスに構成されていることを確認する(現在では、ほとんどのネットワークデバイスが LLDP CDP の両方をサポートしているため)。

        複数のレイヤ 2 パスを介して外部レイヤ 2 スイッチに接続された Cisco ACI インターフェイスについて、以下を行う。

        同じ L2 ネットワークに接続されたポートに同一 VLAN をマッピングした EPG を構成することにより、外部ネットワークの BPDU ACI により転送されるよう、Cisco ACI を構成する

        外部レイヤ 2 スイッチがスパニングツリープロトコルを実行しているか確認する

        レイヤ 2 ネットワークに接続された Cisco ACI リーフポートでは、BPDU Guard BPDU フィルタも有効化しない。

        外部ネットワーク上で実行されているスパニングツリープロトコルにより、冗長リンクをブロッキングモードに移行させる

        同じ Cisco ACI インターフェイスで MCP を動作させておく。スパニングツリープロトコルが機能している場合、MCP パケットは ACI にループバックされないため、スパニングツリープロトコルによってトポロジでのループ発生が防止されます。スパニングツリープロトコルが機能停止すると、MCP フレームが転送されます。このエラー発生を受け、MCP がリンク全体を無効にします

        ループが発生した場合の別の軽減策として、トラフィックストーム制御も構成する。接続されたネットワークデバイスの機能と合致するプロトコルが ACI リーフインターフェイスに構成されていることを確認してください(現在では、ほとんどのネットワークデバイスが LLDP CDP の両方をサポートしているため)。

    グローバル構成

    このセクションでは、ベストプラクティスと考えられている「グローバル」設定の一部を紹介します。

    以下の設定がすべてのテナントに適用されます。

        使用可能なスパインから 2 つの BGP ルートリフレクタを構成します。

        [リモートエンドポイント学習の無効化(Disable Remote Endpoint Learning]:ファブリックリーフのエンドポイントとボーダーリーフのエンドポイントが通信した結果としてボーダーリーフのリモートテーブルに古いエントリが残ることを防ぎます。

        [サブネットチェックの適用(Enforce Subnet Check] の有効化:ブリッジ ドメイン サブネットに属する IP アドレスが設定されたエンドポイントを Cisco ACI が学習する構成です。リーフが関連付けられている VRF にリモートエンドポイントの IP アドレスが属する場合のみ、リモートエンドポイントの IP アドレスをリーフが学習します。

        IP エージングの有効化:この構成は、同じ MAC アドレスに関連付けられている可能性のある個々の IP アドレス(デバイスが NAT を実行し、Cisco ACI に接続されている場合など)に対しエージング処理を行う上で役立ちます

        [ドメイン検証の適用(Enforce Domain validation] の有効化:ファブリック アクセス ドメイン構成と EPG 構成が VLAN の観点から正しいか検証するため、構成ミスを防止できます。

        本書執筆時点で、KubernetesK8s)または Red Hat OpenShift コンテナプラットフォームの導入を計画している場合は、Opflex クライアント認証Opflex Client Authenticationの選択を解除する必要があります。

        VLAN 単位の MCP をグローバルに有効化する:あるリンクで MCP を使用すると、Cisco ACI がネイティブ VLAN のリンクごとに 1 つの MCP PDU を送信するのではなく、VLAN ごとに MCP PDU を送信するようになります。

        [エンドポイントループ保護(Endpoint Loop Protection] または [不正エンドポイント検出(Rogue Endpoint Detection] のいずれかの有効化:ループが発生しているブリッジドメインでデータプレーン学習を無効にするか、ポート間での MAC アドレスや IP アドレスの移動回数が多すぎるエンドポイントを隔離することで、ファブリックに対するループの影響を制限できます

        IS-IS 再配布ルートのコストを既定値の 63 より小さい値に構成する。

        QoS:ポッドが 1 つのファブリックを導入している場合でも、単一ポッドの qos-groups と、導入当初から VXLAN トラフィックの外部ヘッダーに割り当てられる DSCP 値との間で Quality of ServiceQoS)のマッピングを構成することをお勧めします。これにより、たとえばマルチポッドでファブリックを拡張する場合などに発生し得る問題を回避できます。推奨の設定については、以下のリンクを参照してください。

    https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/kb/b_Multipod_QoS.html

    34 は、グローバルシステム設定の構成方法を示しています。

    図 34.     システム設定の推奨構成

    Related image, diagram or screenshot

    リモートエンドポイント学習の無効化

    リモートエンドポイントは、サーバが配置されているリーフとは異なるリーフ上のサーバの IP アドレスです。Cisco ACI リーフでは、サーバからファブリックにトラフィック送信する側の Ingress リーフでポリシー CAM フィルタリングを行う最適化ために、リモートエンドポイントの IP アドレスを学習します。

    VRF の適用方向が Ingress (デフォルト)に構成されている場合、Cisco ACI は、エンドポイントが存在するリーフ(注:ボーダーリーフではない)でフィルタリングが行われるようにすることで、ファブリックと L3Out 間のトラフィックに対するポリシー CAM フィルタリングを最適化します。これはファブリックリーフと外部のエンドポイントの間の全通信に関するすべてのポリシー CAM エントリを保存する必要がある場合に、ボーダーリーフがポリシー CAM フィルタリングのボトルネックにならないようにするための措置です。

    VRF の適用方向が Ingress 向けに構成されている場合、ボーダーリーフは、L3Out 経由で外部にトラフィックを送信しているサーバの送信元 IP アドレスを学習しません。ボーダーリーフは引き続き、別のリーフ上のサーバと、ボーダーリーフに接続されたサーバとの間のトラフィックからサーバの送信元 IP アドレスを学習します。特定のトラフィックパターンでは、これによりボーダーリーフのエントリに古い情報が残ってしまうことがあます。たとえば、リモートサーバが別のリーフに移動済みであっても、あるリーフに関連付けられたリモートサーバの IP アドレスのエントリをボーダーリーフが持ったままとなる場合があります。

    本書では、以下のシナリオについて説明します。

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-739989.html

    [リモートエンドポイント学習の無効化(Disable Remote Endpoint Learning] 構成で上述の問題が解決することは、すでに「サーバ接続にボーダーリーフを使用」セクションで説明しました。

    [リモートエンドポイント学習の無効化(Disable Remote Endpoint Learning] 構成オプションでは、Ingress ポリシーが有効になっている VTF インスタンスを持つボーダーリーフスイッチでのみ、リモートエンドポイントの IP アドレスの学習を無効化できます。この構成オプションでは、エンドポイントの MAC アドレスの学習は変更されません

    本書執筆時点では、コンピューティング用リーフスイッチとしても使用されるボーダーリーフスイッチを経由して外部に接続するトポロジを導入し、VRF インスタンスが Ingress ポリシー(デフォルト)に構成されている場合は、ボーダーリーフスイッチでのリモートエンドポイント学習を無効にすることを推奨しています。

    Cisco ACI のバージョンに合わせ、以下のいずれかの手順で、ボーダーリーフのリモート IP アドレスエンドポイント学習を無効にできます。

        [ファブリック(Fabric] > [アクセスポリシー(Access Policies] > [グローバルポリシー(Global Policies] > [ファブリック全体の設定ポリシー(Fabric Wide Setting Policy] で、[リモートEP学習の無効化(Disable Remote EP Learn] を選択

        [システム(System] > [システム設定(System Setting] > [ファブリック全体設定(Fabric Wide Setting] > [リモート EP 学習の無効化(Disable Remote EP Learning]

    このオプションを適用しても、リモート マルチキャスト ソースの IP アドレスは引き続き学習されます。その結果、サーバがユニキャストトラフィックとマルチキャストトラフィックの両方を送信してから移動すると、ユニキャストトラフィックはボーダーリーフのエントリを更新しないため、ACI 3.22)より前のバージョンの Cisco ACI では、古いエントリが残ってしまう場合があります。

    このオプションは、第 1 世代および第 2 世代のリーフの両方に役立ちます。

    注:Cisco ACI におけるデータプレーン学習の構成」セクションには、データプレーン学習調整に使用する構成オプションの詳細情報が掲載されています。

    サブネットチェックの適用(Enforce Subnet Check

    Cisco ACI では、エンドポイントの IP アドレスのデータプレーン学習の制限に関して、 以下の 2 種類の類似した機能を提供しています

        IP アドレスの学習を、BD 単位でサブネットに限定

        [サブネットチェックの適用(Enforce Subnet Check] のグローバル設定ノブ

    [サブネットチェックの適用(Enforce Subnet Check] を有効にすると、IP アドレスがブリッジ ドメイン サブネットに属するエンドポイントのみ Cisco ACI 学習しリーフ関連付けられた VRF 属する IP アドレス範囲のリモートエントリをリーフのみを学習します。これにより、VRF のブリッジドメインのサブネットとして構成されていない IP アドレスの学習を防止できます

    このオプションは、[システム設定(System Settings] > [ファブリック全体設定(Fabric Wide Settings] から選択できます。詳しくは以下の URL を参照してください

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-739989.html

    [サブネットチェックの適用(Enforce Subnet Check] を有効にすると、一旦すべてのリモートエントリが消去されます。これによりリモートエントリの学習が短時間停止されます。スパインプロキシのエントリは消去されないため、構成変更中でもトラフィック転送は継続されます。

    注:[サブネットチェックの適用(Enforce Subnet Check] を有効にしても、通信は断絶しません。ただし VRF に属さないサブネットからのトラフィックをネットワークが処理している場合に機能を有効にすると、これらのトラフィックフロー中断されます

    不正エンドポイント制御

    不正エンドポイント制御機能については「エンドポイントの移動抑制、エンドポイントループ保護、および不正エンドポイント制御の各機能を選択」セクションで説明しています。

    不正エンドポイント制御機能は、サーバ NIC チーミング構成を誤った場合など、サーバ側での設定ミスに対して役立ちます。

    このオプションは、[システム設定(System Settings] > [エンドポイント制御(Endpoint Controls] から有効にする必要があります。エンドポイントループ保護を構成し、ポートを無効にした場合、error-disabled 状態復旧ポリシーを構成することもお勧めします。これは、[ファブリック(Fabric] > [外部アクセスポリシー(External Access Policy] > [ポリシー(Policies] > [グローバルポリシー(Global Policies] > [エラー発生による無効化状態からの復旧ポリシー(Error Disabled Recovery Policy] から構成できます。

    IP エージングの有効化

    この構成は、同じ MAC アドレスに関連付けられている可能性のある個々の IP アドレス(デバイスが NAT を実行し、Cisco ACI に接続されている場合など)に対しエージング処理を行う上で役立ちます。このオプションは、[システム設定(System Settings] > [エンドポイント制御(Endpoint Controls] から選択できます。詳しくは以下の URL を参照してください。

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-739989.html

    ドメイン検証の有効化

    Cisco ACI には、EPG で使用されている VLAN が構成済み AEP と一致して、重複がないことなどを確認する機能があります

    この機能は、[システム(System] > [ファブリック全体設定(Fabric Wide Settings] > [ドメイン検証の適用(Enforce Domain Validation] から有効化できます。

    テナントネットワークの設計

    Cisco ACI ファブリックでは、VXLAN ベースのオーバーレイを使用して、「テナント」と呼ばれる複数の独立した転送ドメインおよび管理ドメイン間で同じインフラを共有できる抽象的概念を採用しています。図 35 は、この概念を説明しています。

    図 35.     ファブリックを論理的に分割した「テナント」

    Related image, diagram or screenshot

    テナントの中心的機能は、図 35 に示す開発環境のように、構成の管理を他のテナント内に格納された構成から分離する、管理ドメイン機能(1 つのテナントはあるエンティティに属する構成の集合)です。

    テナント内の VRF インスタンスとブリッジドメインを使用することで、データプレーン分離機能も使用できるようになります。図 36 は、あるテナントの構成要素間の関係を表しています。

    図 36.     テナント、プライベートネットワーク(VRF インスタンス)、ブリッジドメイン、および EPG の階層

    Related image, diagram or screenshot

    テナントのネットワーク構成

    従来のネットワーク インフラストラクチャにおける構成手順は次のとおりです。

        アクセスレイヤとアグリゲーションレイヤで複数の VLAN を定義する。

        VLAN にサーバポートを割り当てるためにアクセスポートを構成する。

        アグリゲーションレイヤ スイッチで VRF インスタンスを定義する。

        VLAN SVI を定義し、これらを VRF インスタンスにマッピングする。

        SVI のホット スタンバイ ルータ プロトコル(HSRP)のパラメータを定義する。

        アクセスコントロールリスト(ACL)を作成して適用し、サーバ VLAN 間のトラフィックおよびサーバ VLAN からコアに向かうトラフィックを制御する。

    Cisco ACI で同様の構成を行うには、以下の手順を実行する必要があります。

        テナントと VRF インスタンスを作成する。

        従来のフラッディングのために、または Cisco ACI で利用可能な最適化された構成を使用するために構成する 1 つ以上のブリッジドメインを定義する。

        各サーバセキュリティゾーンに対して EPG を作成する(この EPG は、前の構成手順での VLAN 1 1 でマッピングできます)。

        デフォルトゲートウェイ(Cisco ACI ではサブネットと呼ばれます)をブリッジドメインまたは EPG の一部として構成する。

        コントラクトを作成する。

        EPG とコントラクトの関係を構成する。

    ネットワーク中心型(Network Centric)設計とアプリケーション中心型(Application Centric)設計

    このセクションでは、Cisco ACI テナントの構成方法を定義・分類する際によく使用される 2 つの用語を説明します。

    単純なトポロジを導入する場合は、1 つ以上のブリッジドメインと EPG を作成し、ブリッジドメイン、EPGVLAN 1 1 1 でマッピングできます。この手法は、一般に「ネットワーク中心型設計」と呼ばれています。

    ネットワーク中心型設計は、Cisco ACI がブリッジングのみを提供するレイヤ 2 デザインや、Cisco ACI がルーティングおよびサーバ向けデフォルトゲートウェイとしても機能するレイヤ 3 デザイン可能です

    ブリッジドメインごとにより多くのセキュリティゾーンを持つ複雑なトポロジを作成する場合は、ブリッジドメインをさらに多くの EPG で分割し、コントラクトを使用して EPG 間の ACL フィルタリングを定義することもできます。この設計手法は、一般に「アプリケーション中心型設計」と呼ばれています。

    これらの用語は、Cisco ACI テナントの構成方法の文脈でよく使用されます。しかし、一方だけに限定されるような制約はありません。ある 1 つのテナントにおいてネットワーク中心型設計のブリッジドメインを構成し、他のブリッジドメインと EPG をアプリケーション中心型として構成することもできます。

    37 は、これら 2 つの概念を表しています。

        ネットワーク中心型設計では、ブリッジドメイン、EPG VLAN がそれぞれ 1 1 でマッピングされます。

        アプリケーション中心型設計では、ブリッジドメインが「web」や「app」などのアプリケーション層(あるいは、より広義のセキュリティ領域)を表す EPG に分割されます。

    図 37.     ネットワーク中心型設計とアプリケーション中心型設計

    Related image, diagram or screenshot

    ネットワーク中心型トポロジの導入

    単純なセグメント化を採用してトポロジを導入する必要がある場合は、1 つ以上のブリッジドメインと EPG を作成し、ブリッジドメイン、EPGVLAN 1 1 1 でマッピングできます

    その後、不明なユニキャストフラッディング(Unknown Unicast Floodingモードのブリッジドメインを構成できます(詳しくは「ブリッジドメイン設計時の考慮事項」を参照してください)。

    Cisco ACI オブジェクトモデルでは、ブリッジドメインは VRF インスタンスの子であるため、純粋なレイヤ 2 ネットワークが必要な場合でも、VRF インスタンスを作成して、その VRF インスタンスにブリッジドメインを関連付ける必要があります。

    注:Cisco ACI でオブジェクトをインスタンス化してハードウェアにプログラムするよう構成または設計する場合、オブジェクトモデルの要件を満たす必要があります。参照が存在しない場合、オブジェクトはインスタンス化されません。

    サーバのデフォルトゲートウェイ

    この設計では、デフォルトゲートウェイを Cisco ACI ファブリックの外側に構成することも、Cisco ACI をデフォルトゲートウェイに構成することもできます。

    Cisco ACI をサーバのデフォルトゲートウェイにするには、ブリッジドメインに「サブネット」を 1 つ構成し、ブリッジドメインで IP ルーティングを有効にする必要があります。

    Cisco ACI をデフォルトゲートウェイにしてトラフィックのルーティングに Cisco ACI を使用する場合、Cisco ACI がサーバの IP アドレスをどのように学習し、マッピングデータベースに格納するかを最低限理解する必要があります。

    デフォルトゲートウェイを Cisco ACI に移行する前に、以下の種類のサーバが存在することを確認してください。

        アクティブ - アクティブ送信ロード バランシング チーミングが構成されたサーバ

        複数のサーバが同じ送信元 IP アドレスを使用してトラフィックを送信するサーバクラスタ

        Microsoft ネットワーク ロード バランシング サーバNLB

    この種のサーバが存在する場合は、ブリッジドメインでデータプレーン学習を調整する方法を理解してから、Cisco ACI をデフォルトゲートウェイに指定してください。

    エンドポイントグループへのサーバの割り当て

    サーバをブリッジドメインに接続するには、エンドポイントグループを定義し、各リーフ、ポート、または VLAN の属する EPG を定義する必要があります。実行するには次の 2 つの方法があります。

        テナント、アプリケーション プロファイル、EPG、またはスタティックポートから行う。

        ファブリックアクセス、AAEP、またはアプリケーション EPG から行う。

    外部へのレイヤ 2 接続

    ブリッジドメインが VLAN 1 1 でマッピングされているため、ネットワーク中心型設計に従えば簡単に Cisco ACI を外部レイヤ 2 ネットワークに接続できます。さらに、ブリッジドメイン経由で複数のレイヤ 2 ドメインを結合すれば、ループが発生するリスクを軽減できます。

    1 つの vPC が複数の VLAN を使用して 1 つの外部レイヤ 2 ネットワークに接続することができ、各 VLAN は、別のブリッジドメインおよび EPG にマッピングされます。

    このトポロジの主な設計上の考慮事項は次のとおりです。

        外部レイヤ 2 ネットワークへの接続では BD 1 つあたり 1 つの EPG のみを使用することで、ループ発生を回避します。ネットワーク中心型設計では BD 1 つあたり 1 つの EPG しか存在しないため、この点は簡単に実現できます。

        マッピングデータベース内のレイヤ 2 エントリの欠落によるトラフィックのブラックホール化を回避するには、ハードウェアプロキシではなく、不明なユニキャストフラッディング(Unknown Unicast Floodingのためにブリッジドメインを構成します。

        マッピングデータベースに TCN BPDU が与える影響を抑制します

    マッピングデータベースに対する TCN BPDU の影響を抑えるには、次の 2 項目のうちいずれかを行います。

        外部ネットワークが本質的にループを発生させない方法(たとえば 1 個の vPC を経由させるなど)で Cisco ACI に接続する場合、外部ネットワークからの BPDU をフィルタリングします。

        Cisco ACI への外部ネットワーク接続でループの発生をスパニングツリープロトコルで防いでいる場合は、Cisco ACI に直接接続されている(かつ、同じ EPG に属す)サーバの使用する VLAN とは異なる VLAN を外部レイヤ 2 ネットワークの EPG に使用することで、マッピングデータベースへの TCN BPDU の影響を抑えます。

    詳しくは「既存のネットワークへの接続と移行設計」および「外部スイッチへの EPG の接続」セクションを参照してください。

    ACL フィルタリング

    単純なネットワーク中心型の Cisco ACI の導入当初は、すべて EPG が通信可能な、すべてのトラフィックを許可する(「permit-any-any」タイプの)構成をお勧めします。実現するには、次の 3 つの方法があります。

        VRF を非強制モードUnenforced Modeに構成

        優先グループPreferred Groupを有効化し、すべて EPG を優先グループに配置

        permit-any-any」タイプのコントラクトをプロバイドコンシュームする vzAny を構成

    38 は、これら 3 つの方法を表しています。

    最初の方法では、すべて EPG が相互に通信できるように VRF 全体を構成します。

    優先グループを使用すると、コントラクトがなくても通信可能になる EPG を指定できます。また、優先グループの外部に EGP を配置することもできます。優先グループの外部に配置された EGP のサーバが優先グループ内の EGP にトラフィックを送信できるようにするには、EGP 間にコントラクトを構成する必要があります。

    3 番目の方法では、vzAnyVRF EPG コレクションとも呼ばれます)を permit-any-any コントラクトのプロバイダーとコンシューマに設定します。

    2 番目と 3 番目の方法では、EPG 間に特化したコントラクトを使用した構成への移行が容易になるため、最も柔軟性に秀でています。

        優先グループを使用した場合は、次のフェーズで、優先グループの外部に EPG を移動し、コントラクトを構成できます。

        vzAny を使用した場合、ファイアウォールにセキュリティルールを適用するには、次のフェーズで許可の代わりにリダイレクトをファイアウォールに追加します。あるいは、EPG 間のフィルタリングを徐々に追加するために、ホワイトリストの後で deny を使用して、EPG 間に特化したコントラクトを追加できます。これが可能なのは、Cisco ACI では、EPG 間に特化したルールが vzAny 間ルールよりも優先されるためです。

    コントラクトについて詳しくは、「コントラクト設計時の考慮事項」セクションを参照してください。

    図 38.     ネットワーク中心型設計によるコントラクトフィルタリング

    Related image, diagram or screenshot

    セグメント化によるテナント設計の実装(アプリケーション中心型)

    複数の EPG でブリッジドメインをセグメント化した Cisco ACI 設計を実装する場合、以下に示す設計上の考慮事項が適用されます。

        トポロジに導入するセキュリティゾーンの数を定義すること。

        Cisco ACI をデフォルトゲートウェイとして使用して、ブリッジドメインをハードウェアプロキシ用に設定することで不明なユニキャストのフラッディングを最適化します。ブリッジドメインが外部レイヤ 2 ネットワークに接続されている場合は、代わりに不明なユニキャストフラッディング(Unknown Unicast Flooding)(Unknown unicast floodingオプションを使用します

        Cisco ACI がサーバのデフォルトゲートウェイである場合、NIC チーミングがアクティブ/アクティブとなる場合や、クラスタ化されたサーバ、および MNLB サーバなどの特殊なケースに対してデータプレーン学習を調整する方法を把握しておくこと。

        EGP とコントラクトの検証済みのスケーラビリティ限度値を念頭に置いて、セキュリティゾーンの数に基づきブリッジドメインあたりの EPG をなるべく細かく区分けすること。

        同一リーフ/同一ブリッジドメイン内の EPG ごとに、異なる 1 つの VLAN(または異なる複数の VLAN)を使用すること。具体的には、同じブリッジドメイン内の EPG ごとに異なる 1 つの VLAN を使用してください。同じリーフ上の異なるブリッジドメインで VLAN を再利用できます(「EPG VLAN のマッピング」セクションで詳しく説明しています)。

        1 つのリーフで使用される EPG BD の合計数が検証済みの拡張性限度を下回るよう注意すること。本書執筆時点では、リーフあたりの EPG BD の最大合計数は 3,960 個です。

        許可、拒否、およびサービスグラフリダイレクト(オプション)を使用して EPG 間のフィルタリングルールを正しく定義するために、コントラクトルールの優先順位を確実に理解すること。

        vzAny とコントラクトを併用することにより、VRF における EPG 間のトラフィックに対するデフォルトのアクションを、許可かファイアウォールへのリダイレクトに変更できます。

        コントラクトフィルタのポリシー CAM 圧縮を構成すること。

    EPG およびブリッジドメインに関する考慮事項

    アプリケーション中心型設計に移行する場合は、まずテナントネットワークでどれくらい多くのセキュリティゾーンを定義する必要があるかを把握します。

    たとえば 39 のように、3 つのセキュリティゾーン(IT、非 IT、共有サービス)が必要であると仮定します。

    図 39.     ネットワーク中心型設計からアプリケーション中心型設計への移行

    Related image, diagram or screenshot

    次の 2 つの手法に従って、セキュリティゾーンを導入できます。

        単純に BD1 BD2BD3 などに IT-EPG を追加すると、EPG の合計数が、セキュリティゾーンの数とブリッジドメインの数を掛け合わせた数に等しくなります(図 40)。

        ブリッジドメインをできれば 1 つのブリッジドメインに結合し、3 つの EPG をその 1 つのブリッジドメインに追加することで、ブリッジドメインの数を減らします(図 41)。

    図 40.     各ブリッジドメイン(BD )にセキュリティゾーンと同じ数の EPG を作成

    Related image, diagram or screenshot

    図 41.     ブリッジドメイン数の削減と 3 つの EPG の作成

    Related image, diagram or screenshot

    既存のブリッジドメインへの EPG の追加

    既存のブリッジドメインに追加で EPG を作成する手法は、セキュリティゾーンを追加するだけで、既存のレイヤ 2 設計またはブリッジドメイン構成を維持できるという利点があります。

    ブリッジドメインに EPG を追加すると、主に次のような規模と管理性に関連するデメリットがあります。

        本書執筆時点では、リーフあたりの EPG BD の検証済み合計数は 3,960 個です。

        しかし EPG とコントラクトの数は大幅に増加する可能性もあります。

    ブリッジドメインが多い場合は、たいてい EPG も多くなります。すべて EPG すべて EPG と通信する必要がある場合、ポリシー CAM エントリのハードウェアコンシューム量は、すべて EGP ペアを定義する必要があることから、「EPG ×EPG – 1×フィルタ数」となります。

    検証済みスケーラビリティガイドによる「検証済みの設計」では、1,000 個の EPG によりコンシュームされる 1 つのコントラクトを、1 つの EPG によりプロバイドします。また、同じコントラクトをプロバイドする EPG の検証済み最大数は 100 個であり、同じコントラクト(複数の EPG プロバイド)をコンシュームする EPG の最大数も 100 個です。

    ブリッジドメインの結合

    ブリッジドメインを 1 つに結合する手法により、EPG とコントラクトの数は管理しやすくなりますが、すべて EPG VLAN が同じブリッジドメインに存在するため、場合によっては、Cisco ACI が提供するフラッディング最適化機能を使用する必要があります。

    カプセル化範囲限定のフラッディング(Flood in Encapsulation)は -EX リーフ以降で使用できる機能です。この機能により、フラッディング対象のドメインを、トラフィックを受信する個々の VLAN に限定できます。これは、フラッディング範囲を EPG に限定するのとほぼ同等です。

    カプセル化範囲限定のフラッディングが構成された結合済みブリッジドメインを基にした設計には、以下の特徴があります。

        Cisco ACI は、フラッディングされるすべての未知のユニキャストトラフィックおよびマルチキャスト トラフィック、ブロードキャスト トラフィック、ならびにコントロール プレーン トラフィックの伝送範囲を同じ VLAN 内に限定します。

        Cisco ACI は、異なる VLAN 内のサーバ間でトラフィックを転送するために、プロキシ ARP を実行します。このため、サーバが同じサブネット内に存在する場合でも、EPG 間(または異なる VLAN 間)のトラフィックがルーティングされます。

        本書執筆時点では、トラフィック伝送が VLAN に基づき行われる場合、カプセル化範囲限定のフラッディングは、VMM ドメインとも連携します。将来のリリースでは、VXLAN を使用した VMM ドメインもサポートされる予定です。

    詳しくは「ブリッジドメイン設計時の考慮事項」セクションを参照してください。

    複数のサブネットを持つ単一のブリッジドメインを使用する場合は、以下の考慮事項が適用されます。

        DHCP サーバの構成は、場合によっては、すべて DHCP リクエストがプライマリサブネットから送信されることを考慮した変更が必要です。

        Cisco ACI は、検証済みスケーラビリティガイドで説明のとおり、同じブリッジドメインの多数のサブネットを問題なく処理します。本書執筆時に検証されているサブネット数は、通常のフラッディング構成を行った同じブリッジドメイン(BD)内で 1,000 サブネット、カプセル化範囲限定のフラッディング構成では 400 サブネットです。ただし約 200 個を超えるサブネットを同じ BD 内で使用する場合、一括ではない方法(たとえば GUI CLI での構成)で個別の BD に構成変更を実施すると、構成変更がファブリックに適用されるまでかなりの時間がかかることがあります。

    コントラクト設計時の考慮事項

    セキュリティゾーンでブリッジドメインを分割した後、分割後のブリッジドメイン間にコントラクトを追加する必要があります。コントラクトは、以下の 2 つの手法で構成できます。

        デフォルトの暗黙の拒否で EPG 間に個別のコントラクトを追加する

        deny-any-any エントリとグローバル vzAny 許可の両方を設定したホワイトリストで構成されるコントラクトを、EPG 間で個別に追加する

        外部ファイアウォールにすべてのトラフィックをリダイレクトするコントラクトと、特定のトラフィックを対象とした特定の EPG 間コントラクトを使用して vzAny を構成する

    最初のアプローチは、EPG 間のトラフィックを許可する特定のコントラクトが存在しない限りすべてのトラフィックが拒否されるホワイトリスト手法です。このアプローチでは、ブリッジドメインの数と(その結果として)EPG の数を削減すれば、ソリューションの拡張性と管理性を向上できます。

    2 番目のアプローチでは、EPG 間のトラフィックをすべて許可するデフォルト許可を設定できます。より詳細なコントラクトを EPG 間に追加し、個別のルールにより特定のプロトコルとポートを許可します。また、EPG ペアごと(つまりコントラクトごと)に deny-any-any ルールを設定可能です。これにより、ACL フィルタリングが存在しなかった設計から、アプリケーション中心型への移行が可能になります。このアプローチでは、ブリッジドメインの数と(その結果として)EPG の数を削減すれば、ソリューションの拡張性と管理性を向上できます。

    3 番目のアプローチでは、1 つ以上のファイアウォールへのサービスグラフリダイレクトにより、vzAny をコントラクトのプロバイダー兼コンシューマとして構成します。この手法では、EPG 間のトラフィックは(同じブリッジドメイン内であっても)、ACL フィルタリングのためファイアウォールにリダイレクトされます。このアプローチでは、セグメンテーションに Cisco ACI を使用し、ACL フィルタリングにファイアウォールを適用します。たとえばトラフィックをファイアウォールに送信することなくバックアップトラフィックが直接 Cisco ACI ファブリックを経由することを許可するため、リダイレクト機能を持つ vzAny よりも優先度が高い EPG 間に特化したコントラクトを構成できます

    3 番目のアプローチにより、多くのブリッジドメインを維持しながら、運用が過度に複雑になることなく、各ブリッジドメイン内に複数の EPG を作成できます。なぜなら、外部ファイアウォールによってコントラクトが一元的に適用されるため、同じ VRF 内のすべて EPG に対して Cisco ACI ファブリックで必要になるコントラクトが 1 つで済むからです。

    42 にこのアプローチを示します。

    1 ペア以上のファイアウォール(対称型のポリシーベースルーティング(PBR)ハッシュ化により複数のファイアウォールをクラスタ化できます)が Cisco ACI ファブリックに接続されています。コントラクトに関連付けられたサービスグラフリダイレクトと vzAny を併用することで、EPG 間のトラフィック全体がファイアウォールのペアにリダイレクトされます。たとえば EPG IT-BD1 と非 IT-BD1 との間のトラフィックが最初にファイアウォールを通過します。同様に、EPG の非 IT-BD1 とサービス BD1 の間のトラフィックもファイアウォールを通過する必要があります。

    43 は、トラフィックをリダイレクトするためのコントラクトを使用した vzAny の構成です。

    図 42.     外部ファイアウォールを設置した Cisco ACI を使用するための、vzAny を使用したリダイレクト実装

    Related image, diagram or screenshot

    図 43.     トラフィックを外部ファイアウォールにリダイレクトするための vzAny の構成

    Related image, diagram or screenshot

    アプリケーション中心型の導入では、EPG、コントラクト、フィルタの数が多いため、ネットワーク中心型の導入の場合よりもポリシー CAM がより多くコンシュームされます。

    リーフハードウェアに応じて、Cisco ACI は、より多くのポリシー CAM スペースを割り当てるか、ポリシー CAM コンシューム量を削減するために、多くの最適化機能を提供します。

        Cisco ACI リーフは、ポリシー CAM を多用するプロファイルに設定を変更できます。

        範囲演算では、TCAM 1 つのエントリのみを使用します

        双方向サブジェクトは 1 つのエントリを取得します。

        フィルタは Directives のポリシー圧縮機能を使用することで再利用されます(ただし統計粒度が粗くなります)。

    44 は、フィルタの構成時にポリシー CAM 圧縮を有効化する方法です。

    図 44.     フィルタでの圧縮機能の有効化

    Related image, diagram or screenshot

    注:ポリシー CAM 圧縮は、すでにハードウェアでプログラムされているコントラクトでは有効化も無効化もできません。ポリシー圧縮を有効化または無効化する必要がある場合は、新しいコントラクトを作成し、既存のコントラクトを作成したコントラクト置き換える必要があります

    注:コントラクトについて詳しくは、「コントラクト設計時の考慮事項」セクションを参照してください。

    VRF 設計時の考慮事項

    VRF は、テナント内またはテナント間のトラフィック用のデータプレーンセグメント化要素です。ルーテッドトラフィックは、VRF VNID として使用します。レイヤ 2 トラフィックがブリッジドメイン識別子を使用する場合でも、ブリッジドメインのインスタンス化のためには、VRF がオブジェクトツリーで常に必要となります。

    そのため、テナントで VRF を作成するか、common テナント VRF を参照する必要があります。

    テナントと VRF の間に 1 1 の関係はありません

        テナントは、common テナントからの VRF を利用する場合があります。

        テナントには、複数の VRF が含まれる場合があります。

    L3Out 接続を共有する必要があるマルチテナント環境においてよく採用される設計手法ではcommon テナントに存在する VRF 利用するとともに、個々のユーザテナントでブリッジドメインと EPG を構成します。

    共有 L3Out 接続は、選択するオプションに応じて、単純な構成にも複雑な構成にもなります。このセクションでは、common テナント VRF を使用する場合のわかりやすい推奨手法について説明します。

    VRF を作成するときは、以下の選択肢を考慮する必要があります。

        VRF に関連するすべてのブリッジドメインと EPG のトラフィックをコントラクトに従ってフィルタリングするかどうか。

        外部フィルタリング向け EPG 全体に対するポリシー制御適用方向(Ingress または Egress)。デフォルトは「Ingress」です。つまり、「Ingress」リーフが Cisco ACI ファブリックから L3Out へのトラフィックをフィルタリングします。L3Out から、Cisco ACI ファブリックに接続されたサーバへのトラフィックは、サーバが接続されているリーフでフィルタリングされます。

    注:各テナントには複数の VRF を含めることができます。現在テナントごとにサポートされる VRF 数は、以下 cisco.com のサイト内の『検証済みスケーラビリティガイド』に記載されています。

    https://www.cisco.com/c/ja_jp/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html#Verified_Scalability_Guides

    サポートされる数に関係なく、複数のテナントで VRF を分散させ、複数の APIC でより適切なコントロールプレーン分散を図ることをお勧めします。

    common テナント内の VRF およびブリッジドメイン

    このシナリオでは、common テナント VRF インスタンスとブリッジドメインを作成し、個々のユーザテナントに EPG を作成します。次に、EPG を共通のテナントのブリッジドメインに関連付けます。この構成では、スタティックルーティングまたはダイナミックルーティングを使用できます(図 45)。

    common テナントは、以下の手順で構成します。

    1.      common テナント内に VRF を構成します。

    2.      common テナント内に L3Out 接続を構成し、VRF に関連付けます。

    3.      common テナント内にブリッジドメインとサブネットを構成します。

    4.      ブリッジドメインを VRF インスタンスと L3Out 接続に関連付けます。

    各テナントの構成は、以下の手順で行います。

    1.      各テナント内に EPG を構成し、common テナントのブリッジドメインに EPG を関連付けます。

    2.      各テナント内にコントラクトとアプリケーション プロファイルを構成します。

    図 45.     VRF インスタンスとブリッジドメインが構成された common テナント を介した、L3Out 接続の共有

    Related image, diagram or screenshot

    このアプローチには、次の利点があります。

        L3Out 接続を、ダイナミックまたはスタティックとして構成できる。

        各テナントには、独自の EPG とコントラクトが設定される。

    このアプローチには次のデメリットがあります。

        各ブリッジドメインとサブネットがすべてのテナントに公開される。

        すべてのテナントが同じ VRF インスタンスを使用する。そのため、テナントは、重複する IP アドレスを使用できない。

    common テナント内の VRF とユーザテナント内のブリッジドメイン

    この構成では、common テナント VRF を作成し、個々のユーザテナントにブリッジドメインと EPG を作成します。次に、各テナントのブリッジドメインを common テナント VRF インスタンスに関連付けます(図 46)。この構成では、スタティックルーティングまたはダイナミックルーティングを使用できます。

    common テナントは、以下の手順で構成します。

    1.      common テナント内に VRF インスタンスを構成します。

    2.      common テナント内に L3Out 接続を構成し、VRF インスタンスに関連付けます。

    個々のテナントは、以下の手順で構成します。

    1.      各顧客テナント内にブリッジドメインとサブネットを構成します。

    2.      common テナント L3Out 接続の VRF にブリッジドメインを関連付けます。

    3.      各テナント内に EPG を構成し、テナント自体のブリッジドメインに EPG を関連付けます。

    4.      各テナント内にコントラクトとアプリケーション プロファイルを構成します。

    図 46.     common テナント 内の VRF インスタンスと共有 L3Out の接続

    Related image, diagram or screenshot

    この手法のメリットは、各テナントにはそれぞれのブリッジドメインとサブネットしか公開されない点です。しかし、この手法でも、重複する IP アドレスを使用することはできません。

     Ingress フィルタリングと Egress フィルタリングの推奨設計

    VRF Ingress ポリシーの適用または Egress ポリシーの適用を念頭に置いて構成できます。この構成により、L3 外部接続と EPG の間に構成されたコントラクトによって実行される ACL フィルタリングを、エンドポイントが存在するリーフまたはボーダーリーフ上のいずれに実装するかが制御されます。

    Ingress ポリシーまたは Egress ポリシーの VRF インスタンスは、[テナント(Tenant] > [ネットワーキング(Networking] > [VRFVRFs] に移動して、[ポリシー制御適用方向(Policy Control Enforcement Direction] オプションで [ Egress] を選択することで構成できます。

    構成オプションでは、以下を行います。

        ポリシーの適用とは、コントラクトの実行する ACL フィルタリングがエンドポイントの存在するリーフに実装されることを意味します。この構成により、ポリシー CAM フィルタリングルールが「コンピューティング」リーフで構成されるため、ボーダーリーフのポリシー CAM の使用頻度が減ります。Ingress ポリシーの適用により、トラフィックの両方向に対して「コンピューティング」リーフで一貫してフィルタリングが行われます。

        Egress ポリシーの適用とは、コントラクトによって実行される ACL フィルタリングがボーダーリーフにも実装されることを意味します。これにより、ボーダーリーフのポリシー CAM の使用頻度が増えます。Egress ポリシーの適用により、前のトラフィックの結果としてエンドポイントが学習された後、ボーダーリーフが L3Out から EPG の方向にフィルタリングを行います。エンドポイントと宛先のクラスマッピングがボーダーリーフでまだ認識されていない場合、ポリシー CAM フィルタリングはコンピューティングリーフで行われます。

    Ingress ポリシー適用機能は、すべての通常リーフノードにフィルタリング機能を分散することで、ボーダーリーフノードでのポリシー CAM の使用率を向上させますが、L3 外部接続エントリのプログラミングは、すべてのリーフに分散されます。主に第 1 世代のリーフが使用され、L3 外部接続テーブルが多用されていない場合に有益です。Egress ポリシー適用機能により、テーブルをボーダーリーフにのみ構成しておくことで、L3 外部接続向けのエントリの使用が最適化されます。

    Ingress フィルタリングを設定することで拡張性と動作が向上する機能もあれば、Egressフィルタリングでそれらの効果が得られる機能もあります。

    本書執筆時点(Cisco ACI 4.0 の時点)では、Ingress フィルタの設定でパフォーマンスが向上する機能が大半を占めています。また一部では Ingress フィルタ設定が必須となっています。本書執筆時点で Ingress フィルタリング設定が必須となっている機能は以下のとおりです。

        IP-EPG

        Direct Server Return

        GOLF

        PBR を基にした L4 - L7 サービスグラフを使用するマルチサイト

    その他の機能としては、L3Out Quality of ServiceQoS)などがあります。これらは( Ingress ではなく)Egress フィルタリングが必要です。

    「外部接続の配置 / サーバ接続にボーダーリーフを使用」セクションですでに説明したとおり、Cisco ACI ファブリック内のすべてのリーフスイッチが Cisco Nexus 9300-EXCisco Nexus 9300-FX プラットフォームスイッチなどの第 2 世代である場合、ボーダーリーフスイッチへのエンドポイント接続と VRF インスタンスに適用される Ingress ポリシーの適用が全面的にサポートされます。

    また、「グローバル構成またはリモートエンドポイント学習の無効化」というセクションで説明しているとおり、[ファブリック(Fabric] > [アクセスポリシー(Access Policies] > [グローバルポリシー(Global Policies] > [ファブリック全体の設定ポリシー(Fabric Wide Setting Policy] から [リモートEP学習の無効化(Disable Remote EP Learn] を選択して、ボーダーリーフでのリモート IP アドレスエンドポイント学習を無効化することをお勧めします

    ブリッジドメイン設計時の考慮事項

    ブリッジドメインの動作を調整する際に考慮すべき主なブリッジドメイン構成オプションは以下のとおりです。

        ハードウェアプロキシまたは不明なユニキャストフラッディング(Unknown Unicast Floodingのいずれを使用するか

        Address Resolution ProtocolARP)のフラッディングを有効にするか無効にするか

        ユニキャストルーティングを有効にするか無効にするか

        サブネットを定義するかどうか

        同じブリッジドメイン内に複数のサブネットを定義するかどうか

        エンドポイントの学習をサブネットアドレス空間に制限するかどうか

        エンドポイント保持ポリシーを構成するかどうか

        ブリッジドメイン内フラッディングを、カプセル化範囲限定のフラッディングと併用するかどうか

    以下のとおり、ブリッジドメイン転送特性を最適化済みまたはカスタムに構成できます。

        ARP フラッディングが有効になっている場合、従来のネットワークにおける通常の ARP 処理に従って、ARP トラフィックがファブリック内にフラッディングされます。このオプションが無効になっている場合、ファブリックは、ユニキャストを使用して ARP トラフィックを宛先に送信しようとします。なお、このオプションは、ブリッジドメインでユニキャストルーティングが有効になっている場合のみ適用されます。ユニキャストルーティングが無効になっている場合、ARP トラフィックは常にフラッディングされます

        レイヤ 2 の不明なユニキャストトラフィックにはハードウェアプロキシがデフォルトのオプションです。この転送動作では、MAC アドレスがスパインで把握されている(つまりホストがサイレントホストではない)限り、マッピングデータベースが使用され、フラッディングと学習の機能に頼ることなく不明なユニキャストトラフィックを宛先ポートに転送します。

        レイヤ 2 不明なユニキャストフラッディング(Unknown Unicast Flooding)では、ハードウェアプロキシが選択されていない場合マッピングデータベースとスパインプロキシに引き続き MAC アドレスと VTEP の対応情報が格納されます。ただし、転送でスパインプロキシ データベースは使用されません。レイヤ 2 の不明なユニキャストパケットは、ブリッジドメインに限定されたスパインに基づくマルチキャストツリーの 1 つを使用して、ブリッジドメインにフラッディングされます。

    [レイヤ3構成(Layer 3 Configurations] タブでは、管理者が以下のパラメータを構成できます。

        ユニキャストルーティング(Unicast Routing):この設定が有効で、サブネットアドレスが構成されている場合、ファブリックがデフォルトゲートウェイ機能を提供し、トラフィックをルーティングします。ユニキャストルーティングを有効にすると、マッピングデータベースがこのブリッジドメインのエンドポイントに付与された IP アドレスと VTEP の対応関係を学習します。IP 学習は、ブリッジドメイン内にサブネットが構成されているかどうかには依存しません。

        サブネットアドレス(Subnet Address):このオプションでは、ブリッジドメインの SVI IP アドレス(デフォルトゲートウェイ)が構成されます。

        IP ラーニングをサブネットに限定(Limit IP Learning to Subnet):このオプションを選択すると、ファブリックは、ブリッジドメインに構成されたもの以外のサブネットから IP アドレスを学習しません。[サブネットチェックの適用(Enforce Subnet Check] のグローバル設定が有効な場合、このオプションを選択する必要はありません。

    Cisco ACI のトラフィック転送は次のように動作するため、ユニキャストルーティングをレイヤ 2 限定のブリッジドメイン内で有効にできます。

        Cisco ACI は、ルータの MAC アドレス宛てのトラフィックをルーティングします。

        Cisco ACI は、ルータの MAC アドレス宛てではないトラフィックをブリッジングします。

    注:多くのブリッジドメイン構成の変更では、マッピングデータベースおよびリーフのハードウェアテーブルからエントリを削除する必要がありますが、そのためにトラフィックが中断されます。ブリッジドメイン構成を変更する場合は、この変更によってトラフィックが中断する可能性があることに注意してください

    移行設計用のブリッジドメイン構成

    既存のレイヤ 2 ネットワークに接続する場合は、フラッディング - 学習flood-and-learnモードでブリッジドメインを構成することを検討する必要がありますこれは、レイヤ 2 の不明なユニキャスト トラフィック フラッディングと、ブリッジドメイン内の ARP フラッディングの両方有効化することを意味します

    47 のトポロジについて考察してみましょう。ブリッジドメインでハードウェアプロキシではなく不明なユニキャストフラッディング(Unknown Unicast Floodingを使用する理由は、既存ネットワーク(スイッチ A とスイッチ B)に接続されているホストの MAC アドレスと IP アドレスの学習に時間がかかる場合があるためです。サーバがリーフ 1 とリーフ 2 に接続されていると、これらのサーバがスイッチ A B に接続されたサーバの MAC アドレス ARP によって アドレス解決を実行することでハードウェアプロキシで学習されることがあります次に、スイッチ A をリーフ 3 に接続するリンクがダウンし、スイッチ B をリーフ 4 に接続するリンクに転送経路が切り替わったとしましょう。これにより、リーフ 3 で学習されたすべてのエンドポイントは、マッピングデータベースから消去されます。ただし、リーフ 1 とリーフ 2 に接続されたサーバは、スイッチ A とスイッチ B に接続されたホストに対して有効な ARP エントリを保持しています。そのためサーバは、ARP アドレス解決をすぐには再実行しません。リーフ 1 およびリーフ 2 に接続されたサーバがスイッチ A とスイッチ B に接続されたサーバにフレームを送信しても、スイッチ A とスイッチ B に接続されたサーバがリーフ 4 上のエントリを更新する何らかのトラフィックを送出するまで、送信されたフレーム破棄されます。スイッチ A B は、既存のネットワーク転送テーブル内で MAC エントリが期限切れになるまで、Cisco ACI リーフスイッチへのトラフィックをフラッディングません。また、既存のネットワーク内のサーバは、ARP キャッシュが期限切れになるまで ARP 要求を送信ません。そのため、トラフィックの中断を回避するには、スイッチ A B に接続されるブリッジドメインを不明なユニキャストフラッディングUnknown Unicast Flooding用に設定してください。

    図 47.     既存のネットワーク インフラストラクチャに接続されたブリッジドメインに対する未知のユニキャストフラッディングの使用

    Related image, diagram or screenshot

    レイヤ 2 の不明なユニキャストのフラッディング用に構成されたブリッジドメインを使用する場合は、[リモートMACエントリを消去(Clear Remote MAC Entries] というオプションを選択する必要もあります。[リモートMACエントリを消去(Clear Remote MAC Entries] を選択すると、アクティブなレイヤ 2 パスに接続されたリーフのポートがダウンしたときに、エンドポイントの MAC アドレスエントリがローカルリーフ(前述例のリーフ 3 に相当)で消去されファブリック内の他のリーフスイッチ(前述例のリーフスイッチ 1245、および 6 に相当)のテーブルに格納された関連のリモート エンドポイント エントリも消去されます。この設定を利用する理由は、例示したスイッチ B とリーフ 4 間の切り替わり先のレイヤ 2 経路が有効化された際にすべてのリーフスイッチでリモートテーブルを消去することで、トラフィックが以前有効であったレイヤ 2 経路前述例のリーフ 3)に対してブラックホール化することを防ぐためです

    ブリッジ ドメイン フラッディング

    デフォルトで、ブリッジドメインは [ブリッジドメイン内でフラッディング(Flood in Bridge Domain] に構成されています。この構成により、VLAN 上の EPG からマルチデスティネーション フレーム(または不明なユニキャストフラッディング(Unknown Unicast Floodingが選択された未知のユニキャスト)が受信された場合、マルチデスティネーション フレームがブリッジドメイン範囲にフラッディングされます。

    48 に示す例について考察しましょう。この例では、ブリッジドメイン 1BD1)に 2 つの EPGEPG1 EPG2)が存在します。それぞれ VLAN 5678 ならびに VLAN 9101112 へのバインディングが構成されています。図の右側は、EPG のバインディング先のポートです。EPG1 には VLAN 5 リーフ 1/ポート 1VLAN 6 リーフ 1/ポート 2VLAN 5 でリーフ4/ポート5VLAN 7リーフ 4/ポート 6 などバインディングされています。使用する VLAN とは無関係に、これらのポートはすべて同じブロードキャストドメインに属します。たとえばブロードキャストを VLAN 5 のリーフ 1/ポート 1/1 に送信すると、VLAN カプセル化に関係なく、すべて EPG のブリッジドメインに含まれる全ポートからブロードキャストが送信されます。

    図 48.     ブリッジドメイン、EPG 、および VLAN

    Related image, diagram or screenshot

    BPDU の処理

    仮想ホストがリーフノードに直接接続されている場合、VLAN により、仮想マシンからのトラフィックがセグメント化されます。この場合、Cisco ACI ファブリックがルーティングされるため、トポロジでループ発生しません。Cisco ACI ファブリックは、マルチデスティネーション トラフィック用にマルチキャスト配布ツリーを使用します。スパインプロキシ マッピング データベースを使用することでマルチデスティネーション トラフィックの量を減らすこともできます。

    スイッチングデバイスがリーフノードに接続されている場合は、ルーテッド VXLAN ベースのファブリックと外部ネットワークで使用されるループ防止機能との間の相互運用性を確保して、レイヤ 2 ブロードキャストドメイン内でループを防止するための仕組みが必要になります。

    Cisco ACIは、ブリッジドメイン全体ではなく、特定のカプセル化範囲内で外部 BPDU をフラッディングすることでこの問題に対処します。VLAN ごとのスパニングツリープロトコルは BPDU パケットに格納された VLAN 情報を伝送するため、Cisco ACI ファブリックでは VLAN 番号自体を考慮した構成も必要です。

    たとえば EPG1 ポート 1/1 が特定スイッチの VLAN 5 に一致するように構成されている場合、同じレイヤ 2 ドメインに対するそのスイッチの別のポートは、VLAN 5 同じカプセル化を使用して EPG1 にのみ接続できます。これができない場合、外部スイッチは、別の VLAN 番号がタグ付けされた VLAN 5 BPDU を受信します。Cisco ACI は、ブリッジドメイン内の同じカプセル化が適用されたポート間でのみ BPDU をフラッディングします。

    49 のように外部スイッチをリーフ 1/ポート 1/1 に接続すると、外部スイッチにより送信された BPDU は、同じく EPG1 の一部であり、VLAN 5 がタグ付けされたリーフ 4ポート 1/5 にのみフラッディングされます。

    BPDU は、EPG が属するブリッジドメインに関連付けられているものとは異なる VNID ファブリック全体にフラッディングされます。これは、BPDU フラッディング範囲をブリッジドメイン内の一般的なマルチデスティネーション トラフィックとは別に区切っておくための措置です。

    図 49.     ファブリック内の BPDU フラッディング

    Related image, diagram or screenshot

    カプセル化範囲限定のフラッディング(Flood in Encapsulation

    カプセル化範囲限定のフラッディングは、複数の既存レイヤ 2 ドメインを 1 つのブリッジドメインに結合しつつ、トラフィックの送信元となった VLAN にフラッディングドメインを限定する場合に役立つ機能です。

    同じブリッジドメイン内に存在する複数の VLAN 内の MAC アドレスは一意である必要があります。

    カプセル化範囲限定のフラッディング(Flood in Encapsulation)は -EX リーフ以降で使用できる機能です。この機能により、フラッディングドメインをトラフィックが受信される個々の VLAN の範囲 に限定できます

    カプセル化範囲限定のフラッディングを適用すると、Cisco ACI は、同じ「名前空間」(つまり同じドメイン内の同じ VLAN プール)からのカプセル化と同じ VLAN カプセル化が適用されているすべて EPG にパケットをフラッディングします。これは、フラッディングを該当の EPG に限定するのとほぼ同等です(通常は同じブリッジドメイン内の複数の EPG 同じ VLAN を使用しないため)。

    カプセル化範囲限定のフラッディングは、Cisco ACI 3.1 以降、以下のフラッディングを制限することにより、フラッディングの範囲を限定できます。

        マルチキャストトラフィック

        ブロードキャスト トラフィック

        リンクローカルトラフィック

        不明なユニキャストトラフィック

        プロトコル:OSPFEIGRP など

    カプセル化範囲限定のフラッディングが構成された結合されたブリッジドメインを基にした設計には、以下の特徴があります。

        Cisco ACI は、フラッディングされるすべての未知のユニキャストトラフィックおよびマルチキャスト トラフィック、ブロードキャスト トラフィック、ならびにコントロール プレーン トラフィックの伝送範囲を同じ VLAN 内に限定します。

        Cisco ACI は、異なる VLAN 内のサーバ間でトラフィックを転送するために、プロキシ ARP を実行します。このため、サーバが同じサブネット内に存在する場合でも、EPG 間(または異なる VLAN 間)のトラフィックルーティングされます。

        カプセル化範囲限定のフラッディングは、トラフィック伝送が VLAN VXLAN に基づき行われる場合、VMM ドメインとも連動します。VXLAN は、Cisco ACI 3.25)からサポートされています。

    以下の機能は、カプセル化範囲限定のフラッディングが有効になっているブリッジドメインとは連動しないか、あるいはまだ検証されていません。

        IPv6

        マルチキャストルーティング

    カプセル化範囲限定のフラッディングでは、ブリッジドメイン構成に対して以下の要件があります。

        IP ルーティングは、同じサブネット内に存在する EPG 間の L2 通信に対しても有効する必要がある。

        ブリッジドメインで ARP を最適化するオプション(ARP フラッディングなし)は適用できない。

    カプセル化範囲限定のフラッディングを適用すると、マルチキャスト着信トラフィックと同じ VLAN 上にあるポートにのみフラッディングされます。インターネットグループ管理プロトコル(IGMP)スヌーピングがオンになっている場合でも、同じカプセル化範囲のポートのみにマルチキャストがフラッディングされます。フラッディングの範囲は、リーフごとに受信される IGMP レポートにより決定されます。特定のリーフに対して IGMP レポートが送信された場合、トラフィックは、該当ポートが同じカプセル化範囲内に存在する場合のみ、該当ポートに送信されます。

    カプセル化範囲限定のフラッディングを適用すると、ARP パケットが CPU に送信された場合グローバル COPP によって ARP 用に割り当てた合計容量を1 つのリンクがすべてコンシュームしてしまうおそれがあります。このため、インターフェイス単位・プロトコル単位の COPP を有効化して、EPG ドメイン/ブリッジドメインに属すポート間で公平性を確保することをお勧めします。

    カプセル化範囲限定のフラッディングについて詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/td/docs/switches/datacenter/aci/apic/sw/2-x/L2_config/b_Cisco_APIC_Layer_2_Configuration_Guide/b_Cisco_APIC_Layer_2_Configuration_Guide_chapter_010.html#id_59068

    ハードウェアプロキシを使用したフラッディングの軽減

    Cisco ACI は、ブリッジドメインのフラッディング量を制限するための以下の機能を提供します。

        フラッディングドメインを EPG または VLAN に限定するために設計されたカプセル化範囲限定のフラッディング

        (フラッディングドメインを限定する代わりに)不明なユニキャストトラフィックのフラッディングを最適化することに焦点を当てたハードウェアプロキシ。ブリッジドメインを他のマルチデスティネーション トラフィック用のフラッディングドメインとして維持します。

    ブリッジドメインで IP ルーティングが有効で、かつサブネットが定義されている場合は、ハードウェアプロキシの使用を検討してください。なぜなら、ハードウェアプロキシが有効の場合、ある MAC アドレスがスパインプロキシで期限切れのため消去されると、この MAC アドレス宛てのトラフィックが破棄されてしまうためです。Cisco ACI は、最新のマッピングデータベースを維持するため、エンドポイントの IP アドレスの ARP アドレスを解決する際に MAC アドレステーブル更新ます。

    レイヤ 2 の不明なユニキャストフレームによって引き起こされるブリッジドメインのフラッディングを軽減したい場合は、以下のオプションを構成してください。

        不明なユニキャストフラッディング(Unknown Unicast Floodingを削除するよう、ハードウェアプロキシを構成する。

        エンドポイントの IP アドレス学習を有効化するために、ユニキャストルーティングを構成する。

        エンドポイント保持ポリシーの期限が切れた際に、ブリッジドメインが ARP を使用してエンドポイントを解決しサイレントホストに対する ARP グリーニングを実行できるようサブネットを構成する。サブネット構成時には、[IP学習をサブネットに限定(Limit IP Learning to Subnet] を有効化する必要もあります。

        エンドポイント保持ポリシーを定義する。これは、ホストの ARP キャッシュタイムアウトがリーフスイッチとスパインスイッチの MAC エントリのデフォルトタイマーよりも長い場合に重要となります。エンドポイント保持ポリシーが定義されている場合、サーバの ARP キャッシュよりも長く継続するようタイマーを調整できます。または、ブリッジドメインでサブネット IP アドレスと IP ルーティングを定義している場合は、Cisco ACI がタイマー期限切れ前に ARP 要求をホストに送信します。この場合、調整は必要ありません。

    本番ネットワークでブリッジドメインの設定を変更する場合は、マッピングデータベースで学習されたエンドポイントが変更後に消去されることがあるため、注意してください。これは、現在の実装においては同じブリッジドメインに対してであっても、未知のユニキャストフラッディング用とハードウェアプロキシ用として使用されるVNID が異なるためです。

    ブリッジドメイン設定をハードウェアプロキシに変更したものの、ホストの ARP エントリがその直後に期限切れにならない場合、ホストが別のホストにトラフィックを送信しようとすると、そのホストは事実上、不明なユニキャスト MAC アドレストラフィックを生成していることになります

    このトラフィックは、ハードウェアプロキシモードではフラッディングされず、スパインプロキシに送信されます。しかしブリッジドメイン設定を変更した後で宛先ホストが通信していない場合には、スパインプロキシには更新されたマッピングデータベースがありません。その結果、このトラフィックは破棄されます。

    ARP フラッディング

    ARP フラッディングが無効になっている場合、ARP パケットのターゲット IP アドレスに対してレイヤ 3 ルックアップが実行されます。ARP は、宛先リーフスイッチに到達するまで、レイヤ 3 ユニキャストパケットと同様に動作します。

    ARP フラッディングは、ホスト ARP キャッシュまたはルータ ARP キャッシュを更新するために、Gratuitous ARPGARP)リクエストが必要な場合に構成する必要があります。これは、IP アドレスが別の MAC アドレスを持っている場合(ロードバランサおよびファイアウォールのフェールオーバーのクラスタ化に伴う場合など)に必要となります

    ARP フラッディングと GARP ベースの検出の両方を有効にしてください

    注:GARP ベースの検出は、第 1 世代および第 2 世代の Cisco ACI リーフスイッチを使用したさまざまな場面で役立ちます。第 1 世代のスイッチでは、このオプションが主に、中間スイッチを介して Cisco ACI リーフに接続されたホストが同じ IP アドレスについて MAC アドレスを(フローティング IP アドレスであるなどの理由で)変更した場合に役立ちました。第世代の Cisco ACI リーフスイッチでは、データプレーン学習の選択を解除する必要がある場合などに、今でも役立っています。データプレーンの学習構成を変更する場合は、必ず事前に本書の「データプレーン学習」セクションをお読みください。

    ブリッジドメインでのレイヤ 2 マルチキャストおよび IGMP スヌーピング

    Cisco ACI は、リーフとスパインの間に構築されたオーバーレイ マルチキャスト ツリーでマルチキャストフレームを転送します。

    Cisco ACI の転送構成オプションにより、リーフでのフレーム転送方法が管理されます。

    Cisco ACI でのルーティング対象ではないマルチキャストトラフィックの転送は、以下のとおり行われます。

        レイヤ 2 マルチキャストフレーム、つまりマルチキャスト IP アドレスを持たないマルチキャストフレームフラッディングされる。

        レイヤ 3 マルチキャストフレーム、つまりマルチキャスト IP アドレスを持つマルチキャストフレーム、ブリッジドメインの構成に応じてブリッジドメイン内で転送される

    次の 2 つのブリッジドメイン構成では、IP ルーティングの有効/無効を問わず IP マルチキャストフレームのレイヤ 2 転送を最適化できます。

        IGMP スヌーピング

        最適フラッディング

    ブリッジドメインではデフォルトで IGMP スヌーピングがオンになっています。これは、ブリッジドメインに関連付けられた IGMP スヌーピングポリシー "default" により、IGMP スヌーピングがオンと定義されるためです。

    他の多くの構成を自動的に変更せずに、この構成のクエリア構成とクエリア間隔のみを変更できるように、独自の IGMP スヌーピングポリシーを定義することをお勧めします。

    IGMP クエリアを使用するには、ブリッジドメイン内にサブネットを構成するだけでかまいませんが、[クエリアを有効にする(Enable querier] オプションを選択する必要があります。

    Cisco ACI では、IGMP レポートが存在しなかったマルチキャスト IP を「不明なレイヤ 3 マルチキャスト」と呼びます。不明なレイヤ 3 マルチキャストはリーフ単位の概念です。リーフ上に IGMP レポートが存在しないマルチキャスト IP は、不明なレイヤ 3 マルチキャストとなります。リーフに IGMP join などの IGMP レポートが存在した場合には、そのマルチキャストグループのマルチキャストトラフィックは不明なレイヤ 3 マルチキャストではないためIGMP スヌーピングがオンの場合はリーフにフラッディングされません。

    フラッディングの最適化が構成されている場合、「不明なレイヤ 3 マルチキャスト」フレームが受信されると、このトラフィックマルチキャストルータポートにのみ転送されます。フラッディングの最適化が構成され、リーフが IGMP レポートを受信したマルチキャストグループのトラフィックを受信すると、そのトラフィックは、IGMP レポートが受信されたポートにのみ送信されます。

    Cisco ACI は、マルチキャスト IP アドレスを使用して、マルチキャストフレーム転送先のポートを定義します。この転送方法は、従来の IGMP スヌーピング転送よりも高い粒度を実現します

    ブリッジドメインに関する推奨事項の概要

    大半のシナリオで使えるブリッジドメインの推奨構成は、以下のとおりです。

        IP ルーティングが有効化され、サブネットが構成され、かつ Cisco ACI ファブリックに直接接続されているエンドポイントでレイヤ 2 ドメインが構成されている場合、ブリッジドメインをハードウェアプロキシ用に構成する必要があります。この設定により、レイヤ 2 の未知のユニキャストに起因するフラッディングが減少するだけでなく、拡張性も向上します。ファブリックが個々のリーフスイッチのハードウェアテーブルにのみ依存せず、より大きなスパインプロキシテーブルの容量を使用するためです。

        ブリッジドメインが既存のレイヤ 2 ネットワークに接続されている場合は、不明なユニキャストフラッディング(Unknown Unicast Flooding用にブリッジドメインを構成し、[リモートMACエントリを消去(Clear Remote MAC Entries] オプションを選択してください。

        GARP ベースの検出を有効にして、ARP フラッディングを使用してください。さまざまなチーミングが実装され、フローティング IP アドレスが存在する可能性があるため、多くの場合、ARP フラッディングが必要になります。

        複数のレイヤ 2 ドメインを 1 つのブリッジドメインに結合する必要がある場合は、カプセル化範囲限定のフラッディングの適用を検討してください。

    デフォルトゲートウェイ(サブネット)設計時の考慮事項

    パーバシブゲートウェイ

    Cisco ACI ファブリックは、ブリッジドメインサブネット構成で定義された IP アドレスエニーキャストゲートウェイとして機能します。これは「パーバシブゲートウェイ」と呼ばれます。

    スイッチ仮想インターフェイス(SVIのパーバシブゲートウェイは、テナントのブリッジドメインが存在する場合は必ずリーフスイッチ上に構成されます。

    サブネットの構成:ブリッジドメインまたは EPG

    サーバを Cisco ACI に接続する場合は、サーバのデフォルトゲートウェイをブリッジドメインのサブネット IP アドレスに設定してください。

    サブネットには、以下のプロパティを設定できます。

        外部へのアドバタイズ(Advertised Externally):ボーダーリーフによって(L3Out 接続を通じて)このサブネットを外部ルータにアドバタイズする必要があることを示します

        VRFプライベート(Private to VRF):この Cisco ACI ファブリック内に含まれているサブネットはボーダーリーフによって外部ルータにアドバタイズされないことを示します

        VRF インスタンス間で共有(Shared Between VRF Instances):共有サービス用のオプションです。このサブネットを 1 つ以上の VRF にリークする必要があることを示すために使用されます。この共有サブネット属性は、パブリックサブネットとプライベートサブネットの両方に適用されます。

    VRF リークが必要な設計では、EPG レベルのサブネット IP アドレスを入力することもできます。リリース 2.3 より前の Cisco ACI リリースでは、共有サービスのプロバイダーである EPG 内に定義されたサブネットをサーバのデフォルトゲートウェイとして使用する必要がありました。

    Cisco ACI リリース 2.3 以降では、VRF 共有時も、ブリッジドメイン内で定義されたサブネットをデフォルトゲートウェイとして使用する必要があります。

    ブリッジドメインのサブネットと、EPG のサブネットの違いは次のとおりです。

        ブリッジドメインのサブネット:別の VRF インスタンステナントとの間でルートのリークを計画していない場合は、ブリッジドメインにのみサブネットを配置する必要があります。Cisco ACI がデフォルトゲートウェイ機能を提供する場合は、デフォルトゲートウェイ機能を提供する SVI IP アドレスをブリッジドメインに設定する必要があります。

        EPG のサブネット:任意の EPG 上のサーバに対して、他のテナントからアクセスさせるよう計画している場合(共有サービスの場合など)には、プロバイダー側のサブネット EPG レベルで構成する必要があります。それは、コントラクトによって EPG コンシュームする側の VRF インスタンス内に、このサブネットへのルートも配置されるためです。同じ VRF 内の EPG で構成されたサブネットは重複できません。EPG 内に定義されたサブネットは、[デフォルトSVIゲートウェイではないNo Default SVI Gateway] オプションを選択しておく必要があります。

    レイヤ 2 拡張機能を使用してファブリックを接続した SVI の仮想 MAC アドレスとカスタム MAC アドレス

    ブリッジドメインでは、サブネットに対して以下の 2 種類の MAC アドレスを構成できます。

        カスタム MAC アドレス

        仮想 MAC アドレス

    この機能は主に、レイヤ 2 2 つのファブリックを接続する場合に、各ファブリックがそれぞれ異なる MAC アドレスを持つようブリッジドメインレイヤ 2 拡張する機能に関連して使用されます。

    注:の理由は次のとおりです。2 つのブリッジドメイン(BD1BD2)の両方がファブリック 1 とファブリック 2 に存在することを想定してみましょう。また、これらのブリッジドメインがレイヤ 2 拡張技術(EoMPLS など)を通じてこれら 2 つのファブリック間で拡張されていると想定してください。そしてBD1 上のファブリック 1 のホスト 1 が、BD2 上のファブリック 2 のホスト 2 にトラフィックを送信すると想定してみましょう。ホスト 2 のエンドポイント情報がファブリック 1 でまだ学習されていない場合、ホスト 1 がパケットを送信すると、ファブリック 1 はホスト 2 IP アドレスを収集します。この ARP 要求は、ファブリック 1 のリーフによって生成され、レイヤ 2EoMPLS)経由でファブリック 2 に転送され、送信元 MAC アドレスとして BD2 MAC アドレスを伝送します。BD2 MAC アドレスがファブリック 1 とファブリック 2 で同一の場合、ホスト 2 からの ARP 応答はファブリック 2 に到達しますが、ファブリック 1 には決して到達しません。逆に、各ファブリックがブリッジドメインごとに異なる MAC アドレスを持つ場合、ARP 要求への応答は、ファブリック 2 のリーフに接続されているファブリック 1 のリーフに転送されます。

    ファブリックごとに異なるカスタム MAC アドレスを構成する場合は、仮想マシンの移動を意識させず vMotion による別サーバへの仮想マシン移行を行えるよう、両方のファブリックで同一の仮想 MAC アドレスを構成することお勧めします。

    ファブリックがパーバシブ SVI から ARP 要求を送信するときは、SVI のカスタム MAC アドレスと物理 IP アドレスを使用します。

    サーバがそのデフォルトゲートウェイ(サブネットの仮想 IP アドレス)に対する ARP 要求を送信した場合、ARP 応答で取得した MAC アドレスが仮想 MAC アドレスになります。

    注:Cisco Nexus 93128TX9372PX9372TX9396PX9396TX プラットフォームでは、仮想 MAC アドレスが構成されると、トラフィックは、仮想 MAC アドレス宛てに送信された場合のみルーティングされます。サーバがカスタム MAC アドレスにトラフィックを送信する場合、このトラフィックはルーティングされません。

    エンドポイント学習に関する考慮事項

    ブリッジドメイン内でルーティングが無効になっている場合

        Cisco ACI は、マッピングデータベース内のエンドポイントの MAC アドレスを学習します。

        Cisco ACI は、ARP 要求を(ARP フラッディングが選択されているかどうかにかかわらず)フラッディングします。

    ブリッジドメイン内でルーティングが有効になっている場合

        Cisco ACI は、マッピングデータベース内のレイヤ 2 トラフィックの MAC アドレスを学習します(IP ルーティングの有無を問いません)。

        Cisco ACI は、マッピングデータベース内のレイヤ 3 トラフィックの MAC アドレスと IP アドレスを学習します。

    Cisco ACI でエンドポイントの学習を確認するには、[EPG操作(EPG Operation] タブの [クライアントエンドポイント(Client Endpoints] フィールドを表示します

    学習ソースフィールドには通常、以下に示す種類の学習ソースが一方または両方表示されます。

        学習ソース vmm は、仮想ホストが存在する場合の [解決と展開の即時性Resolution and Deployment Immediacy] の設定に関連しています。この学習ソースは、仮想マシンがどのリーフノードとポートに接続されたのかをVMM APIC 解決Cisco Discovery Protocol LLDP の相互に関連付けや、 OpFlex プロトコルの使用などによるしたことを示します

        学習ソース learned は、エンドポイントがデータプレーンを介して学習され、マッピングデータベース内に存在することを示します。

    以下の値は、各エンドポイントの MAC アドレスと IP アドレスの隣に表示されます。

        vmmこの値は vCenter SCVMM などの VMM から学習したことを示します。データプレーンを通じて学習されたエントリを示すものではありません。vCenter または SCVMM などが仮想マシンエンドポイントの場所を APIC に通知したことを示すものです。[解決と展開の即時性Resolution and Deployment Immediacy] の設定内容によっては、仮想マシンが有効になっているリーフでの VRF、ブリッジドメイン、EPG、およびコントラクトのインスタンス化がすでに行われている場合があります。

        vmm, learnVMM とデータプレーンの両方(実際のデータプレーンと ARP の両方)でこのエントリ情報が提供されたことを示します。

        learnARP またはデータプレーン転送により取得された情報です。

        static手動で入力された情報です

        static, learn手動で入力され、かつエントリがデータプレーンで学習された情報です

    IP 学習をサブネットに限定

    このオプションについては「グローバル構成」セクション、「サブネットチェックの適用」セクションですでに説明しています。

    BD レベルで [IP学習をサブネットに制限(Limit IP Learning to Subnet] オプションを適用すると、ブリッジドメインのサブネットに属しているエンドポイントだけが学習されるようになります。[サブネットチェックの適用(Enforce Subnet Check] のグローバル構成が有効な場合、このオプションを選択する必要はありません。

    Cisco ACI 3.0 より前のリリースでは、IP ルーティング用にすでに構成されているブリッジドメインでこのオプションが有効化された場合には、Cisco ACI がブリッジドメインで学習していすべてのエンドポイントを一旦消去し、学習を 2 分間一時停止します。Cisco ACI 3.0 以降は、サブネットに属しているエンドポイント IP 消去されず、学習一時停止も行われません。

    エンドポイントのエージング

    エンドポイントでアクティビティが発生しない場合、エンドポイント情報はアイドルタイマーの設定に基づいて動的に消去されます

    リーフスイッチのホスト情報を保持するテーブルのデフォルトタイマーは、900 秒です。

    アイドルタイマー値の 75% 経過後にローカルホストからアクティビティが検出されない場合、ファブリックは、ローカルホストにプローブを送信することで、エンドポイントがまだ動作中かどうかを確認します。

    構成されたアイドル時間間隔のうちにエンドポイントがトラフィックを自発的に送信しない場合は、エンドポイントをデータベースから削除する必要があることを示す通知が COOP を使用してマッピングデータベースに送信されます。

    リーフノードには、アクティブな通信によりプログラムされたリモートエントリ用のキャッシュも備わっています。このキャッシュの目的は、任意のリモート MAC アドレスまたは IP アドレスを使用してアクティブな通信相手のエントリを保存することです。この MAC アドレスまたは IP アドレスを使用したアクティブな通信が行われない場合、関連付けられたエントリタイマーの有効期限(デフォルトで 300 秒)経過後に削除されます。

    注:この動作は、ブリッジドメインの [エンドポイント保持ポリシー(Endpoint Retention Policy] の設定を変更することで調整できます。

    Cisco ACI がエンドポイントの更新済みテーブルを維持するためには、ブリッジドメイン内でサブネットを構成することでエンドポイントの IP アドレス(つまり、エンドポイントはレイヤ 2 ホストとは見なされない)を学習させることが推奨されます。

    ブリッジドメインは、IP ルーティングを有効化した状態で、サブネットなしでエンドポイント情報を学習できます。ただしサブネットが構成されている場合には、ブリッジドメインはエンドポイント保持ポリシーが有効期限切れになりそうなエンドポイント ARP 要求を送信して、エンドポイントがファブリックにまだ接続されているかどうかを確認できます。

    ハードウェアプロキシ オプションを使用している場合は、次の 2 つのうちいずれかの方法でエンドポイント保持ポリシーを必ず定義してください。

        ブリッジドメインにサブネット IP アドレスが未設定で、IP ルーティングが無効になっている場合は、エンドポイント保持ポリシーサーバの ARP キャッシュよりも長いタイマーに定義されていることを確認します。エンドポイント保持ポリシーがアグレッシブすぎる(短すぎる)場合、マッピングデータベースの MAC エントリの有効期限が切れると、リーフノードが未知の MAC ユニキャスト宛先についてトラフィックをスパインに送信してもスパインパケットを廃棄してしまいます。

        ブリッジドメインにサブネット IP アドレスが設定済みで、IP ルーティングが有効になっている場合、エンドポイント保持ポリシーの構成により、エントリが期限切れになる前に Cisco ACI がホストに対する ARP 要求を送信するようになります。これにより、エンドポイントの MAC アドレスと IP アドレスの両方のマッピングデータベースが更新されます。

    ブリッジドメインおよび VRF レベルでのエンドポイント保持ポリシー

    エンドポイント保持ポリシーは、ブリッジドメイン構成の一部および VRF 構成の一部として構成できます。

    以下のとおり、同じオプションが表示されます。

        [バウンスエントリエージング間隔(Bounce Entry Aging Interval]

        [ローカルエンドポイントエージング間隔(Local Endpoint Aging Interval]

        [リモートエンドポイントエージング間隔(Remote Endpoint Aging Interval]

        [保留間隔(Hold Interval]:エンドポイント移動抑制機能を参照。

        [移動回数(Move Frequency]:エンドポイント移動抑制機能を参照。

    ブリッジドメインレベルで構成されたエンドポイント保持ポリシーは、MAC アドレスのエージングを制御します。

    VRF レベルで構成されたエンドポイント保持ポリシーは、IP アドレスのエージングを制御します。

    エンドポイント保持ポリシーを入力しなかった場合、Cisco ACI common テナントのエンドポイント保持ポリシーを使用します。

        バウンスエントリエージング間隔:630

        ローカル エンドポイント エージング間隔:900

        リモート エンドポイント エージング間隔:300

    下表はオプションごとの構成場所と各構成の効果です。

    表 3.        エンドポイントの保持ポリシーの構成

     

    BD レベル

    VRF レベル

    ローカル IP

    ローカル IP エージング

     

    ローカル MAC

    ローカル MAC エージング

     

    リモート IP

     

    リモート エンドポイント エージング

    リモート MAC

    リモート エンドポイント エージング

     

    バウンス IP エントリ

     

    バウンスエントリエージング

    バウンス MAC エントリ

    バウンスエントリエージング

     

    同じ MAC アドレスに対して複数の IP アドレスを使用するエンドポイントエージング

    Cisco ACI は、エンドポイントが使用されているかどうかを確認するために、ヒットビットを維持します。エンドポイントの MAC アドレスも IP アドレスもトラフィックによって更新されない場合は、エントリが消去されます。

    ネットワークアドレス変換(NAT)を実行するデバイスの場合と同じように MAC アドレスに対して複数の IP アドレスが存在する場合、これらは同じエンドポイントと見なされます。そのため、保持される他のすべて IP アドレスに対して、つの IP アドレスのみがヒット(対応)する必要があります。

    1 世代と第 2 世代の Cisco ACI リーフスイッチでは、エントリが対応付けられていると判断する方法が以下のように異なります。

        1 世代の Cisco ACI リーフスイッチでは、パケットの MAC アドレスが一致しない場合でも、トラフィックがエントリの IP アドレスに一致する場合、エントリは有効であると見なされます。

        1 世代および第 2 世代の Cisco ACI リーフスイッチでは、トラフィックが MAC アドレスと IP アドレスに一致する場合、エントリが有効と判断されます。

    IP アドレスを個別に消去したい場合は、[ファブリック(Fabric] > [アクセスポリシー(Access Policies] > [グローバルポリシー(Global Policies] > [IPエージングポリシー(IP Aging Policy] から [IPエージング(IP Aging] オプションを有効にする必要があります。

    データプレーン学習

    マッピングデータベースでのエンドポイント学習は、トラフィック転送を最適化(レイヤ 2 エントリの場合)トラフィックのルーティング実行(レイヤ 3 エントリの場合)目的としてCisco ACI によって使用されます。

    一部の NIC チーミングの構成とサーバクラスタの実装では、Cisco ACI のデータプレーン学習機能の調整が必要です。

    Cisco ACI マッピングデータベースとスパインプロキシ

    Cisco ACI は、すべてのエンドポイントの MAC アドレス、IPv4/32)アドレス、IPv6/128)アドレスと、これらが配置されているリーフ/VTEP に関する情報を保持するマッピングデータベースを実装しています。このマッピング情報は、スパインスイッチのハードウェア(スパインプロキシ機能と呼ばれます)内に存在します。

    このマッピングデータベースは、以下の目的で利用されます

        トラフィックのルーティング

        各エンドポイントが存在する場所を最新情報に維持し、リーフノード間のエンドポイント移動を追跡

        トラブルシューティング(iTraceroute など)

    マッピングデータベースには、構成にかかわらずMAC アドレスと VTEP の対応情報が常に格納されます。ブリッジドメインのレイヤ 3 構成で IP ルーティングオプションが有効になっている場合にのみ、マッピングデータベースに IP アドレスと VTEP の対応情報格納されます。

    注:デフォルトゲートウェイ(サブネット)を構成せずに IP ルーティングを有効化することは可能ですが、推奨されません。

    スパインの MAC アドレスと VTEP の対応情報は、以下にのみ使用されます。

        ハードウェアプロキシが有効になっている場合の不明な宛先 MAC ユニキャストの処理

    スパインの IP アドレスと VTEP の対応情報は、以下にのみ使用されます。

        ARP フラッディングが [Disabled(無効)] に設定されている場合の ARP の処理

        リーフノードがまだ宛先 IP ホストアドレスを認識していないにもかかわらず、宛先 IP Cisco ACI ファブリック内に定義されたサブネットに属している場合や、宛先が外部プレフィックスについて最長プレフィックス一致(LPM)テーブルと一致しない場合のルーティングの処理。リーフは、ブリッジドメイン向けのサブネットルートを構成し、このブリッジドメインサブネットの経路をスパインプロキシ TEP 宛とすることによって不明な宛先 IP トラフィックをスパインプロキシノードに送信するように構成されています。

    マッピングデータベースの内容は、GUI を開いて [ファブリック(Fabric] > [インベントリ(Inventory] > [スパイン(Spine] > [プロトコル、COOPProtocols, COOP] > [エンドポイントデータベース(End Point database] に進むと確認できます。

    エンドポイントの MAC アドレス、ブリッジドメイン、および VTEP の学習は、エンドポイントがトラフィックを生成するリーフで行われます。その後、この MAC アドレスが COOP を通じてスパインスイッチに設定されます。

    ブリッジドメインと IP ルーティング

    ブリッジドメインがユニキャストルーティング用に構成されている場合、ファブリックは、次の方法で IP アドレス、VRF、およびエンドポイントの場所を学習します。

        エンドポイントの IPv4 アドレスまたは IPv6 アドレスの学習は、Address Resolution ProtocolARP)、Gratuitous ARPGARP)、およびネイバー探索Neighbor Discoveryを通じて実行されます。

        エンドポイントの IPv4 アドレスまたは IPv6 アドレスの学習は、エンドポイントからのトラフィックのデータプレーンルーティングを通じても行われます。これはデータプレーン学習と呼ばれています。

        動的ホスト構成プロトコル(DHCP)パケットを使用して、ID と場所の対応関係を学習できます。

    エンドポイントの IP アドレス、VRF、および VTEP の学習は、エンドポイントがトラフィックを生成するリーフで行われます。この IP アドレスは、COOP を通じてスパインスイッチに設定されます。

    「リモート」エントリ

    送信元エンドポイントが存在するリーフ(リーフ 1)から宛先エンドポイントが存在するリーフ(リーフ 2)にトラフィックが送信されると、宛先リーフは、送信元エンドポイントの IP アドレスとその送信元エンドポイントが存在するリーフ学習します

    この学習は、次のように行われます。

        リーフ 1 がトラフィックをスパインに転送します。

        スパインスイッチは、パケットを受信すると、マッピングデータベース全体を格納する転送テーブル内で宛先識別子アドレスを検索します。その後、スパインは宛先ロケータを使用してパケットを再度カプセル化しますVXLAN カプセル化においては元の Ingress 送信元ロケータアドレス保持されますそして、パケット目的の宛先にユニキャストパケットとして転送されます

        受信リーフノード(リーフ 2)は、VXLAN パケット内の情報を使用して、エンドポイントの IP アドレスおよび MAC アドレスの情報と、パケットの送信元の VTEP に関する情報に基づいて転送テーブルを更新します。

    より正確には、リーフノードは以下のとおり配置されているリモートエンドポイントと VTEP を学習します。

        ARP トラフィックにより、リモートエンドポイントの MAC アドレスと、トラフィックの送信元であるトンネルインターフェイスをリーフノードが学習します。

        ブリッジトラフィックにより、リモートエンドポイントの MAC アドレスと、トラフィックの送信元であるトンネルインターフェイスをリーフノードが学習します。

        フラッディングされた GARP トラフィック(ARP フラッディングが有効な場合)により、リーフノードリモートエンドポイントの MAC アドレスと IP アドレス、およびトラフィックの送信元であるトンネルインターフェイスを学習します。

        ルーテッドトラフィックを基に、リーフノードがリモートエンドポイントの IP アドレスと、トラフィックの送信元であるリーフを学習します。

    ARP パケットを基にしたデータプレーン学習

    ARP パケットの解析は、一部がハードウェアで、一部がソフトウェアで行われます。ARP パケットの処理は、Cisco ACI リーフが第 1 世代スイッチか第 2 世代スイッチかによって異なります。

    1 世代の Cisco ACI リーフスイッチを使用した Cisco ACI は、以下のように ARP パケット情報を使用します。

        Cisco ACI ARP パケットのペイロードからエンドポイントの送信元 MAC アドレスを学習する。

        Cisco ACI ARP パケットのペイロードからエンドポイントの IP アドレスを学習する。

    2 世代の Cisco ACI リーフスイッチを使用した Cisco ACI は、以下のように ARP パケット情報を使用します。

        ARP パケットがブリッジドメインのサブネット IP アドレス宛てに送信される場合、Cisco ACI ARP パケットのペイロードからエンドポイント MAC アドレスを学習する。

        ARP パケットの宛先がブリッジドメインのサブネット IP アドレスではない場合、Cisco ACI ARP パケットの送信元 MAC アドレスからエンドポイントの送信元 MAC アドレスを学習する。

        Cisco ACI ARP パケットのペイロードからエンドポイントの IP アドレスを学習する。

    Cisco ACI でのデータプレーン学習の構成

    Cisco ACI では、デフォルトでサーバの MAC アドレスと IP アドレスがコントロールプレーン(ARP DHCP)とデータプレーン(MAC アドレスのレイヤ 2 転送と IP アドレスのルーティング)を組み合わせて学習されます。

    データプレーンの学習は、以下のとおりいくつかの方法で無効化できます。

        リモートエンドポイント学習の無効化(Disable Remote Endpoint Learning):ボーダーリーフでリモートエントリの IP アドレスの学習を無効にするグローバルノブです。

        VRF レベルでデータプレーン学習を無効化(Disable Dataplane Learning at the VRF level):VRF 内の IP アドレスすべてについてデータプレーン学習を無効化します。これにより、ルーテッドトラフィックを基にしたローカルリーフ上の IP アドレスの学習無効になります。この構成では、リモート IP アドレスの学習も無効になります。「フローティング IP アドレスに関する考慮事項」セクションに記載されているシナリオを想定して設計する場合には、このオプションが役立ちます。

    このノブを使用する場合は VRF レベルで構成することをお勧めしますが、ブリッジドメインレベルのノブも準備されています。これは当初、サービスブリッジドメインのサービスグラフリダイレクトと併用するために導入されていました。このオプションは、Cisco と相談した上でCisco ACI 3.1 以降のコードと -EX リーフを使用する場合に限り使用できます。

    このノブでは、ルーティングの結果によるエンドポイント IP アドレスの学習が無効になります。つまりエンドポイントの IP アドレスの学習は ARP に基づくことになるため、GARP ベースの検出を有効にする必要があります。このノブでは、特定のブリッジドメインのデータプレーン学習のみが無効になります。これは、ルーティングトラフィックを基にしたローカルリーフの IP アドレスの学習および ARP トラフィックを基にした MAC アドレスの学習(サブネット IP 宛ての場合を除く)が無効になります。この構成により、リモート MAC アドレスとリモート IP アドレスの学習も無効になります。

    MAC アドレスがリモートで学習されないことによる不明なユニキャストフラッディング(Unknown Unicast Flooding発生を回避するために、ブリッジドメインはハードウェアプロキシモードで構成される必要があります。データプレーン学習が無効になっているブリッジドメインでは、IP マルチキャストルーティング機能しません

    データプレーン学習を利用するように構成されたブリッジドメインで、後このオプションが変更された場合、このブリッジドメインが存在するすべてのリーフスイッチからリモートエントリを消去する必要があります。

    本書執筆時点でこの構成オプションを適用する場合は、古くなったリモートエントリが正しく消去されたことをシスコ アドバンスドサービスを利用して確認する必要があります

    リモートエントリは、CLI または GUI から消去できます。図 50 は、GUI からリモートエントリを消去する方法です。

    図 50.     古くなったリモートエントリは、[ ファブリック(Fabric ] [ インベントリ(Inventory ] ビューの GUI から消去できます。

    Related image, diagram or screenshot

    Cisco ACI 4.0 からは、データプレーン学習 VRF 単位で無効にできます。この構成は BD 単位の構成ほどきめ細かくありませんが、古くなったリモートエントリを手動で消去する必要がありません。MAC アドレスは引き続きリモートで学習されるため、ブリッジドメインをハードウェアプロキシ用に構成する必要はなく、L3 マルチキャストルーティングも機能します。

    以下の表では、リモートエンドポイント(EP)の学習をグローバルに無効にするオプションを BD 単位の構成および VRF 単位の構成と比較しています。

    表 4.        Cisco ACI でのデータプレーン学習の構成オプション

    VRF におけるデータプレーン
    学習

    BD における別データプレーン
    学習

    リモート EP 学習(グローバル)

    ローカル MAC

    ローカル IP

    リモート MAC

    リモート IP

    リモート IP
    (マルチキャスト)

    有効

    有効

    有効

    学習済み

    学習済み

    学習済み

    学習済み

    学習済み

    有効

    有効

    無効

    学習済み

    学習済み

    学習済み

    ボーダーリーフで学習せず

    学習済み

    無効

    該当なし

    該当なし

    学習済み

    ARP から学習済み

    学習済み

    学習せず

    学習済み

    有効

    無効

    該当なし

    学習済み

    ARP から学習済み

    学習せず

    学習せず

    学習せず

    データプレーン学習の無効化は特定の種類のサーバを統合する際に役立ちますが、いくつかの注意事項があります。

        データプレーン学習を無効にすると、トラフィックに基づいたマッピングデータベースの継続的な更新が行われません。その結果、コントロールプレーンによるサーバ IP アドレスの ARP アドレス解決をより頻繁に実行する必要があります

        データプレーン学習が有効になっている場合、ACL フィルタリングは、宛先 IP アドレスの検索、および IP EPG 間のマッピングの検出によって主に Ingress リーフで行われます。データプレーン学習を無効にすると、ACL フィルタリングが Egress リーフで行われるため、ファブリックを通過するトラフィックが増大します。

        主にデータプレーン学習に依存している不正エンドポイント制御やエニーキャストなど、特定の機能の効果が低下します。

    詳しくは以下のドキュメントを参照してください。

    https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-739989.html

    フローティング IP アドレスに関する考慮事項

    構成によっては、ある IP アドレスが複数のサーバに存在し、その結果、複数の MAC アドレスに関連付けられることがあります

    複数の MAC アドレスに同じ IP アドレスが関連付けられている設計の例を以下に示します。

        送信ロードバランシングなどのアクティブ - アクティブ NIC チーミング

        アドレスハッシュまたは動的配信による Microsoft Hyper-V スイッチの独立したチーミング

        同じブリッジドメイン内に、ファイアウォールまたはロードバランサを使用しているサーバや、Cisco ACI ブリッジドメインをデフォルトゲートウェイとして使用する他のサーバと、ファイアウォールまたはロードバランサが併存する設計

        クラスタリングの場合、IP アドレスがサーバ間で移動することがあります。これにより MAC アドレスが変更され、GARP 要求により新しいマッピングが通知されます。IP 要求を ARP テーブルにキャッシュしたすべてのホストがこの通知を受信する必要があります。

        Microsoft ネットワーク ロード バランシング

    これらのシナリオでは、VRF またはブリッジドメインレベルにおいてデータプレーン学習の無効化が必要な場合があります。

    NIC チーミング設計時の考慮事項

    仮想化されていないサーバは、NIC チーミングを通じて複数の方法で Cisco ACI ファブリックに接続できます。最も一般的に適用されている NIC チーミングオプションは以下のとおりです。

        vPC

        アクティブ - スタンバイ NIC チーミング

        アクティブ - アクティブ NIC チーミング

    vPC

    vPC を使用する場合、vPC インターフェイスは 1 個のインターフェイスと論理的に等価であるため、ブリッジドメインでは特別な調整は必要ありません。

    アクティブ - スタンバイ NIC チーミング

    アクティブ - スタンバイ NIC チーミングでは、1 つのインターフェイスがアクティブになり、1 つ以上のインターフェイスがスタンバイ状態になります。フェールオーバープロセスの実装形態は、ボンディングの実装によって異なります。

        アクティブインターフェイスの MAC アドレスはフェールオーバー後も同一である場合は、サーバの IP アドレスを新しい MAC アドレスに再マッピングする必要はありません。

        フェールオーバーが発生新たにアクティブになったインターフェイスが自身の MAC アドレスを使用してトラフィックを送信する場合、同じレイヤ 2 ドメイン内のすべてのサーバで、IP アドレスと MAC アドレス間のマッピングを更新する必要があります。そのため、この種の実装では、サーバがフェールオーバー後に GARP 要求を送信します。

    最初の実装形態では、新たにアクティブになったインターフェイスがフェールオーバー直後にトラフィックの送信を開始した場合、ブリッジドメイン構成を変更する必要はありません。MAC アドレスと VTEP 間のマッピングがマッピングデータベースで自動更新され、その結果 IP アドレスと VTEP 間のマッピングも更新されるため、すべてが正常に機能します。

    2 番目の実装形態では、GARP 要求をブリッジドメイン内のサーバに到達させるために、ブリッジドメインを ARP フラッディング用に構成する必要があります。また GARP パケットがトリガとなり、ARP フラッディングが有効か無効かにかかわらず、IP アドレスと MAC アドレスとの間のマッピングや IP アドレスと VTEP との間のマッピングに使用されるマッピングデータベースが更新されます。

    アクティブ - アクティブ NIC チーミング

    送信ロードバランシングなど、アクティブ - アクティブ NIC チーミングを利用するよう構成されたサーバは、複数の NIC カードから異なる MAC アドレスを使用して同じ送信元 IP アドレスを送信します。

    アドレスハッシュまたは動的負荷分散によるスイッチに依存しないチーミングを適用した Microsoft Hyper-V などの仮想サーバは、複数の NIC からその NIC MAC アドレスを使用して同じ送信元 IP アドレスを送信することもできます。

    この種のサーバを使用する場合の最適な接続方式は、チーミングを次のいずれかの方式に変更することです。

    物理ホストには、他の NIC チーミング構成を使用してください。

        Cisco ACI リーフ上の vPC LACP を併用したポートチャネリング

        アクティブ - スタンバイ NIC チーミング

        スイッチに依存しないチーミング Hyper-V ポートを使用する Microsoft Hyper-V と同様の MAC ピニングなど

    チーミング構成を変更できない場合は、できれば VRF 構成を変更すること、またはどうしても必要な場合(ACI をアップグレードできない場合など)は、注意事項を理解し、シスコに相談した上でブリッジドメイン構成を変更することにより、データプレーン学習を無効にできます。

    EPG 設計時の考慮事項

    エンドポイントからのトラフィックは、ハードウェアおよびソフトウェアに基づくさまざまな調節可能な基準に基づいて EPG に分類・グループ化されます。

    Cisco ACI では、次の 3 種類のエンドポイントを分類できます。

        物理エンドポイント

        仮想エンドポイント

        外部エンドポイント(外側から Cisco ACI ファブリックにトラフィックを送信するエンドポイント)

    アプリケーション プロファイルの EPG から EPG へのホストの割り当て

    管理者は、仮想マシンの属性に基づき分類を構成できます。これは、ソフトウェアとハードウェアの組み合わせによって、VLAN ベースまたは MAC ベースのいずれかになります。

    ハードウェア(ASIC モデルに依存)は、次の条件でトラフィックを分類できます。

        VLAN カプセル化範囲、または VXLAN カプセル化範囲

        ポートと VLAN、またはポートと VXLAN

        ネットワークとマスク、またはファブリック外で発生するトラフィック(つまりレイヤ 3 外部トラフィックの一部と考えられるトラフィックの IP アドレス)

        送信元 IP アドレス、またはサブネット(Cisco Nexus E プラットフォーム リーフ ノード、Cisco Nexus 9300-EX プラットフォームスイッチ、または Cisco 9300-FX プラットフォームスイッチ以降使用の場合)

        送信元 MAC アドレス(Cisco Nexus 9300-EX プラットフォームスイッチまたは Cisco 9300-FX プラットフォームスイッチ以降使用の場合)

    管理者の観点からは、リーフへの着信トラフィックを次の条件で分類できます。

        VLAN カプセル化範囲

        ポートと VLAN

        ネットワークとマスク、またはファブリック外で発生するトラフィック(つまりレイヤ 3 外部トラフィックの一部と考えられるトラフィックの IP アドレス)

        ポートグループへの明示的な仮想 NICvNIC)の割り当て。ハードウェアレベルでは、これが Cisco ACI VMM の間でネゴシエートされダイナミック VLAN またはダイナミック VXLAN による分類に置き換わります。

        送信元 IP アドレスまたはサブネット。物理マシンでこの機能を使用するには、送信元 IP アドレス分類機能をサポートするハードウェアが必要です(Cisco Nexus E プラットフォーム リーフ ノード以降のプラットフォーム)。

        送信元 MAC アドレス。物理マシンでこの分類を行うには、MAC アドレスによる分類と Cisco ACI 2.1 以上をサポートするハードウェアが必要です。

        仮想マシンの属性。この分類では、仮想マシンに関連付けられた属性ごとに、仮想マシンを EPG に割り当てます。ハードウェアレベルでは、この分類は MAC アドレスによる分類に置き換わります

    以下のとおり、ワークロードを EPG に割り当てることができます。

        EPG をポートと VLAN に静的マッピングします。

        EPG VLAN に、リーフ上のスイッチ単位で静的マッピングします。

        EPG VMM ドメインにマッピングします(その後、関連付けられたポートグループに vNIC が割り当てられます)。

        ベース EPG VMM ドメインにマッピングし、仮想マシンの属性ごとにマイクロセグメントを作成します(その後、vNIC がベース EPG に割り当てられます)。

    注:VLAN に対してスイッチ単位で(静的なリーフバインディング構成を使用して)EPG マッピングを構成すると、Cisco ACI は対象スイッチのすべてのリーフポートをレイヤ 2 ポートとして構成します。同じリーフポートで L3Out 接続を構成する必要がある場合、これらのポートをレイヤ 3 ポートとして構成することはできません。つまり、あるリーフがコンピューティングリーフとボーダーリーフを兼ねる場合は、EPG VLAN スイッチ単位でマッピングするのではなく、ポートおよび VLAN にマッピングしてください。

    Attachable Access Entity ProfileAAEP)から EPG へのホストの割り当て

    トラフィックにタグ付けされた VLAN に基づき、ポートから送信される各トラフィックの属する EPG を構成できます。この種の構成は通常、テナント構成から実行されますが、面倒でエラーが発生しやすいとされます。

    この EPG を構成する(より効率的かもしれない)別の方法は、図 5 で説明のとおり、Attachable Access Entity ProfileAAEP)から EPG マッピングを直接構成することです。

    この構成について詳しくは、以下のリンクを参照してください。

    https://www.cisco.com/c/ja_jp/td/docs/switches/datacenter/aci/apic/sw/2-x/basic_config/b_APIC_Basic_Config_Guide_2_x/b_APIC_Basic_Config_Guide_2_x_chapter_0101.html#id_30752

    図 51.     AAEP からの EPG の構成

    Related image, diagram or screenshot

    トランクポートおよびアクセスポートの構成

    Cisco ACI では、EPG によって使用されるポートを次のいずれかの形式に構成できます。

        トランクまたはタグ付き(従来の IEEE 802.1q トランク):EPG のトラフィックは、指定された VLAN タグ付きでリーフにより送信されます。リーフはまた、その VLAN でタグ付けされたトラフィックを受信し、それを EPG に関連付けることもします。タグなしで受信したトラフィックは廃棄されます。

        アクセス(タグなし):EPG のトラフィックは、リーフによってタグなしで送信されます。リーフがタグなしで受信したトラフィック、またはスタティックバインディング構成中に指定されたタグ付きで受信したトラフィックが EPG に関連付けられます。

        アクセス(IEEE 802.1p):1 つの EPG のみが該当のインターフェイスにバインドされている場合、タグなしの場合と同様に動作します。他の EPG が同じインターフェイスに関連付けられている場合、EPG のトラフィックは、VLAN 0IEEE 802.1p タグ)を使用して IEEE 802.1q タグ付きで送信されます。

    Cisco Nexus 9300-EX または Cisco 9300-FX プラットフォームスイッチを使用している場合、同じリーフ上の異なるインターフェイスをトランクモードとアクセス(タグなし)モードの両方で任意の EPG に同時にバインドできます。この構成は、前世代のリーフスイッチでは行えませんでした。第 1 世代のリーフスイッチでは、アクセス(IEEE 802.1p)オプションによって同じ EPG 内のアクセスポートとトランクポートを許可できたため、このオプションを選択してベアメタルホストに EPG を接続することが推奨されていました。

    アクセスポート用のアクセス(IEEE 802.1pEPG バインディングはほとんどのサーバに対し機能しますが、ブート前実行環境(PXE)を使用するホストおよび非 x86 ホストとは適合しないことがあります。このような不適合は、リーフからホストへのトラフィックが VLAN タグ「0」を伝送している場合に発生します。アクセス(IEEE 802.1p)用に構成されたアクセスポートを持つ EPG VLAN タグが「0」であるかどうかは、構成によって決まります。

    リーフノード上のポート複数の EPG を利用するよう構成されている場合、これらの EPG 1 つがアクセス(IEEE 802.1p)モードになっていて、その他の EPG がトランクモードになっている場合、使用中のスイッチハードウェアによって動作が次のように異なります。

        1 世代 Cisco Nexus 9300 プラットフォームスイッチを使用している場合、IEEE 802.1p モードの EPG からのトラフィックは、VLAN 0 としてタグ付けされたポートから送出されます

        Cisco Nexus 9300-EX 以降のスイッチを使用している場合、IEEE 802.1p モードの EPG からのトラフィックは、タグ付けされていないポートから送出されます。

    簡単にいうと、第 1 世代リーフスイッチを使用している場合は、アクセスポートをアクセスタイプ(IEEE 802.1p)に構成することで、EPG にアクセスポートとトランクポートの両方を持たせることができます。

    Cisco Nexus 9300-EX 以降のプラットフォームスイッチをリーフとして使用している場合は、アクセスポートにアクセス(タグなし)タイプのスタティックバインディングを構成する必要があり、同じ EPG にアクセス(タグなし)ポートとトランク(タグ付き)ポートを混在させることができます

    またポートを指定せず、リーフの VLAN に対する EPG バインディングを定義する方法もあります。この方法は便利ですが、同じリーフがボーダーリーフでもある場合、この方法によりすべてのリーフポートがトランクポートに変更されるためにレイヤ 3 インターフェイスを構成できないというデメリットがあります。そのためこのリーフで L3Out 接続を構成する場合は、SVI インターフェイスを使用する必要があります。

    EPG VLAN 間のマッピング

    一般に、Cisco ACI VLAN は、リーフスイッチ上においてローカルな意味を持ちます。ポートごと VLAN 一意性が必要な場合VLAN 適用範囲を [ポートローカル(Port Local] に設定したレイヤ 2 インターフェイスポリシーに物理ドメインを関連付ける必要があります。

    VLAN 適用範囲が [global(グローバル)] に設定された EPG VLAN との間のマッピングは、以下のルールに従い行われます。

        該当リーフ上の別の EPG にまだマッピングされていない VLAN EPG マッピングできます。

        2 つの EPG の属するブリッジドメインが同一か異なるかにかかわらず、リーフでは、ポート上ですでに別の EPG 使用されている VLAN と同じ VLAN を再利用することはできません。

        あるリーフ上のある EPG 別のリーフ上にある別の EPG の間であれば、同じ VLAN 番号を使用できます。2 つの EPG が同じブリッジドメイン内にある場合、BPDU 用に同じフラッドドメイン VLAN を共有し、ブロードキャストドメインを共有します。

    VLAN 適用範囲が [local(ローカル)] に設定された EPG VLAN との間のマッピングは、以下のルールに従い行われます。

        2 つのポートが別々の物理ドメインに構成されている場合、ブリッジドメイン異なる 2 つの EPG は、同じリーフの異なるポートで同じ VLAN マッピングできます。

        同じブリッジドメインに属する 2 つの EPG は、同じリーフ上の異なるポートであっても同じ VLAN にマッピングすることはできません。

    52 は以上の内容を表した図です。

    図 52.     ブリッジドメイン、EPG 、および物理ドメイン

    Related image, diagram or screenshot

    必要に応じて EPG 内でフラッディング BPDU を適用できるよう、ブリッジドメイン内およびリーフノード全体で、EPG ごとに一意の VLAN を使用することが推奨されます。

    EPG 内では、他のスイッチを経由したネットワーク接続に対しては、ファブリックのリーフに直接接続されたエンドポイントに使用する VLAN とは異なる VLAN の使用推奨されます。こにより、スパニングツリートポロジ変更通知(TCN)イベントの影響範囲を、他のスイッチ経由でネットワークで学習されたエンドポイントの消去だけに限定できます。

    EPG と外部スイッチの接続

    2 台の外部スイッチがファブリック内の異なる 2 つの EPG に接続されている場合は、決してこれらの外部スイッチをファブリックの外部直接接続しないでください。このような場合には、誤って物理的に直接接続された場合にはすぐに遮断されるよう外部スイッチのアクセスポートで BPDU ガードを有効にすることが強く推奨されます。

    たとえば 53 例を参照してみましょう。

    図 53.     同じブリッジドメイン内の複数の EPG にスイッチを接続

    Related image, diagram or screenshot

    この例では、外部ネットワークからの VLAN 10 20 Cisco ACI ファブリックによって結びつけられています。Cisco ACI ファブリックは、これら 2 個の VLAN 間のトラフィックに対してレイヤ 2 ブリッジングを提供します。これらの VLAN は、同じフラッディングドメイン内に存在します。Cisco ACI ファブリックは、スパニングツリープロトコルの観点から、EPG 内(同じ VLAN ID 内)で BPDU をフラッディングします。Cisco ACI リーフが EPG 1 での BPDU を受信すると、EPG 1 すべてのリーフポートに BPDU をフラッディングします。BPDU フレームは他の EPG のポートには送信しません。このフラッディング動作によって、EPGVLAN 10 および VLAN 20)内でループが発生している場合にこれを解消できます。VLAN 10 および 20 には、Cisco ACI ファブリックの提供する接続以外で物理的に接続されないよう注意してください。外部スイッチのアクセスポートでは、BPDU ガード機能を必ず有効にしてください。この機能を有効にすることで、外部スイッチを誤って相互接続した場合に BPDU ガードがポートを無効とすることでループを解消できます。

    マルチスパニングツリーの適用

    マルチスパニングツリー(MSTBPDU による適切なフラッディングには、追加の構成が必要です。VLAN 単位スパニングツリー(PVST)と高速 VLAN 単位スパニングツリー(RPVST)用の BPDU フレームには、VLAN タグが付加されてい