AVS- ACI 1.2(x) リリースを使用した GoTo（L3）モードの ASAv
はじめに
このドキュメントでは、2つのエンドポイントグループ(EPG)間のL4-L7サービスグラフとしてルーテッド/GOTOモードの適応型セキュリティ仮想アプライアンス(ASAv)シングルファイアウォールを使用してアプリケーション仮想スイッチ(AVS)スイッチを展開し、ACI 1.2(x)リリースを使用してクライアントとサーバ間の通信を確立する方法について説明します。
前提条件
要件
次の項目に関する知識があることが推奨されます。
- 設定済みのアクセスポリシーとインターフェイスの稼働およびインサービス
- EPG、ブリッジドメイン(BD)、およびVirtual Routing and Forwarding(VRF)がすでに設定されている
使用するコンポーネント
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
ハードウェアおよびソフトウェア：
- UCS C220 - 2.0(6d)
- ESXi/vCenter - 5.5
- ASAv:asa-device-pkg-1.2.4.8
- AVS:5.2.1.SV3.1.10
- APIC:1.2(1i)
- リーフ/スパイン – 11.2(1i)
- デバイスパッケージ*.zipはすでにダウンロードされています
機能
- AVS
- ASAv
- EPG、BD、VRF
- Access Control List（ACL; アクセス コントロール リスト）
- L4-L7サービスグラフ
- vCenter
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
設定
ネットワーク図
この図に示すように、
コンフィギュレーション
AVSの初期セットアップでVMware vCenterドメインを作成（VMM統合）2
- 1つのドメインに複数のデータセンターと分散仮想スイッチ(DVS)エントリを作成できます。ただし、各データセンターに割り当てることができるCisco AVSは1つだけです。
- Cisco AVSを使用したサービスグラフの導入は、Cisco ACIリリース1.2(1i)からCisco AVSリリース5.2(1)SV3(1.10)でサポートされます。 サービスグラフ設定全体が、Cisco Application Policy Infrastructure Controller(Cisco APIC)で実行されます。
- Cisco AVSを使用したサービス仮想マシン(VM)の導入は、仮想ローカルエリアネットワーク(VLAN)のカプセル化モードを使用するVirtual Machine Manager(VMM)ドメインでのみサポートされます。ただし、コンピューティングVM（プロバイダーおよびコンシューマVM）は、仮想拡張LAN(VXLAN)またはVLANカプセル化を使用してVMMドメインに含めることができます。
- また、ローカルスイッチングを使用する場合は、マルチキャストアドレスとプールは必要ありません。ローカルスイッチングが選択されていない場合は、マルチキャストプールを設定する必要があり、AVSファブリック全体のマルチキャストアドレスはマルチキャストプールに含まれません。AVSから発信されるすべてのトラフィックは、VLANまたはVXLANでカプセル化されます。
図に示すように、VM Networking > VMWare > Create vCenter Domainの順に移動します。
ポートチャネルまたはVPC（仮想ポートチャネル）を使用している場合は、vSwitchポリシーでMACピニングを使用するように設定することをお勧めします。
その後、APICは図に示すようにAVSスイッチの設定をvCenterにプッシュします。
APICで、VXLANトンネルエンドポイント(VTEP)アドレスがAVSのVTEPポートグループに割り当てられていることがわかります。このアドレスは、使用されている接続モード（VLANまたはVXLAN）に関係なく割り当てられます
vCenterへのCisco AVSソフトウェアのインストール
- 次のリンクを使用して、CCOからvSphere Installation Bundle(VIB)をダウンロードします。
表1:ESXi 6.0、5.5、5.1、および5.0のホストソフトウェアバージョンの互換性
ZIPファイルには3つのVIBファイルがあり、図に示すように、各ESXiホストバージョンに1つずつ、ESX 5.5に適した1つを選択します。
- VIBファイルをESXデータストアにコピーします。これは、CLIを使用して、またはvCenterから直接行うことができます。
esxcliソフトウェアvibの削除 – n cross_cisco-vem-v197-5.2.1.3.1.5.0-3.2.1.vib
または、データストアを直接参照します。
- 次のコマンドを使用して、ESXiホストにAVSソフトウェアをインストールします。
esxcliソフトウェアvib install -v /vmfs/volumes/datastore1/cross_cisco-vem-v250-5.2.1.3.1.10.0-3.2.1.vib —maintenance-mode —no-sig-check
- 仮想イーサネットモジュール(VEM)が起動したら、ホストをAVSに追加できます。
Add Host to vSphere Distributed Switchダイアログボックスで、図に示すように、リーフスイッチに接続されている仮想NICポートを選択します（この例では、vmnic6のみを移動します）。
- [Next] をクリックします。
- Network ConnectivityダイアログボックスでNextをクリックします
- [仮想マシンネットワーク]ダイアログボックスで、[次へ]をクリックします
- [完了準備]ダイアログボックスで、[完了]をクリックします
これでAVSの統合は完了し、L4-L7 ASAvの導入を続行する準備が整いました。
ASAvの初期設定
- Cisco ASAvデバイスパッケージをダウンロードし、APICにインポートします。
図に示すように、L4-L7 Services > Packages > Import Device Packageの順に移動します。
- すべてが正しく機能している場合、図に示すように、インポートされたデバイスパッケージのL4-L7サービスデバイスタイプフォルダが展開されていることがわかります。
次に進む前に、実際のL4-L7統合を実行する前に決定する必要のあるインストールのいくつかの側面を示します。
管理ネットワークには、インバンド管理(IBM)とアウトオブバンド(OOB)の2つのタイプがあります。これらは、基本的なアプリケーションセントリックインフラストラクチャ(ACI)（リーフ、スパイン、またはapicコントローラ）に含まれないデバイスの管理に使用できます。これには、ASAv、ロードバランサなどが含まれます。
この場合、ASAvのOOBは、標準vSwitchを使用して導入されます。ベアメタルASAまたはその他のサービスアプライアンスやサーバの場合は、図に示すように、OOB管理ポートをOOBスイッチまたはネットワークに接続します。
ASAv OOB Mgmtポート管理接続は、ESXiアップリンクポートを使用してOOB経由でAPICと通信する必要があります。 vNICインターフェイスをマッピングする場合、Network adapter1は常にASAvのManagement0/0インターフェイスと一致し、残りのデータプレーンインターフェイスはNetwork adapter2から開始されます。
表2は、ネットワークアダプタIDとASAvインターフェイスIDの一致を示しています。
表 2
- File > Deploy OVF (Open Virtualization Format)Templateからウィザードを使用してASAv VMを導入します。
- スタンドアロンESX Serverを使用する場合はasav-esxi、vCenterを使用する場合はasav-viを選択します。この例では、vCenterが使用されます。
- インストールウィザードを実行し、利用規約に同意します。 ウィザードの途中で、ホスト名、管理、IPアドレス、ファイアウォールモード、およびASAvに関連するその他の特定の情報など、いくつかのオプションを決定できます。ASAvにはOOB管理を使用することを忘れないでください。この場合、VMネットワーク（標準スイッチ）を使用している間は、インターフェイスManagement0/0を維持する必要があり、インターフェイスGigabitEthernet0-8はデフォルトのネットワークポートです。
- Finishをクリックし、ASAvの導入が終了するまで待ちます
- ASAv VMの電源をオンにし、コンソールからログインして初期設定を確認します
- 図に示すように、一部の管理設定はすでにASAvファイアウォールにプッシュされています。管理者ユーザ名とパスワードを設定します。 このユーザ名とパスワードは、APICがログインしてASAを設定するために使用されます。ASAはOOBネットワークに接続されており、APICに到達できる必要があります。
username admin password <device_password> encrypted privilege 15
さらに、グローバルコンフィギュレーションモードでhttp server:
HTTPサーバの有効化
http 0.0.0.0 0.0.0.0管理
APICでのASAv統合のL4-L7:
- ACI GUIにログインし、サービスグラフを展開するテナントをクリックします。ナビゲーションペインの下部でL4-L7サービスを展開し、L4-L7 Devicesを右クリックしてCreate L4-L7 devicesをクリックし、ウィザードを開きます
-
この実装では、次の設定が適用されます。
– マネージドモード
– ファイアウォールサービス
– 仮想デバイス
– 単一ノードでAVSドメインに接続
- ASAvモデル
– ルーテッドモード(GoTo)
-Management Address（Mgmt0/0インターフェイスに割り当てられた以前のアドレスと一致する必要がある）
- HTTPSをAPICとして使用する（デフォルトでは、最も安全なプロトコルを使用してASAvと通信する）
- デバイスインターフェイスとクラスタインターフェイスを正しく定義することは、導入を成功させるために重要です
最初の部分では、前のセクションに示した表2を使用して、ネットワークアダプタIDと使用するASAvインターフェイスIDを正しく一致させます。パスとは、ファイアウォールインターフェイスへの出入り経路を有効にする物理ポート、ポートチャネル、またはVPCを指します。この場合、ASAはESXホストにあり、インとアウトは両方のインターフェイスで同じです。物理アプライアンスでは、ファイアウォール(FW)の内部と外部は異なる物理ポートになります。
2番目の部分では、Clusterインターフェイスを例外なく常に定義する必要があります（Cluster HAが使用されていない場合でも）。これは、オブジェクトモデルにmIfインターフェイス（デバイスパッケージのメタインターフェイス）、LIfインターフェイス（外部、内部、内部などのリーフインターフェイス）およびCIf（具象インターフェイス）の関連付けがあるためです。 L4-L7の具体的なデバイスは、デバイスクラスタ構成で設定する必要があり、この抽象化を論理デバイスと呼びます。論理デバイスには、具象デバイス上の具象インターフェイスにマッピングされた論理インターフェイスがあります。
この例では、次の関連付けが使用されます。
Gi0/0 = vmnic2 = ServerInt/provider/server > EPG1
Gi0/1 = vmnic3 = ClientInt/consumer/client > EPG2
デバイスの状態は安定しており、機能プロファイルとサービスグラフテンプレートを導入できる状態である必要があります。
サービスグラフテンプル
最初にASAvの機能プロファイルを作成しますが、その前に図に示すように、機能プロファイルグループを作成し、そのフォルダの下にL4-L7サービス機能プロファイルを作成する必要があります。
- ドロップダウンメニューからWebPolicyForRoutedModeプロファイルを選択し、ファイアウォールでのインターフェイスの設定に進みます。以降、この手順はオプションであり、後で実装または変更できます。これらの手順は、サービスグラフの再利用方法またはカスタム方法に応じて、導入段階のいくつかの異なる段階で実行できます。
この演習では、ルーテッドファイアウォール（GoToモード）では、各インターフェイスに一意のIPアドレスが必要です。標準のASA設定には、インターフェイスセキュリティレベルもあります（外部インターフェイスの方が安全性が低く、内部インターフェイスの方が安全性が高くなります）。 必要に応じて、インターフェイスの名前を変更することもできます。この例では、デフォルトを使用しています。
- Interface Specific Configurationを展開し、IPアドレスx.x.x.x/y.y.y.yまたはx.x.x.x/yyの形式でServerIntのIPアドレスとセキュリティレベルを追加します。ClientIntインターフェイスに対してこのプロセスを繰り返します。
- 次にSubmitをクリックします
- ここで、サービスグラフテンプレートを作成します
- デバイスクラスタを右にドラッグアンドドロップして、コンシューマとプロバイダーの関係を形成し、ルーテッドモードと以前作成した機能プロファイルを選択します。
- テンプレートにエラーがないかどうかを確認します。テンプレートは再利用可能なように作成されるので、特定のEPGなどに適用する必要があります。
- テンプレートを適用するには、右クリックして[L4-L7サービスグラフテンプレートを適用]を選択します
- コンシューマ側とプロバイダー側のEPGを定義します。この課題では、AVS-EPG2がコンシューマ（クライアント）で、AVS-EPG1がプロバイダー（サーバ）です。 フィルタは適用されないことに注意してください。これにより、ファイアウォールは、このウィザードの最後のセクションで定義されたアクセスリストに基づいてすべてのフィルタリングを実行できます。
- [Next] をクリックします。
- 各EPGのBD情報を確認します。この場合、EPG1はIntBD DB上のプロバイダーで、EPG2はBD ExtBD上のコンシューマです。EPG1はファイアウォールインターフェイスServerIntに接続し、EPG2はインターフェイスClientIntに接続します。両方のFWインターフェイスがそれぞれのEPGのDGになるため、トラフィックは常にファイアウォールを通過するように強制されます。
- [Next] をクリックします。
- Config ParametersセクションでAll Parametersをクリックし、アップデート/設定が必要なREDインジケータが存在するかどうかを確認します。図に示されている出力では、アクセスリストの順序が誤っていることがわかります。これは、show ip access-list Xで表示される行の順序と同じです。
- また、前に定義した機能プロファイルから割り当てられたIPアドレッシングを確認できます。必要に応じて、この時点で情報を変更できます。すべてのパラメータを設定したら、図に示すように、Finishをクリックします。
- 問題がなければ、新しい導入済みデバイスとグラフインスタンスが表示されます。
確認
- サービスグラフを作成した後で確認すべき重要な点の1つは、コンシューマ/プロバイダー関係が適切なメタコネクタを使用して作成されたことです。[機能コネクタのプロパティ]で、を確認します。
- ASAvにプッシュされた情報を確認することもできます
- 新しい契約がEPGで割り当てられます。今後、アクセスリスト上の何かを変更する必要がある場合は、プロバイダーEPGのL4-L7サービスパラメータから変更を行う必要があります。
- vCenterでは、シャドウEPGが各FWインターフェイスに割り当てられていることも確認できます。
このテストでは、2つのEPGが標準コントラクトと通信し、これらの2つのEPGは異なるドメインおよび異なるVRFにあるため、それらの間のルート漏出はあらかじめ設定されています。これにより、FWが2つのEPG間でルーティングとフィルタリングを設定するため、サービスグラフを挿入した後の作業が少し簡素化されます。以前にEPGおよびBDで設定したDGをコントラクトと同じように削除できます。L4-L7によってプッシュされた契約だけがEPGの下に残る必要があります。
標準コントラクトが削除されると、トラフィックがASAvを通過するようになったことを確認できます。show access-listコマンドを使用すると、クライアントがサーバに要求を送信するたびに、ルールのヒットカウントが増分されて表示されます。
リーフでは、クライアントとサーバのVMおよびASAvインターフェイスのエンドポイントを学習する必要があります
vemに接続された両方のファイアウォールインターフェイスを参照してください。
ESX-1
ESX-2
最後に、送信元と宛先のEPGのPCタグがわかっている場合も、リーフレベルでファイアウォールルールを確認できます。
フィルタIDをリーフ上のPCタグと照合して、FWルールを確認できます。
クライアントからサーバへの通信が機能します。
トラブルシュート
VTEPアドレスが割り当てられていない
AEPでInfrastructure Vlanにチェックマークが付いていることを確認します。
サポートされていないバージョン
VEMバージョンが正しく、適切なESXi VMWareシステムをサポートしていることを確認します。
~ # vem version Running esx version -1746974 x86_64 VEM Version: 5.2.1.3.1.10.0-3.2.1 OpFlex SDK Version: 1.2(1i) System Version: VMware ESXi 5.5.0 Releasebuild-1746974 ESX Version Update Level: 0
VEMとファブリック通信が機能していない
- Check VEM status vem status - Try reloading or restating the VEM at the host: vem reload vem restart - Check if there’s connectivity towards the Fabric. You can try pinging 10.0.0.30 which is (infra:default) with 10.0.0.30 (shared address, for both Leafs) ~ # vmkping -I vmk1 10.0.0.30 PING 10.0.0.30 (10.0.0.30): 56 data bytes --- 10.0.0.30 ping statistics --- 3 packets transmitted, 0 packets received, 100% packet loss If ping fails, check: - Check OpFlex status - The DPA (DataPathAgent) handles all the control traffic between AVS and APIC (talks to the immediate Leaf switch that is connecting to) using OpFlex (opflex client/agent).
All EPG communication will go thru this opflex connection. ~ # vemcmd show opflex Status: 0 (Discovering) Channel0: 0 (Discovering), Channel1: 0 (Discovering) Dvs name: comp/prov-VMware/ctrlr-[AVS]-vCenterController/sw-dvs-129 Remote IP: 10.0.0.30 Port: 8000 Infra vlan: 3967 FTEP IP: 10.0.0.32 Switching Mode: unknown Encap Type: unknown NS GIPO: 0.0.0.0 you can also check the status of the vmnics at the host level: ~ # esxcfg-vmknic -l Interface Port Group/DVPort IP Family IP Address Netmask Broadcast MAC Address MTU TSO MSS Enabled Type vmk0 Management Network IPv4 10.201.35.219 255.255.255.0 10.201.35.255 e4:aa:5d:ad:06:3e 1500 65535 true STATIC vmk0 Management Network IPv6 fe80::e6aa:5dff:fead:63e 64 e4:aa:5d:ad:06:3e 1500 65535 true STATIC, PREFERRED vmk1 160 IPv4 10.0.32.65 255.255.0.0 10.0.255.255 00:50:56:6b:ca:25 1500 65535 true STATIC vmk1 160 IPv6 fe80::250:56ff:fe6b:ca25 64 00:50:56:6b:ca:25 1500 65535 true STATIC, PREFERRED ~ # - Also on the host, verify if DHCP requests are sent back and forth: ~ # tcpdump-uw -i vmk1 tcpdump-uw: verbose output suppressed, use -v or -vv for full protocol decode listening on vmk1, link-type EN10MB (Ethernet), capture size 96 bytes 12:46:08.818776 IP truncated-ip - 246 bytes missing! 0.0.0.0.bootpc > 255.255.255.255.bootps: BOOTP/DHCP, Request from 00:50:56:6b:ca:25 (oui Unknown), length 300 12:46:13.002342 IP truncated-ip - 246 bytes missing! 0.0.0.0.bootpc > 255.255.255.255.bootps: BOOTP/DHCP, Request from 00:50:56:6b:ca:25 (oui Unknown), length 300 12:46:21.002532 IP truncated-ip - 246 bytes missing! 0.0.0.0.bootpc > 255.255.255.255.bootps: BOOTP/DHCP, Request from 00:50:56:6b:ca:25 (oui Unknown), length 300 12:46:30.002753 IP truncated-ip - 246 bytes missing! 0.0.0.0.bootpc > 255.255.255.255.bootps: BOOTP/DHCP, Request from 00:50:56:6b:ca:25 (oui Unknown), length 300
この時点で、ESXiホストとリーフ間のファブリック通信が正しく動作していないと判断できます。一部の検証コマンドは、根本原因を特定するためにリーフ側で確認できます。
leaf2# show cdp ne
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute
Device-ID Local Intrfce Hldtme Capability Platform Port ID
AVS:localhost.localdomainmain
Eth1/5 169 S I s VMware ESXi vmnic4
AVS:localhost.localdomainmain
Eth1/6 169 S I s VMware ESXi vmnic5
N3K-2(FOC1938R02L)
Eth1/13 166 R S I s N3K-C3172PQ-1 Eth1/13
leaf2# show port-c sum
Flags: D - Down P - Up in port-channel (members)
I - Individual H - Hot-standby (LACP only)
s - Suspended r - Module-removed
S - Switched R - Routed
U - Up (port-channel)
M - Not in use. Min-links not met
F - Configuration failed
-------------------------------------------------------------------------------
Group Port- Type Protocol Member Ports
Channel
-------------------------------------------------------------------------------
5 Po5(SU) Eth LACP Eth1/5(P) Eth1/6(P)Po5で接続されたESXiでは2つのポートが使用されます
leaf2# show vlan extended VLAN Name Status Ports ---- -------------------------------- --------- ------------------------------- 13 infra:default active Eth1/1, Eth1/20 19 -- active Eth1/13 22 mgmt:inb active Eth1/1 26 -- active Eth1/5, Eth1/6, Po5 27 -- active Eth1/1 28 :: active Eth1/5, Eth1/6, Po5 36 common:pod6_BD active Eth1/5, Eth1/6, Po5 VLAN Type Vlan-mode Encap ---- ----- ---------- ------------------------------- 13 enet CE vxlan-16777209, vlan-3967 19 enet CE vxlan-14680064, vlan-150 22 enet CE vxlan-16383902 26 enet CE vxlan-15531929, vlan-200 27 enet CE vlan-11 28 enet CE vlan-14 36 enet CE vxlan-15662984上記の出力から、インフラストラクチャVLANがESXiホスト(1/5-6)に向かうアップリンクポートで許可されていないこと、または通過していないことがわかります。 これは、APICで設定されたインターフェイスポリシーまたはスイッチポリシーの設定ミスを示しています。
次の両方を確認します。
アクセスポリシー>インターフェイスポリシー>プロファイルアクセスポリシー>スイッチポリシー>プロファイル
この場合、図に示すように、インターフェイスプロファイルが誤ったAEP（DVSに使用される古いAEP）に接続されています。
AVSの正しいAEPを設定した後、リーフの適切なリンク解除を通じてインフラストラクチャVLANが確認できます。
leaf2# show vlan extended
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
13 infra:default active Eth1/1, Eth1/5, Eth1/6,
Eth1/20, Po5
19 -- active Eth1/13
22 mgmt:inb active Eth1/1
26 -- active Eth1/5, Eth1/6, Po5
27 -- active Eth1/1
28 :: active Eth1/5, Eth1/6, Po5
36 common:pod6_BD active Eth1/5, Eth1/6, Po5
VLAN Type Vlan-mode Encap
---- ----- ---------- -------------------------------
13 enet CE vxlan-16777209, vlan-3967
19 enet CE vxlan-14680064, vlan-150
22 enet CE vxlan-16383902
26 enet CE vxlan-15531929, vlan-200
27 enet CE vlan-11
28 enet CE vlan-14
36 enet CE vxlan-15662984
and Opflex connection is restablised after restarting the VEM module:
~ # vem restart
stopDpa
VEM SwISCSI PID is
Warn: DPA running host/vim/vimuser/cisco/vem/vemdpa.213997
Warn: DPA running host/vim/vimuser/cisco/vem/vemdpa.213997
watchdog-vemdpa: Terminating watchdog process with PID 213974
~ # vemcmd show opflex
Status: 0 (Discovering)
Channel0: 14 (Connection attempt), Channel1: 0 (Discovering)
Dvs name: comp/prov-VMware/ctrlr-[AVS]-vCenterController/sw-dvs-129
Remote IP: 10.0.0.30 Port: 8000
Infra vlan: 3967
FTEP IP: 10.0.0.32
Switching Mode: unknown
Encap Type: unknown
NS GIPO: 0.0.0.0
~ # vemcmd show opflex
Status: 12 (Active)
Channel0: 12 (Active), Channel1: 0 (Discovering)
Dvs name: comp/prov-VMware/ctrlr-[AVS]-vCenterController/sw-dvs-129
Remote IP: 10.0.0.30 Port: 8000
Infra vlan: 3967
FTEP IP: 10.0.0.32
Switching Mode: LS
Encap Type: unknown
NS GIPO: 0.0.0.0
関連情報
アプリケーション仮想スイッチのインストール
シスコ『Cisco Application Virtual Switch Installation Guide, Release 5.2(1)SV3(1.2)』VMwareによるASAvの導入
シスコ『Cisco Adaptive Security Virtual Appliance (ASAv) Quick Start Guide, 9.4』
シスコアプリケーションセントリックインフラストラクチャによるサービスグラフの設計ホワイトペーパー
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
11-Apr-2016
|
初版 |
フィードバック