内容

概要

前提条件

要件

使用するコンポーネント

使用例

vPCのリーフスイッチの孤立ポート

vPCのリーフスイッチのアップリンク障害

vPCのボーダーリーフスイッチ

芽ノード

設定

ネットワーク図

設定

確認

トラブルシュート

概要

このドキュメントでは、NX-OSオペレーティングシステムを実行するCisco Nexus 9000スイッチに基づくVirtual Extensible LAN Border Gateway Protocol(VXLAN)イーサネットVPN(VXLAN BGP EVPN)ファブリックでのsystem nve infra-vlansコマンドのののののの目的についてについて説明します。

Nexus 9000スイッチが仮想ポートチャネル(vPC)ドメインでVXLANリーフスイッチ(VXLAN Tunnel End Points(VTEP)として設定されている場合、インターフェイスvlanを使用してvPCピアリンク上でレイヤ3ルーティング隣接関係を確立するするする必要があります。このVLANはスイッチに対してローカルである必要があり、VXLANファブリック全体に拡張されず、デフォルトVRF（グローバルルーティングテーブル）に属している必要があります。

system nve infra-vlansコマンドがNexus 9300スイッチなどのCloudScale ASIC(Tahoe)を搭載したNexus 9000プラットフォーム上に配置され、VLANがアップリンクとして機能し、VXLANを使用したフレームをvに適切に転送指定しますPCピアリンク。

注：このドキュメントは、Application Centric Infrastructure(ACI)モードで動作し、Cisco Application Policy Infrastructure Controller(APIC)によって管理されるCisco Nexus 9000スイッチには適用されません。

前提条件

要件

次の項目に関する知識があることが推奨されます。

- Nexus NX-OSソフトウェア

- VXLAN BGP EVPN

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

- Cisco N9K-C93180YC-EX

- NXOSバージョン7.0(3)I7(6)

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

注：このドキュメントでは、リーフスイッチ、VTEP、およびToRという用語を同じ意味で使用しています。

使用例

次の使用例は、system nve infra-vlansコマンドの設定が必要な場合を示します。これらすべてにおいて、割り当てられたVLAN 777をsystem nve infra-vlansコマンドの一部として定義し、vPCピアリンク上でレイヤ3ルーティングバックアップ隣接関係をインスタンス化するために使用する必要があります。このVLAN 777は、デフォルトVRF（グローバルルーティングテーブル）の一部である必要があります。

注：これらの使用例では、Cisco Nexus 9000 VXLANリーフ/ボーダーリーフスイッチに物理的に直接接続されているエンドホストまたはルータの一般的なシナリオについて説明します。同様に、これらの使用例は、レイヤ2スイッチまたはブリッジがNexus 9000リーフスイッチとエンドホストまたはルータの間にある場合に適用されます。

vPCのリーフスイッチの孤立ポート

この使用例は、vPCドメインの単一のCisco Nexus 9000 VXLANリーフスイッチに接続されたファブリック内のエンドホスト（ホストA）を示します。これは孤立ポート接続と呼ばれます。ルーティングの一部として、ファブリック内の他のリーフスイッチに接続されたエンドホストによって生成されたトラフィックは、アンダーレイで、vPC（スイッチリーフAとスイッチリーフB）の両方のリーフスイッチによって同時に所有されるNVEエニーキャストIPアドレス(10.12.12.12)に宛されます。 これは、Equal Cost Multi-Path(ECMP)ルーティングを使用して、すべてのリーフ/スパインアップリンクを活用するためです。このシナリオでは、スパインを通過した後、ホストA宛てのVXLANフレームは、ホストAに直接接続されていないリーフBにハッシュされる可能性があります。トラフィックがvPCピアリンクを通過するには、システムネイヴinfra-vlanとバックアップルーティングが必要です。

vPCのリーフスイッチのアップリンク障害

この使用例では、ファブリック内のエンドホスト（ホストA）が、vPCドメイン内の両方のCisco Nexus 9000 VXLANリーフスイッチにデュアルホーム接続されています。ただし、スパインスイッチから完全に分離できるvPCのリーフスイッチ上のすべてのアップリンクに障害が発生した場合、トラフィックがスパインへの唯一のパスであるvPCピアリンクを通過するには、システムnve infra-vlanとバックアップルーティングが必要です。たとえば、図は、ホストAのトラフィックが隔離されたスイッチのリーフAにフレームをハッシュしたことを示しています。フレームはvPCピアリンクを通過する必要があります。

vPCのボーダーリーフスイッチ

外部ルータとのネットワークプレフィクスの交換によってVXLANファブリックからの接続を提供するボーダーリーフスイッチは、vPC内に配置できます。

この外部ルータへの接続は、抽象的にWANへの接続と見なすことができます。

WANへの接続を持つボーダーリーフスイッチは、リンク障害の場合にシングルホーム接続になる可能性があります。そのような場合、次の図に示すように、トラフィックがvPCピアリンクを通過するためには、システムネイヴinfra-vlanとバックアップルーティングが必要です。

注：次の例では、グローバルルーティングテーブルのVLANに加えて、テナントVRFのVLAN部分が必要です。この部分は、vPCピアリンクを介したボーダーリーフスイッチ間でスタティックルートまたはルーティングプロトコルを使用してネットワークプレフィックスの交換を行います。これは、テナントVRFルーティングテーブルに入力するために必要です。

ボーダーリーフスイッチは、スタティックルートまたはテナントVRFでインスタンス化されたルーティングプロトコルを使用して、vPCピアリンク上でインターフェイスループバックをアドバタイズすることもできます。このトラフィックは、vPCピアリンクでも伝送されます。

最後に、ボーダーリーフスイッチに接続された外部ルータのシングルホームは、次の図に示すように、ネットワークトラフィックのパスにvPCピアリンクを設定するために必要なネットワークプレフィックスをアドバタイズできます。

芽ノード

Budノードの使用例では、ハードウェアベースまたはソフトウェアベースのVTEPがCisco Nexus 9000 VXLANリーフスイッチに接続されている可能性があります。このVTEPは、リーフスイッチVXLANカプセル化トラフィックを送信できます。このハードウェアまたはソフトウェアVTEPとの接続に使用するVLANを、system nve infra-vlansコマンドに追加する必要があります。

この例では、VLAN 10がVLAN 777に追加されています。

設定

このシナリオでは、LEAF AとLEAF BはvPCのVTEPです。

Vlan 777は、アンダーレイのルーティングプロトコルに参加するように選択されています。この場合は、Open Shortest Path First(OSPF)です。

各LEAF AおよびLEAF Bスイッチで、OSPFはアップリンクを介して、およびvPCピアリンクを介してSPINEスイッチ間で隣接関係を形成しました。

OSPFまたはIntermediate System-to-Intermediate System(IS-IS)は、アンダーレイで使用されているルーティングプロトコルです。

注：vn-segmentコマンドはvlan 777設定セクションで設定されていません。これは、VLANがVXLANファブリック全体に拡張されておらず、スイッチでローカルであることを示します。

system nve infra-vlansコマンドをグローバル設定モードで追加し、vlan 777を選択します。これは、アンダーレイOSPF隣接関係に使用されるvlanであるためです。

注：システムnve infra-vlanは、Nexus 9300と同様にCloudScale ASIC(Tahoe)を搭載したNexus 9000でのみ必要です。Nexus 9300はEX、FX2で終す。

リーフA

LEAF_A# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          00:02:52 10.255.255.254  Eth1/6

10.255.255.2      1 FULL/ -          02:16:10 10.1.2.2        Vlan777

LEAF_A#

LEAF_A# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:48:46 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_A#

LEAF_A# show running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:46:33 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_A#

LEAF_A# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_A(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_A(config)# system nve infra-vlans 777

LEAF_A(config)#

葉B

LEAF_B# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          02:21:53 10.255.255.254  Eth1/5

10.255.255.1      1 FULL/ -          02:13:51 10.1.2.1        Vlan777

LEAF_B#

LEAF_B# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:49:19 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_B#

LEAF_B# sh running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:48:14 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_B#

LEAF_B# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_B(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_B(config)# system nve infra-vlans 777

LEAF_B(config)#

注：infra-VLANの特定の組み合わせを設定しないでください。たとえば、2と514、10と522は512離れています。

ネットワーク図

設定

リーフA

configure terminal

!

hostname LEAF_A

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.99 source 10.82.140.98 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/6

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/54

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.1.1.1/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.1/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.1

!

router bgp 65535

router-id 10.255.255.1

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

葉B

configure terminal

!

hostname LEAF_B

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.98 source 10.82.140.99 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/5

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.2.2.2/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.2/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.2

!

router bgp 65535

router-id 10.255.255.2

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

リーフC

configure terminal

!

hostname LEAF_C

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/1

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/49

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.3.3.3/32

ip router ospf 1 area 0.0.0.0

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.3/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.3

!

router bgp 65535

router-id 10.255.255.3

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

スパイン

configure terminal

!

hostname SPINE

!

nv overlay evpn

feature ospf

feature bgp

feature nv overlay

!

interface Ethernet1/5

description TO LEAF A

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/6

description TO LEAF B

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/1

description TO LEAF C

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.254/32

ip router ospf 1 area 0.0.0.0

!

router ospf 1

router-id 10.255.255.254

!

router bgp 65535

router-id 10.255.255.254

address-family ipv4 unicast

address-family l2vpn evpn

retain route-target all

neighbor 10.255.255.1

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.2

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.3

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

!

end

確認

show system nve infra-vlansコマンドを実行し、VLANが[Currently active infra Vlans]に表示されていることを確認します。

リーフA

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#

葉B

LEAF_B# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_B#

注：レイヤ3物理インターフェイスは、ファブリック内のVXLANトラフィックを転送するためのアップリンクとして使用することを推奨します。レイヤ3サブインターフェイスはサポートされていません。インターフェイスVLANを使用してVXLANトラフィックを転送するには、vPCピアリンク上でコマンドsystem nve infra-vlansを使用してVLANを識別してください。

トラブルシュート

LEAF Aスイッチでアップリンク障害が発生し、SPINEスイッチに直接接続されなくなった場合でも、SPINEスイッチへのバックアップアップリンクとして使用されるvPCピアリンク上のinfra-vlanを使用して到達可能性を維持できます。

リーフA

LEAF_A# show mac address-table vlan 10

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan

VLAN     MAC Address      Type      age     Secure NTFY Ports

---------+-----------------+--------+---------+------+----+------------------

*   10     0000.0000.000a   dynamic  0         F      F    Eth1/54

C   10     0000.0000.000b   dynamic  0         F      F    nve1(10.3.3.3)

G   10     00be.755b.f1b7   static   -         F      F    sup-eth1(R)

G   10     4c77.6db9.a8db   static   -         F      F    vPC Peer-Link(R)

LEAF_A#

LEAF_A# show ip route 10.3.3.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.3.3.3/32, ubest/mbest: 1/0

*via 10.1.2.2, Vlan777, [110/49], 00:01:39, ospf-1, intra

LEAF_A#

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#