VXLAN vPC Fabric Peering for NXOS 구성 및 문제 해결
목차
소개
이 문서에서는 NXOS 및 BUM 트래픽 흐름을 위한 vPC 패브릭 피어링을 구성하고 확인하는 방법에 대해 설명합니다.
사전 요구 사항
요구 사항
Cisco에서는 다음 항목에 대한 지식을 권장합니다.
- vPC(가상 포트 채널)
- VXLAN(Virtual Extensible LAN)
사용되는 구성 요소
이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.
- N9K-C93240YC-FX2 for Leaf switches 버전: 10.3(3)
- N9K-C9336C-FX2 for Spine switch 버전: 10.3(3)
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.
네트워크 다이어그램
vPC 패브릭 피어링은 vPC 피어 링크에 물리적 포트를 낭비하는 오버헤드 없이 향상된 듀얼 호밍 액세스 솔루션을 제공합니다. 이 기능은 기존 vPC의 모든 특성을 보존합니다.
이 구축에서는 Leaf-3 및 Leaf-4가 패브릭 피어링과 함께 vPC로 구성됩니다.
설정
TCAM 컨피그레이션
컨피그레이션 전에 TCAM 메모리를 확인합니다.
LEAF-4(config-if)# sh hardware access-list tcam region
NAT ACL[nat] size = 0
Ingress PACL [ing-ifacl] size = 0
VACL [vacl] size = 0
Ingress RACL [ing-racl] size = 2304
Ingress L2 QOS [ing-l2-qos] size = 256
Ingress L3/VLAN QOS [ing-l3-vlan-qos] size = 512
Ingress SUP [ing-sup] size = 512
Ingress L2 SPAN filter [ing-l2-span-filter] size = 256
Ingress L3 SPAN filter [ing-l3-span-filter] size = 256
Ingress FSTAT [ing-fstat] size = 0
span [span] size = 512
Egress RACL [egr-racl] size = 1792
Egress SUP [egr-sup] size = 256
Ingress Redirect [ing-redirect] size = 0
Egress L2 QOS [egr-l2-qos] size = 0
Egress L3/VLAN QOS [egr-l3-vlan-qos] size = 0
Ingress Netflow/Analytics [ing-netflow] size = 512
Ingress NBM [ing-nbm] size = 0
TCP NAT ACL[tcp-nat] size = 0
Egress sup control plane[egr-copp] size = 0
Ingress Flow Redirect [ing-flow-redirect] size = 0 <<<<<<<<
Ingress PACL IPv4 Lite [ing-ifacl-ipv4-lite] size = 0
Ingress PACL IPv6 Lite [ing-ifacl-ipv6-lite] size = 0
Ingress CNTACL [ing-cntacl] size = 0
Egress CNTACL [egr-cntacl] size = 0
MCAST NAT ACL[mcast-nat] size = 0
Ingress DACL [ing-dacl] size = 0
Ingress PACL Super Bridge [ing-pacl-sb] size = 0
Ingress Storm Control [ing-storm-control] size = 0
Ingress VACL redirect [ing-vacl-nh] size = 0
Egress PACL [egr-ifacl] size = 0
Egress Netflow [egr-netflow] size = 0
vPC 패브릭 피어링은 영역 ing-flow-redirect의 TCAM 카빙을 적용해야 합니다. TCAM 카빙은 이 기능을 사용하기 전에 구성을 저장하고 스위치를 다시 로드해야 합니다.
TCAM의 이 공간은 두 배의 폭으로 우리가 할당할 수 있는 최소값은 512입니다.
TCAM 카빙
이 시나리오에서 ing-racl은 512를 차지하고 그러한 512를 ing-flow-redirect에 할당하기에 충분한 공간이 있다.
LEAF-4(config-if)# hardware access-list tcam region ing-racl 1792
Please save config and reload the system for the configuration to take effect
LEAF-4(config)# hardware access-list tcam region ing-flow-redirect 512
Please save config and reload the system for the configuration to take effect
참고: DCNM을 통해 피어링 vPC 패브릭을 구성할 때 TCAM 조각이 수행되지만 적용하려면 다시 로드해야 합니다
변경이 완료되면 다음 명령에 반영됩니다.
513E-B-11-N9K-C93240YC-FX2-4# sh hardware access-list tcam region
NAT ACL[nat] size = 0
Ingress PACL [ing-ifacl] size = 0
VACL [vacl] size = 0
Ingress RACL [ing-racl] size = 2304
Ingress L2 QOS [ing-l2-qos] size = 256
Ingress L3/VLAN QOS [ing-l3-vlan-qos] size = 512
Ingress SUP [ing-sup] size = 512
Ingress L2 SPAN filter [ing-l2-span-filter] size = 256
Ingress L3 SPAN filter [ing-l3-span-filter] size = 256
Ingress FSTAT [ing-fstat] size = 0
span [span] size = 512
Egress RACL [egr-racl] size = 1792
Egress SUP [egr-sup] size = 256
Ingress Redirect [ing-redirect] size = 0
Egress L2 QOS [egr-l2-qos] size = 0
Egress L3/VLAN QOS [egr-l3-vlan-qos] size = 0
Ingress Netflow/Analytics [ing-netflow] size = 512 <<<<<
Ingress NBM [ing-nbm] size = 0
TCP NAT ACL[tcp-nat] size = 0
Egress sup control plane[egr-copp] size = 0
Ingress Flow Redirect [ing-flow-redirect] size = 0
Ingress PACL IPv4 Lite [ing-ifacl-ipv4-lite] size = 0
Ingress PACL IPv6 Lite [ing-ifacl-ipv6-lite] size = 0
Ingress CNTACL [ing-cntacl] size = 0
Egress CNTACL [egr-cntacl] size = 0
MCAST NAT ACL[mcast-nat] size = 0
Ingress DACL [ing-dacl] size = 0
Ingress PACL Super Bridge [ing-pacl-sb] size = 0
Ingress Storm Control [ing-storm-control] size = 0
Ingress VACL redirect [ing-vacl-nh] size = 0
Egress PACL [egr-ifacl] size = 0
주의: TCAM의 변경 후 장치를 다시 로드해야 합니다. 그렇지 않으면 TCAM에 적용되지 않은 변경 사항으로 인해 VPC가 실행되지 않습니다.
vPC에 대한 컨피그레이션
VPC 도메인
VPC 도메인의 LEAF-3 및 LEAF-4에서 컨피그레이션은 연결 유지 및 가상 피어 링크에 대한 IP 주소를 지정하는 것입니다
vpc domain 1
peer-keepalive destination 192.168.1.1 source 192.168.1.2 vrf management
virtual peer-link destination 10.10.10.2 source 10.10.10.1 dscp 56
interface port-channel1
vpc peer-link
킵얼라이브
vPC 피어 간의 모든 직접 레이어 3 링크는 피어 유지(peer-keep alive)에만 사용해야 합니다. 연결 유지 전용 별도의 VRF에 있어야 합니다. 이 시나리오에서는 스위치의 인터페이스 관리를 사용합니다.
LEAF-3
interface mgmt0
vrf member management
ip address 192.168.1.1/24
LEAF-4
interface mgmt0
vrf member management
ip address 192.168.1.2/24
가상 피어 링크를 위한 레이어 3 인터페이스
가상 피어 링크에 사용되는 레이어 3 인터페이스는 킵얼라이브에 사용되는 것과 달라야 하며, 언더레이에 사용되는 것과 동일한 루프백을 사용할 수도 있고, Nexus에서 전용 루프백이 될 수도 있습니다
여기서 루프백0은 언더레이를 위한 것이고 루프백2는 가상 피어 링크를 위한 전용 루프백이며 루프백1은 인터페이스 NVE에 연결된 인터페이스입니다.
LEAF-3
interface loopback0
ip address 10.1.1.1/32
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback1
ip address 172.16.1.2/32
ip address 172.16.1.1/32 secondary
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback2
ip address 10.10.10.2/32
ip router ospf 1 area 0.0.0.0
LEAF-4
interface loopback0
ip address 10.1.1.2/32
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback1
ip address 172.16.1.3/32
ip address 172.16.1.1/32 secondary
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback2
ip address 10.10.10.1/32
ip router ospf 1 area 0.0.0.0
VPC 피어 링크
물리적 인터페이스를 포트 채널에 할당하지 않을 경우에도 피어 링크에는 포트 채널이 할당되어야 합니다.
LEAF-3(config-if)# sh run interface port-channel 1 membership
interface port-channel1
switchport
switchport mode trunk
spanning-tree port type network
vpc peer-link
상향 링크
컨피그레이션의 마지막 부분은 port-type fabric 명령을 사용하여 SPINE으로 향하는 두 leaf의 링크를 구성하는 것입니다.
interface Ethernet1/49
port-type fabric <<<<<<<<
medium p2p
ip unnumbered loopback0
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
no shutdown
참고: 포트 유형 패브릭을 구성하지 않으면 Nexus에서 연결 유지가 생성되는 것을 볼 수 없습니다
SPINES 컨피그레이션
vPC 패브릭 피어링 피어 링크가 전송 네트워크를 통해 설정되므로 스파인에서 VPC 도메인에 구성된 DSCP 값과 일치하도록 QoS를 설정하는 것이 좋습니다.
포트 상태 정보, VLAN 정보, VLAN-VNI 매핑, 호스트 MAC 주소, IGMP 스누핑 그룹을 동기화하는 데 사용되는 컨트롤 플레인 정보 CFS 메시지가 패브릭을 통해 전송됩니다. CFS 메시지는 전송 네트워크에서 보호해야 하는 적절한 DSCP 값으로 표시됩니다.
class-map type qos match-all CFS
match dscp 56
policy-map type qos CFS
class CFS
Set qos-group 7 <<< Depending on the platform it can be 4
interface Ethernet 1/35-36
service-policy type qos input CFS
인그레스(Ingress) 복제 캡슐화를 통한 브로드캐스트, 알 수 없는 유니캐스트 및 멀티캐스트 트래픽
Nexus가 브로드캐스트해야 하는 패킷을 수신하면 패킷의 복사본을 2개 생성합니다.
1. 로컬 액세스 포트를 포함하여 VNI에 대한 플러드 목록의 모든 원격 VTEPS
2. 원격 VPC 피어로
첫 번째 사본의 경우 Nexus는 보조 IP 주소의 소스 IP와 원격 VTEP의 대상 IP 및 로컬 액세스 포트를 사용하여 트래픽을 캡슐화합니다.
두 번째 사본의 경우 소스 IP가 루프백의 기본 IP가 되고 대상 IP가 원격 VPC 피어의 PIP가 됩니다.
스파인에서 패킷을 수신하면 원격 VTEP는 패킷을 분리 포트로만 전달합니다.
인그레스(Ingress) 복제 역캡슐화를 통한 브로드캐스트, 알 수 없는 유니캐스트 및 멀티캐스트 트래픽
다른 VTEP에서 수신한 BUM 트래픽의 목적지 IP는 트래픽이 VPC 디바이스 중 하나로 해시되는 VIP이므로 패킷을 역캡슐화하여 액세스 포트에 전송합니다.
트래픽이 원격 VPC 피어에 연결된 고아 포트에 도달하도록 하기 위해 Nexus는 패킷의 복사본을 생성하고 기본 IP 주소를 소스/대상 IP로 사용하여 원격 VPC로만 전송합니다.
원격 vpc 피어에서 수신한 Nexus는 트래픽을 역캡슐화하고 분리된 포트에만 전달합니다.
멀티캐스트 캡슐화를 통한 브로드캐스트, 알 수 없는 유니캐스트 및 멀티캐스트 트래픽
Nexus가 브로드캐스트해야 하는 패킷을 수신하면 패킷의 복사본을 2개 생성합니다.
1. 패킷이 로컬 액세스 포트를 포함하여 멀티캐스트 S,G 엔트리의 모든 OIF에 전송됩니다
2. 원격 VPC 피어로
첫 번째 사본의 경우 Nexus는 보조 IP 주소의 소스 IP와 구성된 멀티캐스트 그룹의 대상 IP를 사용하여 트래픽을 캡슐화합니다.
두 번째 사본의 경우 소스 IP는 루프백의 보조 IP가 되고 대상 IP는 원격 VPC 피어의 PIP가 됩니다.
스파인에서 패킷을 수신하면 원격 VTEP는 패킷을 분리 포트로만 전달합니다.
멀티캐스트 역캡슐화를 통한 브로드캐스트, 알 수 없는 유니캐스트 및 멀티캐스트 트래픽
역캡슐화 프로세스의 경우 패킷이 두 VPC 피어에 모두 도착합니다. 하나의 VPC 장치만 VPC 포트 채널을 통해 트래픽을 전달합니다. 이 값은 명령에 표시된 전달자에 의해 결정됩니다.
module-1# show forwarding internal vpc-df-hash
VPC DF: FORWARDER
다음을 확인합니다.
VPC가 가동되도록 하려면 다음 명령을 실행합니다.
가상 피어 링크에 사용되는 IP 주소에 대한 연결성을 확인합니다.
LEAF-3# sh ip route 10.10.10.1
IP Route Table for VRF "default"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>
10.10.10.1/32, ubest/mbest: 1/0
*via 192.168.120.1, Eth1/49, [110/3], 01:15:01, ospf-1, intra
LEAF-3# ping 10.10.10.1
PING 10.10.10.1 (10.10.10.1): 56 data bytes
64 bytes from 10.10.10.1: icmp_seq=0 ttl=253 time=0.898 ms
64 bytes from 10.10.10.1: icmp_seq=1 ttl=253 time=0.505 ms
64 bytes from 10.10.10.1: icmp_seq=2 ttl=253 time=0.433 ms
64 bytes from 10.10.10.1: icmp_seq=3 ttl=253 time=0.465 ms
64 bytes from 10.10.10.1: icmp_seq=4 ttl=253 time=0.558 ms
LEAF-3(config-if)# show vpc brief
Legend:
(*) - local vPC is down, forwarding via vPC peer-link
vPC domain id : 1
Peer status : peer adjacency formed ok <<<<
vPC keep-alive status : peer is alive <<<<
Configuration consistency status : success
Per-vlan consistency status : success
Type-2 consistency status : success
vPC role : secondary
Number of vPCs configured : 0
Peer Gateway : Disabled
Dual-active excluded VLANs : -
Graceful Consistency Check : Enabled
Auto-recovery status : Disabled
Delay-restore status : Timer is off.(timeout = 30s)
Delay-restore SVI status : Timer is off.(timeout = 10s)
Delay-restore Orphan-port status : Timer is off.(timeout = 0s)
Operational Layer3 Peer-router : Disabled
Virtual-peerlink mode : Enabled <<<<<<<
vPC Peer-link status
---------------------------------------------------------------------
id Port Status Active vlans
-- ---- ------ -------------------------------------------------
1 Po1 up 1,10,50,600-604,608,610-611,614-618,638-639,
662-663,701-704
VPC의 역할을 확인하려면 다음 명령을 실행합니다.
LEAF-3(config-if)# sh vpc role
vPC Role status
----------------------------------------------------
vPC role : secondary <<<<
Dual Active Detection Status : 0
vPC system-mac : 00:23:04:ee:be:01
vPC system-priority : 32667
vPC local system-mac : d0:e0:42:e2:09:6f
vPC local role-priority : 32667
vPC local config role-priority : 32667
vPC peer system-mac : 2c:4f:52:3f:46:df
vPC peer role-priority : 32667
vPC peer config role-priority : 32667
피어 링크 포트 채널에서 허용되는 모든 VLAN은 VNI에 매핑되어야 합니다. 일치하지 않는 경우 일관성이 없는 것으로 표시됩니다
LEAF-3(config-if)# show vpc virtual-peerlink vlan consistency
Following vlans are inconsistent
1 608 610 611 614 615 616 617 618 638 639 701 702 703 704
업 링크의 컨피그레이션이 올바르게 프로그래밍되었는지 확인하려면 다음 명령을 실행합니다.
LEAF-3(config-if)# show vpc fabric-ports
Number of Fabric port : 1
Number of Fabric port active : 1
Fabric Ports State
-------------------------------------
Ethernet 1/49 UP
참고: VPC가 가동되지 않으면 NVE 또는 이와 연결된 루프백 인터페이스가 표시됩니다.
관련 정보
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
1.0 |
05-Oct-2023 |
최초 릴리스 |
피드백