目录

简介

背景信息

多Pod概述

ACI多Pod参考拓扑

故障排除工作流程

验证ACI策略

IPN验证

IPN拓扑

排除连接交换矩阵的第一台远程Pod主干故障

检验剩余的枝叶和主干交换机

检查远程Pod APIC

故障排除情况

主干无法ping通IPN

远程主干未连接交换矩阵

Pod2中的APIC未连接交换矩阵

POD到POD BUM流量不起作用

1个IPN设备发生故障后，BUM流量将被丢弃

Pod间终端连接在同一EPG内断开

简介

本文档介绍了解ACI多Pod发现并对其进行故障排除的步骤。

背景信息

本文档中的内容摘自 思科以应用为中心的基础设施故障排除（第二版） 书籍，特别是交换矩阵发现 — 多Pod发现 第章。

多Pod概述

ACI多Pod允许部署单个APIC集群来管理多个互连的ACI网络。这些单独的ACI网络称为“Pod”，每个Pod是常规的两层或三层主干 — 枝叶拓扑。单个APIC集群可以管理多个Pod。

多Pod设计还允许跨Pod扩展ACI交换矩阵策略，这些交换机可以实际存在于多个房间中，甚至可以跨远程数据中心位置。在多Pod设计中，在APIC控制器集群上定义的任何策略将自动可供所有Pod使用。

最后，多Pod设计增强了故障域隔离。事实上，每个Pod运行其自己的COOP、MP-BGP和IS-IS协议的实例，因此这些协议中的故障和问题都包含在Pod中，不能传播到其他Pod。

有关多Pod设计和最佳实践的详细信息，请参阅cisco.com上的“ACI多Pod白皮书”。

多Pod ACI交换矩阵的主要元素是枝叶和主干交换机、APIC控制器和IPN设备。

本示例深入到故障排除工作流程，了解与设置ACI多Pod交换矩阵相关的问题。本部分使用的参考拓扑如下图所示：

ACI多Pod参考拓扑

故障排除工作流程

验证ACI策略

访问策略

Multi-Pod使用L3Out以通过“infra”租户连接Pod。这意味着需要设置标准访问策略集以在面向IPN的主干端口上激活所需的多Pod L3Out封装(VLAN-4)。

可通过“添加Pod”向导配置访问策略，该向导应用于部署多Pod。使用向导后，可从APIC GUI验证部署的策略。如果未正确配置策略，则基础设施租户上会出现故障，并且从主干到IPN的连接可能未按预期工作。

验证主干节点上面向IPN的接口的访问策略定义时，可以引用以下方案：

主干201

主干202

主干401

主干402

在infra租户中，应根据以下方案配置多Pod L3Out:

基础设施租户中的多Pod L3Out

以下是多Pod L3Out逻辑接口配置文件配置的参考快照。路由器子接口定义应与主干201的如下图所示

基础设施L3Out中的逻辑接口配置文件

对于每个Pod，应有一个如下图中所定义的TEP池。请注意，APIC控制器将使用TEP池为overlay-1 VRF调配节点的IP地址。

Pod交换矩阵设置策略

交换矩阵外部连接策略默认值

确认在infra租户中定义并正确配置了“Fabric Ext Policy default”对象。此配置的示例如下图所示。

交换矩阵外部连接策略默认值

数据平面TEP

交换矩阵外部路由配置文件子网

交换矩阵外部路由配置文件使用户能够验证定义的IPN的所有路由子网是否都在其中。

IPN验证

多Pod依赖于Pod间网络(IPN)，该网络将提供POD到POD的连接。检验IPN配置是否正确就位非常重要。通常，配置有故障或缺失是发生故障时意外行为或流量丢弃的来源。本节将详细介绍IPN的配置。

在下一节中，请参阅以下IPN拓扑：

IPN拓扑

主干到IPN dot1q VLAN-4子接口连接

通过VLAN-4上的子接口实现了主干到IPN的点对点连接。此连接的第一个验证是测试主干与IPN设备之间的IP可达性。

为此，请确定正确的接口并检验其是否显示为up状态。

S1P1-Spine201# show ip int brief vrf overlay-1 | grep 172.16.101.2

eth1/29.29           172.16.101.2/30      protocol-up/link-up/admin-up

S1P1-Spine201# show ip interface  eth1/29.29

IP Interface Status for VRF "overlay-1"

eth1/29.29, Interface status: protocol-up/link-up/admin-up, iod: 67, mode: external

IP address: 172.16.101.2, IP subnet: 172.16.101.0/30

IP broadcast address: 255.255.255.255

IP primary address route-preference: 0, tag: 0

S1P1-Spine201# show system internal ethpm  info interface Eth1/29.29

Ethernet1/29.29 - if_index: 0x1A01C01D

Router MAC address: 00:22:bd:f8:19:ff

Admin Config Information:

state(up), mtu(9150), delay(1), vlan(4), cfg-status(valid)

medium(broadcast)

Operational (Runtime) Information:

state(up), mtu(9150), Local IOD(0x43), Global IOD(0x43), vrf(enabled)

reason(None)

bd_id(29)

Information from SDB Query (IM call)

admin state(up), runtime state(up), mtu(9150),

delay(1), bandwidth(40000000), vlan(4), layer(L3),

medium(broadcast)

sub-interface(0x1a01c01d) from parent port(0x1a01c000)/Vlan(4)

Operational Bits:

User config flags:  0x1

admin_router_mac(1)

Sub-interface FSM state(3)

No errors on sub-interface

Information from GLDB Query:

Router MAC address: 00:22:bd:f8:19:ff

检验接口启用后，现在测试点对点IP连接：

S1P1-Spine201# iping -V overlay-1 172.16.101.1

PING 172.16.101.1 (172.16.101.1) from 172.16.101.2: 56 data bytes

64 bytes from 172.16.101.1: icmp_seq=0 ttl=255 time=0.839 ms

64 bytes from 172.16.101.1: icmp_seq=1 ttl=255 time=0.719 ms

^C

--- 172.16.101.1 ping statistics ---

2 packets transmitted, 2 packets received, 0.00% packet loss

round-trip min/avg/max = 0.719/0.779/0.839 ms

如果存在任何连接问题，请验证远程IPN(IPN1)上的布线和配置。

IPN1# show ip interface brief | grep 172.16.101.1

Eth1/33              172.16.101.101  protocol-up/link-up/admin-up

Eth1/35              172.16.101.105  protocol-up/link-up/admin-up

Eth1/53.4            172.16.101.1    protocol-up/link-up/admin-up

IPN1# show run int Eth1/53.4

interface Ethernet1/53.4

description to spine 1pod1

mtu 9150

encapsulation dot1q 4

ip address 172.16.101.1/30

ip ospf cost 100

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip dhcp relay address 10.0.0.3

no shutdown

OSPF 配置

OSPF用作在ACI VRF“overlay-1”中将Pod1和Pod2连接在一起的路由协议。 以下内容可作为验证主干和IPN设备之间是否出现OSPF的通用流程参考。

S1P1-Spine201# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.101.201    1 FULL/ -          08:39:35 172.16.101.1    Eth1/29.29

172.16.101.202    1 FULL/ -          08:39:34 172.16.101.9    Eth1/30.30

S1P1-Spine201# show ip ospf  interface  vrf overlay-1

Ethernet1/29.29 is up, line protocol is up

IP address 172.16.101.2/30, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State P2P, Network type P2P, cost 1

Index 67, Transmit delay 1 sec

1 Neighbors, flooding to 1, adjacent with 1

Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5

Hello timer due in 00:00:10

No authentication

Number of opaque link LSAs: 0, checksum sum 0

loopback0 is up, line protocol is up

IP address 10.0.200.66/32, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State LOOPBACK, Network type LOOPBACK, cost 1

loopback14 is up, line protocol is up

IP address 172.16.1.4/32, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State LOOPBACK, Network type LOOPBACK, cost 1

Ethernet1/30.30 is up, line protocol is up

IP address 172.16.101.10/30, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State P2P, Network type P2P, cost 1

Index 68, Transmit delay 1 sec

1 Neighbors, flooding to 1, adjacent with 1

Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5

Hello timer due in 00:00:09

No authentication

Number of opaque link LSAs: 0, checksum sum 0

IPN1# show ip ospf  neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 5

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.101.203    1 FULL/ -          4d12h    172.16.101.102  Eth1/33

172.16.101.202    1 FULL/ -          4d12h    172.16.101.106  Eth1/35

172.16.110.201    1 FULL/ -          4d12h    172.16.110.2    Eth1/48

172.16.1.4        1 FULL/ -          08:43:39 172.16.101.2    Eth1/53.4

172.16.1.6        1 FULL/ -          08:43:38 172.16.101.6    Eth1/54.4

当OSPF在所有主干和IPN设备之间启动时，可在IPN路由表中看到所有Pod TEP池。

IPN1# show ip ospf database 10.0.0.0 detail

OSPF Router with ID (172.16.101.201) (Process ID 1 VRF default)

Type-5 AS External Link States

LS age: 183

Options: 0x2 (No TOS-capability, No DC)

LS Type: Type-5 AS-External

Link State ID: 10.0.0.0 (Network address)

Advertising Router: 172.16.1.4

LS Seq Number: 0x80000026

Checksum: 0x2da0

Length: 36

Network Mask: /16

Metric Type: 2 (Larger than any link state path)

TOS: 0

Metric: 20

Forward Address: 0.0.0.0

External Route Tag: 0

LS age: 183

Options: 0x2 (No TOS-capability, No DC)

LS Type: Type-5 AS-External

Link State ID: 10.0.0.0 (Network address)

Advertising Router: 172.16.1.6

LS Seq Number: 0x80000026

Checksum: 0x21aa

Length: 36

Network Mask: /16

Metric Type: 2 (Larger than any link state path)

TOS: 0

Metric: 20

Forward Address: 0.0.0.0

External Route Tag: 0

IPN1# show ip ospf database 10.1.0.0 detail

OSPF Router with ID (172.16.101.201) (Process ID 1 VRF default)

Type-5 AS External Link States

LS age: 1779

Options: 0x2 (No TOS-capability, No DC)

LS Type: Type-5 AS-External

Link State ID: 10.1.0.0 (Network address)

Advertising Router: 172.16.2.4

LS Seq Number: 0x80000022

Checksum: 0x22ad

Length: 36

Network Mask: /16

Metric Type: 2 (Larger than any link state path)

TOS: 0

Metric: 20

Forward Address: 0.0.0.0

External Route Tag: 0

LS age: 1780

Options: 0x2 (No TOS-capability, No DC)

LS Type: Type-5 AS-External

Link State ID: 10.1.0.0 (Network address)

Advertising Router: 172.16.2.6

LS Seq Number: 0x80000022

Checksum: 0x16b7

Length: 36

Network Mask: /16

Metric Type: 2 (Larger than any link state path)

TOS: 0

Metric: 20

Forward Address: 0.0.0.0

External Route Tag: 0

IPN1# show ip route 10.0.0.0

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.0.0.0/16, ubest/mbest: 2/0

*via 172.16.101.2, Eth1/53.4, [110/20], 08:39:17, ospf-1, type-2

*via 172.16.101.6, Eth1/54.4, [110/20], 08:39:17, ospf-1, type-2

IPN1# show ip route 10.1.0.0

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.1.0.0/16, ubest/mbest: 1/0

*via 172.16.101.102, Eth1/33, [110/20], 08:35:25, ospf-1, type-2

请注意，对于远程Pod(Pod2)的IPN1，在“show ip route”命令中仅显示最佳路由。

DHCP中继配置

交换机节点使用指向APIC的DHCP接收其基础设施TEP地址。所有APIC通常都会收到发现，但它是第一个接收发现并提交TEP地址分配提议的APIC。要在多Pod场景中解决此问题，请在IPN上配置DHCP中继以接收发现结果并将其单播到APIC。通常，使用指向所有APIC的IP帮助程序配置所有面向脊柱的IPN接口。如果由于重新布线、备用APIC故障切换或者任何涉及APIC移至新Pod的其他情况，这将对IPN配置进行未来验证。

在本场景中，这意味着配置IPN1 Eth1/53.4和Eth1/54.4的IP帮助程序指向所有APIC:

interface Ethernet1/53.4

description to  spine 1pod1

mtu 9150

encapsulation dot1q 4

ip address 172.16.101.1/30

ip ospf cost 100

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip dhcp relay address 10.0.0.1

ip dhcp relay address 10.0.0.2

ip dhcp relay address 10.0.0.3

no shutdown

interface Ethernet1/54.4

description to  spine 2pod1

mtu 9150

encapsulation dot1q 4

ip address 172.16.101.5/30

ip ospf cost 100

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip dhcp relay address 10.0.0.1

ip dhcp relay address 10.0.0.2

ip dhcp relay address 10.0.0.3

no shutdown

从IPN3:

interface Ethernet1/53.4

description to  spine 1pod2

mtu 9150

encapsulation dot1q 4

ip address 172.16.101.17/30

ip ospf cost 100

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip dhcp relay address 10.0.0.1

ip dhcp relay address 10.0.0.2

ip dhcp relay address 10.0.0.3

no shutdown

interface Ethernet1/54.4

description to  spine 2pod2

mtu 9150

encapsulation dot1q 4

ip address 172.16.101.21/30

ip ospf cost 100

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip dhcp relay address 10.0.0.1

ip dhcp relay address 10.0.0.2

ip dhcp relay address 10.0.0.3

no shutdown

MTU

如果主干和IPN设备之间没有启动OSPF（EXCHANGE或EXSTART），请确保验证设备之间的MTU匹配。

RP配置

使用PIM BiDir，交汇点(RP)不是数据路径的一部分。对于功能组播，每个IPN设备只需要有一个到RP地址的路由。可使用虚拟RP配置实现冗余。在这种情况下，任播RP不是有效的冗余方法，因为没有通过组播源发现协议(MSDP)进行交换的源。

在虚拟RP设计中，RP是可到达子网中不存在的地址。在下面的配置中，假设APIC初始设置中配置的组播范围是默认的225.0.0.0/15。如果在APIC初始设置中更改了该范围，则必须调整IPN配置。

下面的loopback1是phantom-rp loopback。必须将其注入OSPF;但是，它不能用作OPSF路由器ID。必须使用单独的环回(loopback0)。

IPN1配置：

interface loopback1

description IPN1-RP-Loopback

ip address 172.16.101.221/30

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir

ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN2配置：

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir

ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN3配置：

interface loopback1

description IPN3-RP-Loopback

ip address 172.16.101.221/29

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

ip pim sparse-mode

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir

ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN4配置：

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir

ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

环回的子网掩码不能是/32。要在幻影RP设计中将IPN1用作主要设备，请使用/30子网掩码来利用OSPF拓扑中首选的最具体路由。IPN3将是虚拟RP设计中的辅助设备，因此使用/29子网掩码使其成为不太具体的路由。只有在发生某些操作以停止OSPF拓扑中现有的/30和后续存在的/29时，才会使用/29。

排除连接交换矩阵的第一台远程Pod主干故障

以下步骤概述了第一台远程Pod主干加入交换矩阵的过程：

1. 主干将在面向IPN的子接口上执行DHCP。DHCP中继配置会将此发现传送到APIC。如果脊柱已添加到交换矩阵成员中，APIC将做出响应。提供的IP地址是在多可配置设备L3Out上配置的IP地址。

2. 主干将安装一条到DHCP服务器的路由，该DHCP服务器将IP地址作为静态路由提供到点对点接口的另一端。

3. 主干将通过静态路由从APIC下载引导程序文件。

4. 主干将根据引导程序文件进行配置，以启动VTEP、OSPF和BGP以加入交换矩阵。

从APIC验证是否已正确配置要提供的L3Out IP:(我们的Spine 401具有串行22472/FCV)

bdsol-aci37-apic1# moquery -c dhcpExtIf

# dhcp.ExtIf

ifId         : eth1/30

childAction  :

dn           : client-[FDO22472FCV]/if-[eth1/30]

ip           : 172.16.101.26/30

lcOwn        : local

modTs        : 2019-10-01T09:51:29.966+00:00

name         :

nameAlias    :

relayIp      : 0.0.0.0

rn           : if-[eth1/30]

status       :

subIfId      : unspecified

# dhcp.ExtIf

ifId         : eth1/29

childAction  :

dn           : client-[FDO22472FCV]/if-[eth1/29]

ip           : 172.16.101.18/30

lcOwn        : local

modTs        : 2019-10-01T09:51:29.966+00:00

name         :

nameAlias    :

relayIp      : 0.0.0.0

rn           : if-[eth1/29]

status       :

subIfId      : unspecified

验证面向IPN的接口是否收到与基础设施租户中完成的L3Out配置相匹配的预期IP地址。

S1P2-Spine401# show ip interface brief | grep eth1/29

eth1/29              unassigned           protocol-up/link-up/admin-up

eth1/29.29           172.16.101.18/30     protocol-up/link-up/admin-up

现在，已经建立了从主干到APIC的IP连接，并且可以验证通过ping的连接：

S1P2-Spine401# iping -V overlay-1 10.0.0.1

PING 10.0.0.1 (10.0.0.1) from 172.16.101.18: 56 data bytes

64 bytes from 10.0.0.1: icmp_seq=0 ttl=60 time=0.345 ms

64 bytes from 10.0.0.1: icmp_seq=1 ttl=60 time=0.294 ms

^C

--- 10.0.0.1 ping statistics ---

2 packets transmitted, 2 packets received, 0.00% packet loss

round-trip min/avg/max = 0.294/0.319/0.345 ms

现在，主干将启动OSPF到IPN并为路由器ID设置环回：

S1P2-Spine401# show ip ospf neighbors vrf overlay-1

OSPF Process ID default VRF overlay-1

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

172.16.101.204    1 FULL/ -          00:04:16 172.16.101.25   Eth1/30.30

172.16.101.203    1 FULL/ -          00:04:16 172.16.101.17   Eth1/29.29

S1P2-Spine401# show ip ospf  interface  vrf overlay-1

loopback8 is up, line protocol is up

IP address 172.16.2.4/32, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State LOOPBACK, Network type LOOPBACK, cost 1

Ethernet1/30.30 is up, line protocol is up

IP address 172.16.101.26/30, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State P2P, Network type P2P, cost 1

Index 68, Transmit delay 1 sec

1 Neighbors, flooding to 1, adjacent with 1

Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5

Hello timer due in 00:00:07

No authentication

Number of opaque link LSAs: 0, checksum sum 0

Ethernet1/29.29 is up, line protocol is up

IP address 172.16.101.18/30, Process ID default VRF overlay-1, area backbone

Enabled by interface configuration

State P2P, Network type P2P, cost 1

Index 67, Transmit delay 1 sec

1 Neighbors, flooding to 1, adjacent with 1

Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5

Hello timer due in 00:00:04

No authentication

Number of opaque link LSAs: 0, checksum sum 0

主干现在将通过DHCP接收其PTEP:

S1P2-Spine401# show ip interface vrf overlay-1 | egrep -A 1 status

lo0, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: ptep

IP address: 10.1.88.67, IP subnet: 10.1.88.67/32

主干将从发现移至活动，并且已完全发现：

bdsol-aci37-apic1# acidiag fnvread

ID   Pod ID                 Name    Serial Number         IP Address    Role        State   LastUpdMsgId

--------------------------------------------------------------------------------------------------------------

101        1         S1P1-Leaf101      FDO224702JA     10.0.160.64/32    leaf         active   0

102        1         S1P1-Leaf102      FDO223007G7     10.0.160.67/32    leaf         active   0

201        1        S1P1-Spine201      FDO22491705     10.0.160.65/32   spine         active   0

202        1        S1P1-Spine202      FDO224926Q9     10.0.160.66/32   spine         active   0

401        2        S1P2-Spine401      FDO22472FCV      10.1.88.67/32   spine         active   0

请注意，我们只能发现连接了至少一个枝叶交换机的远程主干。

检验剩余的枝叶和主干交换机

Pod的其余部分现已按照正常的Pod启动过程被发现，如“初始交换矩阵设置”一节所述。

检查远程Pod APIC

要发现第3个APIC，请遵循以下流程：

- 枝叶301根据LLDP（与单个Pod机箱相同）创建到直连APIC(APIC3)的静态路由。远程APIC将从POD1 IP池接收IP地址。我们将此路由创建为/32。

- 枝叶301使用IS-IS向Spine401和Spine402通告此路由（与单个Pod机箱相同）

- Spine401和Spine402将此路由重分布到OSPF中并指向IPN

- Spine201和Spine202在Pod1中将此路由从OSPF重分布到IS-IS

- 现在，APIC3与APIC1和APIC2之间已建立连接

- APIC3现在可以加入集群

要确认，请使用以下检查：

枝叶301根据LLDP（与单Pod机箱相同）创建到直连APIC(APIC3)的静态路由

S1P2-Leaf301# show ip route 10.0.0.3 vrf overlay-1

IP Route Table for VRF "overlay-1"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0

*via 10.1.88.64, eth1/50.14, [115/12], 00:07:21, isis-isis_infra, isis-l1-ext

*via 10.1.88.67, eth1/49.13, [115/12], 00:07:15, isis-isis_infra, isis-l1-ext

via 10.0.0.3, vlan9, [225/0], 07:31:04, static

枝叶301使用IS-IS向Spine401和Spine402通告此路由（与单个Pod机箱相同）

Spine401和Spine402将此路由泄漏到OSPF中以向IPN发送

S1P2-Spine401# show ip route 10.0.0.3 vrf overlay-1

IP Route Table for VRF "overlay-1"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 1/0

*via 10.1.88.65, eth1/2.35, [115/11], 00:17:38, isis-isis_infra, isis-l1-ext  S1P2-Spine401#

IPN3# show ip route 10.0.0.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0

*via 172.16.101.18, Eth1/53.4, [110/20], 00:08:05, ospf-1, type-2

*via 172.16.101.22, Eth1/54.4, [110/20], 00:08:05, ospf-1, type-2

S1P1-Spine201# show ip route vrf overlay-1 10.0.0.3

IP Route Table for VRF "overlay-1"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0

*via 172.16.101.1, eth1/29.29, [110/20], 00:08:59, ospf-default, type-2

*via 172.16.101.9, eth1/30.30, [110/20], 00:08:59, ospf-default, type-2

via 10.0.160.64, eth1/1.36, [115/12], 00:18:19, isis-isis_infra, isis-l1-ext

via 10.0.160.67, eth1/2.35, [115/12], 00:18:19, isis-isis_infra, isis-l1-ext

现在，APIC3与APIC1和APIC2之间已建立连接

APIC3现在可以加入集群

apic1# show controller

Fabric Name          : POD37

Operational Size     : 3

Cluster Size         : 3

Time Difference      : 133

Fabric Security Mode : PERMISSIVE

ID    Pod   Address          In-Band IPv4     In-Band IPv6               OOB IPv4         OOB IPv6                        Version             Flags  Serial Number     Health

----  ----  ---------------  ---------------  -------------------------  ---------------  ------------------------------  ------------------  -----  ----------------  ------------------

1*    1     10.0.0.1         0.0.0.0          fc00::1                    10.48.176.57     fe80::d6c9:3cff:fe51:cb82       4.2(1i)             crva-  WZP22450H82       fully-fit

2     1     10.0.0.2         0.0.0.0          fc00::1                    10.48.176.58     fe80::d6c9:3cff:fe51:ae22       4.2(1i)             crva-  WZP22441AZ2       fully-fit

3     2     10.0.0.3         0.0.0.0          fc00::1                    10.48.176.59     fe80::d6c9:3cff:fe51:a30a       4.2(1i)             crva-  WZP22441B0T       fully-fit

Flags - c:Commissioned | r:Registered | v:Valid Certificate | a:Approved | f/s:Failover fail/success

(*)Current (~)Standby (+)AS

从APIC1 ping Pod2中的远程设备，以通过以下ping检验连接：（确保从APIC1案例10.0.0.1中的本地接口发出）

apic1# ping 10.0.0.3 -I 10.0.0.1

PING 10.0.0.3 (10.0.0.3) from 10.0.0.1 : 56(84) bytes of data.

64 bytes from 10.0.0.3: icmp_seq=1 ttl=58 time=0.132 ms

64 bytes from 10.0.0.3: icmp_seq=2 ttl=58 time=0.236 ms

64 bytes from 10.0.0.3: icmp_seq=3 ttl=58 time=0.183 ms

^C

--- 10.0.0.3 ping statistics ---

3 packets transmitted, 3 received, 0% packet loss, time 2048ms

rtt min/avg/max/mdev = 0.132/0.183/0.236/0.045 ms

故障排除情况

主干无法ping通IPN

最可能的原因包括：

- ACI访问策略配置错误。

- IPN配置中存在配置错误。

请参阅本章中的“故障排除工作流程”并复习：

- 检验ACI策略。

- IPN验证。

远程主干未连接交换矩阵

最可能的原因包括：

- IPN网络上的DHCP中继问题。

- 通过IPN网络实现主干到APIC IP的可达性。

请参阅本章中的“故障排除工作流程”并复习：

- 检验ACI策略。

- IPN验证。

- 排除第1个交换矩阵连接故障。

确保验证至少有一个枝叶连接到远程主干，并且该主干与此枝叶具有LLDP邻接关系。

Pod2中的APIC未连接交换矩阵

这通常是由假设远程Pod枝叶和主干交换机能够正确加入交换矩阵的APIC初始设置对话框中的错误造成的。在正确的设置中，预期以下“avread”输出（工作APIC3加入场景）：

apic1# avread

Cluster:

-------------------------------------------------------------------------

fabricDomainName        POD37

discoveryMode           PERMISSIVE

clusterSize             3

version                 4.2(1i)

drrMode                 OFF

operSize                3

APICs:

-------------------------------------------------------------------------

APIC 1                  APIC 2                  APIC 3

version           4.2(1i)                 4.2(1i)                 4.2(1i)

address           10.0.0.1                10.0.0.2                10.0.0.3

oobAddress        10.48.176.57/24         10.48.176.58/24         10.48.176.59/24

routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0

tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16

podId             1                       1                       2

chassisId         7e34872e-.-d3052cda     84debc98-.-e207df70     89b73e48-.-f6948b98

cntrlSbst_serial  (APPROVED,WZP22450H82)  (APPROVED,WZP22441AZ2)  (APPROVED,WZP22441B0T)

active            YES                     YES                     YES

flags             cra-                    cra-                    cra-

health            255                     255                     255

请注意，APIC3（在远程Pod中）配置了PodId 2和Pod1的tepAddress。

使用以下命令验证原始APIC3设置设置：

apic3# cat /data/data_admin/sam_exported.config

Setup for Active and Standby APIC

fabricDomain = POD37

fabricID = 1

systemName =bdsol-aci37-apic3

controllerID = 3

tepPool = 10.0.0.0/16

infraVlan = 3937

clusterSize = 3

standbyApic = NO

enableIPv4 = Y

enableIPv6 = N

firmwareVersion = 4.2(1i)

ifcIpAddr = 10.0.0.3

apicX = NO

podId = 2

oobIpAddr = 10.48.176.59/24

如果发生错误，请登录APIC3并执行“acidiag touch setup”和“acidiag reboot”。

POD到POD BUM流量不起作用

最可能的原因包括：

- IP网络中缺少RP

- ACI交换矩阵无法访问RP IPN设备上的常规组播配置错误

请参阅本章中的“故障排除工作流程”并复习：

- IPN验证

另请确保其中一个IPN RP设备处于联机状态。

1个IPN设备发生故障后，BUM流量将被丢弃

如故障排除工作流程中的IPN验证中所述，使用虚拟RP来保证当主RP关闭时，辅助RP可用。确保复习“IPN验证”部分并验证正确的验证。

Pod间终端连接在同一EPG内断开

这很可能是由多Pod设置中的错误配置造成的，请确保验证故障排除工作流程并验证整个流程。如果这看起来正常，请参阅“交换矩阵内转发”一章中的“多Pod转发”部分，以进一步解决此问题。