能ARP数据包风暴影响连结7000平台的BFD会话

简介

本文描述ARP数据包风暴影响在控制层面协议例如BFD， OSPF和其他，运行在连结7000交换机。

贡献用Nishad Mohiuddin，尼可拉Kartashev， Cisco TAC工程师。

Q. 因为Cisco NX-OS能分配BFD操作到支持BFD的兼容的模块， ARP数据包风暴是否将有在BFD会话的任何影响连结7000平台的？

A.一般来说， ARP数据包风暴能有在BFD会话的稳定性的negitive影响运行在连结7000交换机的。确切的症状取决于ARP数据包风暴事件的longetivity和magnitute。下面从Cisco TAC实验室网络的测试结果。

实验室设置详细信息

以下实验室设置被建立测试ARP流量点击连结7000交换机的CPU相当数量影响。

这里N7k-A使用作为在测验(DUT)下的设备。DUT是有以下硬件配置的一连结7009交换机

N7k-A# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 0 Supervisor module-1X N7K-SUP1 active *
2 0 Supervisor module-1X N7K-SUP1 ha-standby
3 32 10 Gbps Ethernet Module N7K-M132XP-12 ok
4 32 10 Gbps Ethernet Module N7K-M132XP-12 ok
N7k-A#

N7k-A有以下设备连接对它

• N7k-B是VPC对等体，已连接对以太网接口3/15
• ASR1k是第3层邻居，连接对以太网接口3/14
• N7k-C是第3层邻居，连接对以太网接口4/10
• 鸢尾属数据流生成器在VLAN 6，连接对以太网接口3/10，配置作为Layer2接入端口

DUT有三BFD会话，一在插槽4的线路卡往N7k-C和两在线路卡在往N7k-B和ASR1k的slot3

N7k-A# show bfd neighbors

OurAddr NeighAddr LD/RD RH/RS Holdown(mult) State Int
10.80.6.173 10.80.6.174 1090519061/4105 Up 4951(3) Up Eth3/14

10.80.1.162 10.80.1.161 1090519054/1090519044 Up 4203(3) Up Eth4/10

10.80.1.61 10.80.1.62 1090519060/1090519059 Up 5921(3) Up Vlan6

N7k-A#

DUT也有三OSPF会话，一在插槽4的线路卡往N7k-C和两在线路卡在slot3，往N7k-B和ASR1k。 

N7k-A# show ip ospf neighbors
 OSPF Process ID 1 
 Total number of neighbors: 3
 Neighbor ID Pri State Up Time Address Interface
 10.80.0.2 1 FULL/ - 00:13:26 10.80.1.62 Vlan6 
 10.80.4.25 1 FULL/DR 00:12:40 10.80.6.174 Eth3/14 
 10.80.0.3 1 FULL/DR 20:15:07 10.80.1.161 Eth4/10 
N7k-A#

OSPF注册与BFD

router ospf 1
 bfd
 router-id 10.80.0.1

并且，在N7k-A的ARP表有所有三个BFD/OSPF邻居的条目

N7k-A# show ip arp

Address Age MAC Address Interface
10.80.1.62 00:13:30 4055.390f.48c1 Vlan6 
10.80.6.174 00:12:46 88f0.774b.0700 Ethernet3/14
10.80.1.161 00:15:13 6c9c.ed44.6841 Ethernet4/10 
N7k-A#

ARP风暴开始

鸢尾属数据流生成器在下图所示中用于模拟网络的不稳定的部分，导致大容积ARP流量发送对DUT，和能被看到

以下表示输入数据流增加在以太网接口3/10的，其中鸢尾属数据流生成器连接。这些是在VLAN接收的广播ARP数据包6

N7k-A# show interface Ethernet3/10 | grep "30 seconds input rate"
  30 seconds input rate 3102999976 bits/sec, 6062053 packets/sec
N7k-A#

因为每广播ARP数据包的复制被发送对在N7k-A的CPU在此方案，我们看到被违犯的字节增加在模块3的在CoPP

N7k-A# show policy-map interface control-plane class copp-system-p-class-normal
Control Plane

 service-policy input: copp-system-p-policy-strict

 class-map copp-system-p-class-normal (match-any)
 match access-group name copp-system-p-acl-mac-dot1x
 match protocol arp
 set cos 1
 police cir 680 kbps , bc 250 ms 
 module 3 :
 conformed 2295040 bytes; action: transmit 
 violated 20569190016 bytes; action: drop 

 module 4 :
 conformed 128 bytes; action: transmit 
 violated 0 bytes; action: drop 

N7k-A# 

Note:注意没有在模块的被违犯的字节在插槽4，因为广播ARP风暴来源在模块3连接仅建立接口

在指示在网络的一个问题的点，当ARP风暴开始时，上述输出通常是第一个(和只)符号。那导致主要连通性问题的在大多数情况下，这些符号未被注意或由网络操作员俯视和迅速进步对情况。

ARP风暴启动影响的控制层面 

默认情况下，在连结7000平台的ARP超时超时值配置在25分钟或1500秒。连结交换机必须周期地刷新本地ARP缓存条目为了保持其下一跳第3层邻居的最新IP对MAC解决方法。

下列是ARP缓存表的输出在DUT的在超时的ARP缓存条目以后。

N7k-A# show ip arp

Address Age MAC Address Interface 
10.80.1.62 00:00:06 INCOMPLETE Vlan6 
10.80.6.174 00:00:10 INCOMPLETE Ethernet3/14 
10.80.1.161 00:12:59 6c9c.ed44.6841 Ethernet4/10 
N7k-A# 

注意设备的ARP缓存条目连接对在slot3的线路卡显示不完整状态，而交换机的N7k-C条目，连接到在插槽4的线路卡顺利地刷新正如所料。

以下DUT日志消息指示在控制层面级别上的影响

N7k-A# show logging log
...
2016 Nov 16 22:12:55 N7k-A %BFD-5-SESSION_STATE_DOWN: BFD session 1090519060 to neighbor 10.80.1.62 on interface Vlan6 has gone down. Reason: 0x3.
2016 Nov 16 22:12:55 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.1.62 on Vlan6 went DOWN
2016 Nov 16 22:12:55 N7k-A %BFD-5-SESSION_REMOVED: BFD session to neighbor 10.80.1.62 on interface Vlan6 has been removed
2016 Nov 16 22:12:56 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.1.62 on Vlan6 went EXSTART
2016 Nov 16 22:13:40 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.6.174 on Ethernet3/14 went DOWN
2016 Nov 16 22:13:40 N7k-A %BFD-5-SESSION_STATE_DOWN: BFD session 1090519061 to neighbor 10.80.6.174 on interface Eth3/14 has gone down. Reason: 0x3.
2016 Nov 16 22:13:40 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.6.174 on Ethernet3/14 went EXSTART
2016 Nov 16 22:13:46 N7k-A %BFD-5-SESSION_REMOVED: BFD session to neighbor 10.80.6.174 on interface Eth3/14 has been removed
2016 Nov 16 22:15:45 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.6.174 on Ethernet3/14 went INIT
...
N7k-A# 

公告在OSPF再按乒乓键在DOWN之间对Exstart状态的此输出中，然后回到初始状态。在Exstart状态期间，因为OSPF使用单播交换前缀这发生。因为ARP解决方法是不完整在slot3的模块在ARP数据包风暴时，路由交换从未完成造成OSPF邻接不形成。

Note:对下一跳的IP对MAC解决方法的ARP依靠单播象BFD操作。在的情况下我们能认为， BFD要求为正常操作将解决的ARP。

以下输出确认ARP数据包风暴的影响在BFD，并且模块的OSPF会话在slot 3.相反与模块的此BFD和OSPF会话在插槽4建立并且保持稳定的。

N7k-A# show bfd neighbors

OurAddr NeighAddr LD/RD RH/RS Holdown(mult) State Int
10.80.1.162 10.80.1.161 1090519054/1090519044 Up 5764(3) Up Eth4/10 

N7k-A#


N7k-A# show ip ospf neighbors 
 OSPF Process ID 1 
 Total number of neighbors: 3
 Neighbor ID Pri State Up Time Address Interface
 10.80.0.2 1 EXSTART/ - 00:02:54 10.80.1.62 Vlan6 
 10.80.4.25 1 INIT/DR 00:00:05 10.80.6.174 Eth3/14 
 10.80.0.3 1 FULL/DR 20:29:28 10.80.1.161 Eth4/10
N7k-A# 

当ARP数据包风暴终止，什么发生？ 

 当ARP数据包风暴终止时，以下恢复自动地发生，并且网络开始会聚并且享受稳定状态在ARP之前执行广播风暴。

1. ARP缓存条目获得解决在N7k-A
2. 模块的BFD会话在slot3重新建立
3. 模块的OSPF会话在slot3重新建立

结论

即使Cisco NX-OS能分配BFD操作到支持BFD的兼容的模块，高容量点击交换机的CPU期限的ARP流量长比被留下的时间刷新在连结7000平台的本地ARP缓存条目的BFD会话和所有客户端协议将导致不稳定性注册与BFD。

这可以归因于要求下一跳ARP解决方法是单播的BFD操作。不如果下一跳的ARP缓存条目及时被刷新， BFD会话将出故障。