Kan een ARP Packet Storm Impact BFD-sessies op het Nexus 7000 platform

Inleiding

Dit document beschrijft een impact van ARP Packet Storm op Control Plane protocollen zoals BFD, OSPF en anderen, die op Nexus 7000 switches lopen.

Bijgedragen door Nishad Mohiuddin, Nikolay Kartashev, Cisco TAC-engineers.

Q. Aangezien Cisco NX-OS BFD-handeling kan distribueren naar compatibele modules die BFD ondersteunen, zou een ARP-pakketstorm gevolgen hebben voor BFD-sessies op Nexus 7000 platform?

A. In het algemeen kan een ARP Packet Storm een negatieve invloed hebben op de stabiliteit van BFD sessies die op Nexus 7000 switch worden uitgevoerd. Exacte symptomen hangen af van de eenzaamheid en de vergroting van de ARP Packet Storm-gebeurtenis. Hieronder vindt u testresultaten van Cisco TAC-labnetwerk.

Setup-gegevens labelen

De volgende lab instellingen zijn gebouwd om het effect te testen van hoeveelheden ARP-verkeer die CPU-schakelaar van Nexus 7000 hebben ingedrukt.

Hier wordt N7k-A gebruikt als APPARAAT onder Test (DUT). DUT is een Nexus 7009-schakelaar met de volgende hardwareconfiguratie

N7k-A# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 0 Supervisor module-1X N7K-SUP1 active *
2 0 Supervisor module-1X N7K-SUP1 ha-standby
3 32 10 Gbps Ethernet Module N7K-M132XP-12 ok
4 32 10 Gbps Ethernet Module N7K-M132XP-12 ok
N7k-A#

N7k-A is verbonden met de volgende voorzieningen

• N7k-B is een VPC-peer, aangesloten op interface Ethernet 3/15
• ASR1k is een Layer 3 buurman, verbonden met interface Ethernet 3/14
• N7k-C is een Layer 3-buurman, verbonden met interface Ethernet 4/10
• IXIA Traffic Generator is in VLAN 6 aangesloten op interface Ethernet 3/10, dat als Layer 2-toegangspoort wordt geconfigureerd

DUT heeft drie BFD-sessies, één op lijnkaart in sleuf 4 naar N7k-C en twee op lijnkaart in sleuf 3 naar N7k-B en ASR1k

N7k-A# show bfd neighbors

OurAddr NeighAddr LD/RD RH/RS Holdown(mult) State Int
10.80.6.173 10.80.6.174 1090519061/4105 Up 4951(3) Up Eth3/14

10.80.1.162 10.80.1.161 1090519054/1090519044 Up 4203(3) Up Eth4/10

10.80.1.61 10.80.1.62 1090519060/1090519059 Up 5921(3) Up Vlan6

N7k-A#

DUT heeft ook drie OSPF-sessies, één op linecard in sleuf 4 naar N7k-C en twee op lijnkaart in sleuf 3, naar N7k-B en ASR1k. 

N7k-A# show ip ospf neighbors
 OSPF Process ID 1 
 Total number of neighbors: 3
 Neighbor ID Pri State Up Time Address Interface
 10.80.0.2 1 FULL/ - 00:13:26 10.80.1.62 Vlan6 
 10.80.4.25 1 FULL/DR 00:12:40 10.80.6.174 Eth3/14 
 10.80.0.3 1 FULL/DR 20:15:07 10.80.1.161 Eth4/10 
N7k-A#

OSPF-is geregistreerd onder BFD

router ospf 1
 bfd
 router-id 10.80.0.1

Tevens heeft ARP-tabel op N7k-A indelingen voor alle drie BFD/OSPF-buren

N7k-A# show ip arp

Address Age MAC Address Interface
10.80.1.62 00:13:30 4055.390f.48c1 Vlan6 
10.80.6.174 00:12:46 88f0.774b.0700 Ethernet3/14
10.80.1.161 00:15:13 6c9c.ed44.6841 Ethernet4/10 
N7k-A#

ARP Storm start

IXIA Traffic Generator wordt gebruikt om een onstabiel deel van het netwerk te simuleren, wat resulteert in een hoog volume ARP-verkeer dat naar DUT wordt verstuurd, zoals in het onderstaande schema te zien is

De volgende uitvoer toont een toename van invoerverkeer op interface Ethernet 3/10, waar de IXIA Traffic Generator is aangesloten. Dit zijn uitgezonden ARP-pakketten die in VLAN 6 worden ontvangen

N7k-A# show interface Ethernet3/10 | grep "30 seconds input rate"
  30 seconds input rate 3102999976 bits/sec, 6062053 packets/sec
N7k-A#

Aangezien een kopie van elk uitgezonden ARP-pakket naar de CPU wordt verzonden bij N7k-A in dit scenario, zien we een toename van overgevallen bytes op module 3 in CoPP

N7k-A# show policy-map interface control-plane class copp-system-p-class-normal
Control Plane

 service-policy input: copp-system-p-policy-strict

 class-map copp-system-p-class-normal (match-any)
 match access-group name copp-system-p-acl-mac-dot1x
 match protocol arp
 set cos 1
 police cir 680 kbps , bc 250 ms 
 module 3 :
 conformed 2295040 bytes; action: transmit 
 violated 20569190016 bytes; action: drop 

 module 4 :
 conformed 128 bytes; action: transmit 
 violated 0 bytes; action: drop 

N7k-A# 

Opmerking: Merk op dat er geen overtreden bytes zijn op module in sleuf 4, aangezien de bron van uitzending ARP storm is aangesloten op interface op module 3

Op het punt wanneer ARP storm begint, zijn de bovenstaande uitgangen meestal de eerste (en alleen) signalen die een probleem op het netwerk aangeven. In de meeste gevallen gaan deze signalen onopgemerkt of door netwerkexploitanten over het hoofd gezien en gaan ze snel vooruit naar een situatie die leidt tot belangrijke aansluitingsproblemen.

ARP Storm start invloed op besturingsplane 

Standaard wordt de waarde voor ARP-timeout op het Nexus 7000 platform ingesteld voor 25 minuten of 1500 seconden. De Nexus schakelaar moet de lokale ARP cache ingangen periodiek verfrissen om de IP-naar-MAC resolutie van zijn volgende hoplaag 3 buren bij te houden.

Het volgende is de output van de ARP cache tabel op DUT nadat ARP cache items zijn verlopen.

N7k-A# show ip arp

Address Age MAC Address Interface 
10.80.1.62 00:00:06 INCOMPLETE Vlan6 
10.80.6.174 00:00:10 INCOMPLETE Ethernet3/14 
10.80.1.161 00:12:59 6c9c.ed44.6841 Ethernet4/10 
N7k-A# 

Merk op dat ARP cache items voor apparaten die op de lijnkaart in sleuf 3 zijn aangesloten, INCOMPLETE status tonen, terwijl de ingang voor schakelaar N7k-C, die op de lijnkaart in sleuf 4 is aangesloten, met succes wordt verververst zoals verwacht.

De volgende DUT-logberichten geven de invloed op het niveau van het besturingsplane aan

N7k-A# show logging log
...
2016 Nov 16 22:12:55 N7k-A %BFD-5-SESSION_STATE_DOWN: BFD session 1090519060 to neighbor 10.80.1.62 on interface Vlan6 has gone down. Reason: 0x3.
2016 Nov 16 22:12:55 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.1.62 on Vlan6 went DOWN
2016 Nov 16 22:12:55 N7k-A %BFD-5-SESSION_REMOVED: BFD session to neighbor 10.80.1.62 on interface Vlan6 has been removed
2016 Nov 16 22:12:56 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.1.62 on Vlan6 went EXSTART
2016 Nov 16 22:13:40 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.6.174 on Ethernet3/14 went DOWN
2016 Nov 16 22:13:40 N7k-A %BFD-5-SESSION_STATE_DOWN: BFD session 1090519061 to neighbor 10.80.6.174 on interface Eth3/14 has gone down. Reason: 0x3.
2016 Nov 16 22:13:40 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.6.174 on Ethernet3/14 went EXSTART
2016 Nov 16 22:13:46 N7k-A %BFD-5-SESSION_REMOVED: BFD session to neighbor 10.80.6.174 on interface Eth3/14 has been removed
2016 Nov 16 22:15:45 N7k-A %OSPF-5-ADJCHANGE: ospf-1 [10600] Nbr 10.80.6.174 on Ethernet3/14 went INIT
...
N7k-A# 

Merk in deze uitvoer op dat OSPF-knevels tussen DOWN naar EXSTART-status en dan terug naar INIT-status. Dit komt voor omdat OSPF unicast gebruikt om prefixes tijdens de staat EXSTART te ruilen. Aangezien ARP resolutie onvolledig is op module in sleuf 3 op het tijdstip van de ARP pakketstorm, voltooit de routeuitwisseling nooit resulterend in de OSPF nabijheid om geen vorm te vormen.

Opmerking:ARP naar IP-to-MAC resolutie van volgende hop is afhankelijk van unicast zoals BFD-handeling. Gezien het feit dat we kunnen concluderen dat BFD vereist dat ARP wordt opgelost voor een goede werking.

De volgende output bevestigt het effect van een ARP pakketstorm op zowel BFD als OSPF sessies op de module in sleuf 3. In tegenstelling tot deze BFD- en OSPF-sessie(s) op de module in sleuf 4 zijn vastgesteld en blijven stabiel.

N7k-A# show bfd neighbors

OurAddr NeighAddr LD/RD RH/RS Holdown(mult) State Int
10.80.1.162 10.80.1.161 1090519054/1090519044 Up 5764(3) Up Eth4/10 

N7k-A#


N7k-A# show ip ospf neighbors 
 OSPF Process ID 1 
 Total number of neighbors: 3
 Neighbor ID Pri State Up Time Address Interface
 10.80.0.2 1 EXSTART/ - 00:02:54 10.80.1.62 Vlan6 
 10.80.4.25 1 INIT/DR 00:00:05 10.80.6.174 Eth3/14 
 10.80.0.3 1 FULL/DR 20:29:28 10.80.1.161 Eth4/10
N7k-A# 

Wat gebeurt er wanneer een ARP Packet Storm stopt? 

 Wanneer een ARP Packet Storm stopt, komt het volgende herstel automatisch voor en het netwerk begint samen te vallen en geniet van de stabiele status die het vóór de ARP uitzending storm heeft gehad.

1. ARP cache items worden opgelost op N7k-A
2. BFD-sessies bij module in sleuf 3 opnieuw instellen
3. OSPF-sessies bij module in sleuf 3 opnieuw instellen

Conclusie

Zelfs al kan Cisco NX-OS BFD-handeling distribueren naar compatibele modules die BFD ondersteunen, zal een hoog volume ARP-verkeer dat de CPU van de switch raakt gedurende een periode langer dan de resterende tijd om lokale ARP ARP-cache-items op Nexus 7000-platform te verfrissen instabiliteit veroorzaken in BFD-sessies en elke client-protocollen die bij BFD zijn geregistreerd.

Dit kan worden toegeschreven aan BFD-handeling, waarvoor ARP-resolutie van de volgende hop vereist is, die eenmalig is. Als de ARP cache-ingang voor de volgende hop niet op tijd wordt ververst, zal(en) BFD-sessie(s) mislukken.