FlexPod Nexus 5k in vPC-gedrag tijdens verstoring

Inleiding

Dit document schetst het gedrag van het netwerk in reactie op verschillende verstoringen, en concentreert zich op Virtual Port-Channel (vPC). 

Een typische verstoring zou zijn: een herbelasting, een koppelingsverlies of een verlies van de aansluitingen. 

Het doel van dit document is pakketverlies tijdens gemeenschappelijke scenario's aan te tonen. 

Topologie

Tijdens het testen wordt, tenzij anders vermeld, de volgende topologie gebruikt. 

De groene en blauwe lijnen wijzen op een vPC poortkanaal van elk van de fabric interconnects aan beide Nexus switches. 

Niet omschreven is het out of band management network. 

Het is een vereenvoudigde topologie die vaak in implementaties FlexPod wordt aanbevolen zoals bijvoorbeeld in:

http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/UCS_CVDs/flexpod_esxi51_ucsm2.html

Gebruikte componenten

Twee Nexus 5548P switches.

Twee Unified Computing System (UCS) 6120 Fabric Interconnect-software van 2.2(4b).

Een 5108 UCS chassis. 

Twee B200M3-blades met VIC 1240-adapter met software van 2.2(4). 

Om connectiviteitstests uit te voeren en te controleren zijn twee blades geïnstalleerd en is het besturingssysteem RedHat Enterprise Linux 7.1 geïnstalleerd. 

Configuratie.  

Zowel de vPC- als de portchannel configuratie gebruikt standaard. 

feature vpc

vpc domain 75
 role priority 3000
 peer-keepalive destination 10.48.43.79 source 10.48.43.78
 delay restore 150
 peer-gateway

interface port-channel1
 description vPC Peer-Link
 switchport mode trunk
 spanning-tree port type network
 vpc peer-link

Voorbeeld vPC die tot UCS Fabric Interconnect (FI) leidt in dit geval bdsol-6120-05-A

interface port-channel101
 description bdsol-6120-05-A
 switchport mode trunk
 spanning-tree port type edge trunk
 vpc 101

Testen

Na de test wordt de test uitgevoerd. 

- verlies van datalink. 

- Verstorende upgrade 

- Software-upgrade tijdens service (ISSU) 

- Verlies van peer-Keeplevinglink - mt0 interface in het geval van deze topologie/configuratie.

- Verlies van peer portchannel - Port-channel 1 in deze configuratie. 

- De vPC-functie uitschakelen

Basisverkeersstroom. 

Een enkele iperf3 sessie wordt gebruikt om 6,5 gigabit per seconde van testTCP verkeer te genereren om frame verlies tijdens transities te controleren.

RedHat2 is vastgemaakt aan Fabric Interconnect B, terwijl RedHat1 is vastgemaakt aan fabric interconnect A. Dit resulteert in verkeer dat het switching-gedeelte moet oversteken. 

Iperf3-parameters:

• Server: iperf3 -s -i 1
• Clientadapter iperf3-c 10.37.9.131-t 0-i 1-w 1M-V

De bovenstaande parameters zijn geselecteerd om een hoge verkeerssnelheid en pakketverlies eenvoudig te besparen. 

Het TCP-venster is geactiveerd om gegevensuitbarstingen te voorkomen, zodat iedereen weet waarvoor. Toestaan dat iperf ongeëvenaard blijft, kan af en toe resulteren in dalingen van ingangsbuffers langs het pad - afhankelijk van de QoS-configuratie. De bovenstaande parameters maken een duurzame snelheid van 6-7 Gbps zonder framenverlies mogelijk.

Om te verifiëren kunnen we cumulatief verkeersvolume op interfaces controleren.

bdsol-n5548-07# show interface ethernet 1/1-2 | i rate
 30 seconds input rate 5612504 bits/sec, 9473 packets/sec
 30 seconds output rate 7037817832 bits/sec, 578016 packets/sec
  input rate 5.60 Mbps, 9.38 Kpps; output rate 7.01 Gbps, 576.10 Kpps
 30 seconds input rate 7037805336 bits/sec, 578001 packets/sec
 30 seconds output rate 5626064 bits/sec, 9489 packets/sec
  input rate 7.01 Gbps, 575.71 Kpps; output rate 6.56 Mbps, 9.79 Kpps

De bovenstaande uitvoer toont 7 Gbps verkeer dat op interface Ethernet 1/2 ingaat en op interface Ethernet 1/1 verlaat.

Verlies van datalink

Deze test wordt aangewezen om te testen hoe data zich zullen gedragen als een link die deel uitmaakt van vPC wordt afgesloten. 

Dit voorbeeld zal Ethernet 1/1, de uitvoerinterface voor gegevensverkeer gebruiken, zal het worden gesloten met behulp van een opdrachtregel. 

bdsol-n5548-07# conf t
Enter configuration commands, one per line. End with CNTL/Z.
bdsol-n5548-07(config)# int et1/1
bdsol-n5548-07(config-if)# shut

In dit geval is slechts één pakje verloren gegaan door een overstroming van 6,5 Gbps stroom. 

Het verkeer is vrijwel onmiddellijk gebalanceerd tussen de resterende links in portkanaal op UCS, in dit geval met gebruik van UCS FI B's Ethernet 1/8 (de enige resterende) poort naar Nexus 5548 B, waarna het naar UCS FI A zal worden getransporteerd met Ethernet 1/1.

bdsol-n5548-08# show interface ethernet 1/1-2 | i rate
 30 seconds input rate 5575896 bits/sec, 9413 packets/sec
 30 seconds output rate 6995947064 bits/sec, 574567 packets/sec
  input rate 2.21 Mbps, 3.70 Kpps; output rate 2.78 Gbps, 227.99 Kpps
 30 seconds input rate 6995940736 bits/sec, 574562 packets/sec
 30 seconds output rate 5581920 bits/sec, 9418 packets/sec
  input rate 2.78 Gbps, 227.99 Kpps; output rate 2.22 Mbps, 3.71 Kpps 

Verstorende upgrade of herlading 

  

Er kan een gecombineerde verstoring van gegevens- en besturingsvlakken worden nagevolgd door een verstorende upgrade van de bdsol-n548-07 (primaire vPC) uit te voeren.

Verkeersverlies wordt verwacht.

Functioneel is deze test hetzelfde als het opnieuw laden van een vPC peer.

bdsol-n5548-07# install all kickstart bootflash:n5000-uk9-kickstart.7.1.0.N1.1a.bin system bootflash:n5000-uk9.7.1.0.N1.1a.bin
(...)

Compatibility check is done:
Module bootable Impact Install-type Reason
------ -------- -------------- ------------ ------
 1 yes disruptive reset Incompatible image

(...)

Switch will be reloaded for disruptive upgrade.
Do you want to continue with the installation (y/n)? [n] y

Install is in progress, please wait.

Performing runtime checks.
[####################] 100% -- SUCCESS

Setting boot variables.
[####################] 100% -- SUCCESS

Performing configuration copy.
[####################] 100% -- SUCCESS

Finishing the upgrade, switch will reboot in 10 seconds.

Na de 10 seconden die vermeld zijn, treedt het pakketverlies op. 

Gedurende die tijd zijn er slechts 55 pakketten verloren (vanuit de stroom van 6,6 Gbps).

Als de iperf3 onmiddellijk opnieuw is opgestart, kan de exploitant controleren of het verkeer inderdaad is overgeschakeld op bdsol-n5548-08. 

bdsol-n5548-08# show interface ethernet 1/1-2 | i rate
 30 seconds input rate 5601392 bits/sec, 9455 packets/sec
 30 seconds output rate 7015307760 bits/sec, 576159 packets/sec
  input rate 2.25 Mbps, 3.77 Kpps; output rate 2.81 Gbps, 231.14 Kpps
 30 seconds input rate 7015303696 bits/sec, 576152 packets/sec
 30 seconds output rate 5605280 bits/sec, 9462 packets/sec
  input rate 2.81 Gbps, 231.14 Kpps; output rate 2.25 Mbps, 3.77 Kpps

De verkeerssnelheid is lager dan 6 Gbps aangezien de teller gemiddeld meer dan 30 seconden is. 

vPC peer link naar beneden 

In dit voorbeeld gaat de vPC peer link omlaag, geactiveerd door een configuratie verandering. 

Op dat moment wordt het verkeer afgehandeld door bdsol-n5548-07, werkend vPC secundair. 

De opeenvolging van gebeurtenissen. 

Poortkanaal 1 gaat omlaag. 

2015 jul 10:00:25 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_CFG_CHANGE: Interfacepoort-kanaal1 is omlaag (configuratie)

Aangezien bdsol-n5548-07 secundair werkt, zal het zijn vPC's opschorten omdat het geen lusloze topologie kan garanderen:

2015 Jul 10 15:00:28 bdsol-n5548-07 %VPC-2-VPC_SUSP_ALL_VPC: Peer-link going down, suspending all vPCs on secondary
2015 Jul 10 15:00:28 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface port-channel928 is down (Initializing)
2015 Jul 10 15:00:28 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface port-channel102 is down (Initializing)
2015 Jul 10 15:00:28 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface port-channel101 is down (Initializing)

Tijdens deze tijd verloor iperf3 een deel van het verkeer - 90 pakketten. 

Maar hij kon vrij snel herstellen. 

Aangezien vPC's op bdsol-n5548-07 zijn opgeschort, wordt al het verkeer verwerkt door bdsol-n5548-08 

bdsol-n5548-08# show int ethernet 1/1-2 | i rate
 30 seconds input rate 5623248 bits/sec, 9489 packets/sec
 30 seconds output rate 7036030160 bits/sec, 577861 packets/sec
  input rate 2.83 Mbps, 4.74 Kpps; output rate 3.54 Gbps, 290.64 Kpps
 30 seconds input rate 7036025712 bits/sec, 577854 packets/sec
 30 seconds output rate 5627216 bits/sec, 9498 packets/sec
  input rate 3.54 Gbps, 290.64 Kpps; output rate 2.83 Mbps, 4.75 Kpps

Nogmaals, de snelheid geeft niet 6,5 gigabit per seconde weer, direct vanwege het berekende lastgemiddelde.

Herstel van vPC link naar beneden. 

Wanneer de vPC peer link in leven terugkomt, kan het verkeer opnieuw in evenwicht zijn tussen links en een kort geleefd pakketverlies door topologie verandering kan worden verwacht. 

In het geval van dit laboratorium test 1 pakje was verloren.

Software-upgrade tijdens service (ISSU)

In deze test werd een ISSU-upgrade uitgevoerd om de verstoring van het verkeer te verifiëren.

De vPC rollen tijdens deze test zijn als volgt:
bdsol-n5548-07 - primair

bdsol-n5548-08 - secundair.

Om een ISSU te kunnen vervullen, moet aan bepaalde criteria worden voldaan.

Om informatie te vinden over opdrachten die zijn gebruikt om deze criteria te controleren en een ISSU uit te voeren, is de volgende handleiding gebruikt:

http://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus5500/sw/upgrade/705_N1_1/n5500_upgrade_downgrade_700.html#pgfId-727913.

Nadat u eerst een ISSU hebt uitgevoerd op de primaire en nadien op de secundaire vPC peer, zijn er geen pakketten verloren.

Dit is te wijten aan het feit dat ISSU alle functionaliteit van het gegevensvliegtuig niet verstoord blijft en alleen het verkeer van het vliegtuig zou worden beïnvloed.

Bekende problemen met ISSU

Layer 3 functies en licenties. 

Tijdens de ISSU-tests moesten een aantal problemen worden opgelost. De "show installeert alle impact ..." De opdracht kan output leveren die ISSU niet kan uitvoeren met de volgende verklaring: "Niet-verstorende installatie niet ondersteund als L3 was ingeschakeld." In de testomgeving was dit te wijten aan het feit dat LAN_BASE_SERVICES_PKG in gebruik was in het geïnstalleerde licentiebestand.

LAN_BASE_SERVICES_PKG omvat L3 functionaliteit en om de ISSU uit te voeren moet dit pakket ongebruikt zijn en moet het licentiebestand van het apparaat worden gewist door de opdracht "duidelijk licentie LICENSEFILE" te gebruiken. Het licentieserbestand is momenteel in gebruik door het apparaat. Om zo'n licentiestatusbestand te wissen, is het belangrijk te controleren welke pakketten worden gebruikt met behulp van het "showlicentiegebruik" en de functies van deze pakketten uit te schakelen.

Niet-geharde STP-poorten

Tijdens de tests was het ook noodzakelijk om het noordgebonden havenkanaal te sluiten, aangezien het niet voldeed aan de "show in overspanning geraakte boom-inslag"-onedge, criteria 3, controle, en dit zou leiden tot een ontwrichtende upgrade. Dit noordgebonden havenkanaal was niet vermeld als vPC Edge in het "show over-boom VLAN 1"bevel.

Verlies van peer keeplevlink

Na het verlies van de peer keeplevi-verbinding werd geen verstoring van het verkeer geregistreerd. In deze topologie wordt de beheersinterface (gmmt0) gebruikt als een vastgoedlink en heeft dit dus geen invloed op het gegevensverkeer dat tijdens het testen wordt gegenereerd.

De de apparaten bericht sm0 interface gaat naar beneden, en peer houdt faalt, maar aangezien de peer link omhoog gegevensplaatscommunicatie is kan doorgaan. 

2015 Jul 14 12:11:28 bdsol-n5548-07 %IM-5-IM_INTF_STATE: mgmt0 is DOWN in vdc 1
2015 Jul 14 12:11:32 bdsol-n5548-07 %VPC-2-PEER_KEEP_ALIVE_RECV_FAIL: In domain 75, VPC peer keep-alive receive has failed
2015 Jul 14 12:12:07 bdsol-n5548-07 %IM-5-IM_INTF_STATE: mgmt0 is UP in vdc 1

De vPC-functie uitschakelen

Deze test zal beschrijven wat er gebeurt wanneer vPC op één van de switches wordt uitgeschakeld tijdens de actieve gegevensoverdracht.

De VPC-functie kan worden uitgeschakeld met de volgende opdracht in de mondiale configuratiemodus:

bdsol-n5548-07(config)# no feature vpc

Het uitschakelen van de vPC-functie op primaire of secundaire vPC-peer leidt tot onmiddellijk verlies van gegevensconnectiviteit. Dit is te wijten aan de peer-based aard van vPC. Zodra de functie is uitgeschakeld, zal alle vPC-functionaliteit op de schakelaar niet meer werken, zal de peer link naar beneden gaan, wordt de vPC-status opgeschort en wordt port-channel 101 van de testomgeving naar beneden gegaan. Dit is duidelijk in de show vPC output van de peer schakelaar die nog vPC optie heeft ingeschakeld.

bdsol-n5548-07# show vpc
Legend:
                (*) - local vPC is down, forwarding via vPC peer-link

vPC domain id                     : 75
Peer status                       : peer link is down
vPC keep-alive status             : Suspended (Destination IP not reachable)
...

vPC status
----------------------------------------------------------------------------
id Port Status Consistency Reason Active vlans
------ ----------- ------ ----------- -------------------------- -----------
101 Po101 down success success -

De verkeersonderbreking is, zoals vroeger, slechts van korte duur. 

Onder bovengenoemde testomstandigheden zijn 50-80 pakketten bij één sessie verloren gegaan.  

Verwijder de opdracht "optie vpc" zodat de vPC-configuratie ook uit poortkanalen wordt verwijderd.

Deze configuratie moet worden gelezen. 

Conclusie

vPC-functie is bedoeld om veerkracht te genereren door het gegevensverkeer te splitsen in een poortkanaal onder meerdere apparaten. 

Dit simpele idee vereist ingewikkelde besturingssysteemimplementaties. 

Bovenstaande tests waren bedoeld om verstoringen aan te tonen van zowel het bedieningsorgaan- als gegevensvlak die kunnen optreden tijdens de levenscyclus van de functie. 

Zoals verwacht werden verstoringen van het datacommunicatiesysteem direct gedetecteerd en gecorrigeerd - waarbij enkele pakketten verloren gingen in testen. 

De geteste verstoringen van het bedieningspaneel tonen aan dat vPC nog steeds een ondertweede convergentietijd behoudt, zelfs wanneer het besturingsplane wordt beïnvloed. 

De meest verstorende test die is uitgevoerd - vPC peer link wordt uitgeschakeld - combineert mogelijk zowel gegevens als een falend besturingsplane. Er werd nog steeds een snelle convergentietijd aangetoond.