Nexus 7000 FCoE Multihop-F1 afstand-beperking

Inleiding

Dit document beschrijft wat u moet doen als u invoerweggooien op Fibre Channel over Ethernet (FCoE) Multihop-interfaces. Dit probleem/oplossing document is nuttig wanneer de symptomen van de teruggooi op interfaces worden geïdentificeerd die afstandsgegevens onderling verbinden.

Dit voorbeeld beschrijft een scenario in het echte leven van deze kwestie. 

De topologie die in het voorbeeld wordt getoond toont twee datacenters die door 10KM worden gescheiden. Er is een 10KM FCoE Virtual Expansion (VE) (multihop)-interface die DC1 en DC2 verbindt. De multihop-interfaces zijn geconfigureerd op N7K-F132XP-15-lijnkaarten. Per dit informatieblad van F1 serie, zou dit binnen het ondersteunde bereik moeten zijn geweest.

Eerst werd in het gegevensblad deze IEEE Data Center Bridging (DCB)-functies aangegeven:

• Prioritaire stroomcontrole (PFC): IEEE P802.1QBb
• Uitgebreide selectie voor transmissie (ETS): IEEE P802.1QQM-z
• Data Center Bridging Exchange (DCBX)
• Maximale verliesvrije verbindingsafstand: 20 km

Cisco bug-ID CSCts72420 is aangepast aan de documentatie. De lijn met betrekking tot de verliesvrije verbindingsafstand van 20 KM werd verwijderd.

Probleem

De EMC VPLEX-apparaten ondersteunen een opslagreplicatiefunctie. Dit scenario gebruikte synchrone replicatie. Toen de EMC VPLEX-apparaten werden opgewaardeerd, werden ze "uit-sync". Na de VPLEX-upgrade begonnen de apparaten grote hoeveelheden gegevens te kopiëren via de 10KM FCoE multihop-link.

Wanneer de gegevensreplicatie is toegenomen, zijn deze gebeurtenissen getransplanteerd:

1. De Nexus 5000-DC2 begon een constante pauze naar Nexus 7000-DC2 te sturen.
2. De Nexus 7000-DC2 begon pauze te verzenden via de 10KM-link naar de Nexus 7000-DC1.
3. De Nexus 7000-DC1 stuurde pauze naar de Nexus 5000-DC1, enzovoort.

Deze gebeurtenissen zijn een uitzicht op het verwachte FCoE-stroombeheergedrag. De pauzekaders die van Nexus 5000-DC2 zijn ontvangen, duiden op congesties op een eindapparaat. Als de ingangsbuffers beginnen te vullen, druppelen de pauzekaders terug in het weefsel.

Het probleem in dit scenario is dat de Nexus 7000-DC2 voortdurend pakketten weggooide bij ingress over de 10KM mulithoplink.

Ethernet4/1 is up
  Dedicated Interface
  Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)
  MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)
  BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA
  Port mode is trunk
  full-duplex, 10 Gb/s, media type is 10G
  Beacon is turned off
  Auto-Negotiation is turned on
  Input flow-control is off, output flow-control is off
  Rate mode is dedicated
  Switchport monitor is off
  EtherType is 0x8100
  Last link flapped 25week(s) 0day(s)
  Last clearing of "show interface" counters 79w2d
  30 seconds input rate 296186536 bits/sec, 27891 packets/sec
  30 seconds output rate 151677360 bits/sec, 19294 packets/sec
  Load-Interval #2: 5 minute (300 seconds)
    input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps
  RX
    566235497816 unicast packets  2504479 multicast packets  0 broadcast packets
    566239834433 input packets  502487779153524 bytes
    219280594774 jumbo packets  0 storm suppression packets
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  19312516 input discard
    1832141 Rx pause
  TX
    681040135255 unicast packets  2504251 multicast packets  0 broadcast packets
    681046392756 output packets  744942450903588 bytes
    333793360248 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    3753250 Tx pause
  5 interface resets

Dit zou niet moeten gebeuren aangezien de bovenstaande interface alleen FCoE (CoS 3) verkeer transporteert. Teruggooi van input schendt het ‘no-drop' QoS beleid voor FCoE. Bovendien kan teruggooi in een FCoE-omgeving leiden tot SCSI-abortussen, fouten enzovoort.

Oplossing

Wanneer een apparaat pauze verstuurt, zou de interface die het pauzekader genereert een ingang met een bufferruimte moeten hebben groot genoeg om twee keer de verbindingsafstand te bufferen. Dit komt doordat op het moment dat de pauze wordt gegenereerd de draad vol kan zijn. Tegen de tijd dat het aangrenzende apparaat het gegenereerde pauzekader ontvangt/verwerkt, is de draad mogelijk weer vol. Dus het apparaat dat de pauze genereert moet de mogelijkheid hebben om twee keer de verbindingsafstand te bufferen.

Na berekening hadden er meer dan 100 pakketten tijdens de vlucht kunnen zijn over de 10KM-link. Vanwege een ASIC-beperking kan de F1 serie lijnkaart geen lossless FCoE ondersteunen op een 10KM-link of hoger. 

Opmerking: Ingress Buffer (IB) wordt gebruikt om in de wachtrij voorafgaand aan de pauze pakketten te plaatsen. Nadat de pauze is verstuurd, wordt IB niet meer gebruikt. Latency Buffer (LB) wordt gebruikt om pakketten in de wachtrij te plaatsen nadat de pauze is verzonden.

Upgradehardware/software om F2/F2E te ondersteunen

Cisco bug-ID CSCua10484 ondersteuning voor verliesvrije afstand van F2 voor lange afstanden. In NX-OS release 6.1(2) en hoger zijn deze configuratiewijzigingen toegestaan.

Opmerking: In eerdere versies van de code is de wijziging toegestaan, maar is deze niet van kracht.

De ruimte die in de IB overblijft om pakketten te vangen, kan als volgt worden berekend: PL_STOP - PL_PAUSE. Standaard zijn de PL_STOP- en HWM- (PL_PAUSE)-waarden hetzelfde.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
  IB
    Port page limit : 3584 (1376256 Bytes)
    VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)
                                            pages                    THR
     0    1107 (  425088)   1059 (  406656)     0     1107   1059
     1       2 (     768)      1 (     384)     0        2      1
     2    1107 (  425088)   1059 (  406656)     0     1107   1059
     3    1053 (  404352)   1029 (  395136)     0     1053   1029
     4       2 (     768)      1 (     384)     0        2      1
     5     231 (   88704)    159 (   61056)     0      231    159
     6       2 (     768)      1 (     384)     0        2      1
     7       2 (     768)      1 (     384)     0        2      1
    Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
    DWRR honor UC = FALSE
     Leak Lo weight = 0xd8, enabled = FALSE
  EB

U kunt deze waarden wijzigen om een grotere afstand te ondersteunen door de toewijzing van grotere buffers aan de no-drop-serviceklasse (CoS). Om dit te voltooien, dupliceert u de 'default-4q-7e-in-policy' Quality of Service (QoS) beleidskaart.

Opmerking: Het volgende configuratiescenario is op maat gesneden in een verhoging van de COS 3 ingress buffer-toewijzing op Nexus 7000 met Default VDC, in plaats van Admin VDC. Aangezien de Admin VDC strikt een VDC voor "beheer" is, zonder functionaliteit voor dataplaken, zijn binnen deze VDC geen extra stappen nodig om het QoS-beleid te kopiëren en de buffertoewijzingen te wijzigen. Als u Admin VDC gebruikt, moet u daarom alleen deze wijzigingen aanbrengen in de Storage VDC.

In standaardinstelling en opslag VDC

Switch(config)# qos copy policy-map type queuing ?
*** No matching command found in current mode, matching in (exec) mode ***
  default-4q-7e-in-policy   Default 7-ethernet input queuing policy
  default-4q-7e-out-policy  Default 7-ethernet output queuing policy

Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_

Nadat het beleid in zowel de standaard-VDC als de opslag-VDC is gekopieerd, wijzigt u de '4q-7e-in'-beleidsmap om een groter wachtrijlimietpercentage toe te wijzen aan de no-drop-COS.

In standaardinstelling en opslag VDC

Switch(config)# show run ipqos
<snippet>

policy-map type queuing 7I_4q-7e-in
  class type queuing c-4q-7e-drop-in
    service-policy type queuing 7I_4q-7e-drop-in
    queue-limit percent 1                 <<<<<<<<<<<<<<<<<
  class type queuing c-4q-7e-ndrop-in
    service-policy type queuing 7I_4q-7e-ndrop-in
    queue-limit percent 99                <<<<<<<<<<<<<<<<<

Pas nu het aangepaste QoS-beleid aan op de gewenste interface:

In opslag VDC

Switch(config)# int e4/1
Switch(config-if)# service-policy type queuing input 7I_4q-7e-in
Switch(config-if)# show run int e4/1

!Command: show running-config interface Ethernet4/1
!Time: Sun Mar  2 21:03:07 2014

version 6.1(4)

interface Ethernet4/1
  switchport
  switchport mode trunk
  switchport trunk allowed vlan 1,2990
  load-interval counter 2 30
  service-policy type queuing input 7I_4q-7e-in
  no shutdown

Merk op dat de PL_STOP-waarde groter is dan de HWM-waarde. Daardoor is een grotere buffercapaciteit voor IB toegestaan.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
  IB
    Port page limit : 3584 (1376256 Bytes)
    VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)
                                            pages                    THR
     0      15 (    5760)      9 (    3456)     0       15      9
     1       2 (     768)      1 (     384)     0        2      1
     2      15 (    5760)      9 (    3456)     0       15      9
     3    1161 (  445824)   1137 (  436608)     0     3521   1137
     4       2 (     768)      1 (     384)     0        2      1
     5       3 (    1152)      0 (       0)     0        3      0
     6       2 (     768)      1 (     384)     0        2      1
     7       2 (     768)      1 (     384)     0        2      1
    Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
    DWRR honor UC = FALSE
     Leak Lo weight = 0xd8, enabled = FALSE
  EB

In het voorbeeld is de resterende ruimte in IB = 3521 pagina's - 1161 pagina's = 2360 pagina's => 906.240 bytes.

Opmerking: Deze tijdelijke oplossing is aanvaardbaar wanneer ALLEEN FCoE-verkeer via de FCoE-multihopinterface wordt doorgegeven. Als het gegevensverkeer ook wordt doorgegeven, neemt u contact op met het Cisco Technical Assistance Center (TAC) voor assistentie.

Of

Gebruik indien beschikbaar Fibre Channel (FC) tussen sites. Voor deze oplossing is een harde golflengte-multiplexer-/Dense Wavelength Division Multiplexer (CWDM/DWDM)-interventie of donkere glasvezel nodig, afhankelijk van de vereiste afstand.