Limitation de distance F1 à sauts multiples du Nexus 7000 FCoE

Introduction

Ce document décrit ce que vous devez faire si vous constatez des rejets d'entrée sur des interfaces Fibre Channel over Ethernet (FCoE) à sauts multiples. Ce document de problème/solution est utile lorsque les symptômes d'abandon sont identifiés sur les interfaces qui interconnectent les data centers distants.

Cet exemple illustre un scénario réel de ce problème. 

La topologie illustrée dans l'exemple illustre deux centres de données séparés par 10 km. Il existe une interface d'extension virtuelle (VE) FCoE de 10 km (multisauts) qui connecte DC1 et DC2. Les interfaces multisauts sont configurées sur les cartes de ligne N7K-F132XP-15. Pour cette feuille de données de la série F1, celle-ci doit être comprise dans la plage prise en charge.

Initialement, la fiche technique indiquait les fonctions de pontage de centre de données IEEE (DCB) suivantes :

• Contrôle de flux par priorité (PFC) : IEEE P802.1Qbb
• Sélection de transmission améliorée (ETS) : IEEE P802.1Qaz
• Data Center Bridging Exchange (DCBX)
• Distance de liaison sans perte maximale : 20 km

L'ID de bogue Cisco CSCts72420 a été modifié afin de répondre à la documentation. La ligne relative à la distance de liaison sans perte de 20 KM a été supprimée.

Problème

Les périphériques EMC VPLEX prennent en charge une fonctionnalité de réplication du stockage. Ce scénario a utilisé la réplication synchrone. Lorsque les périphériques EMC VPLEX ont été mis à niveau, ils sont devenus désynchronisés. Après la mise à niveau de VPLEX, les périphériques ont commencé à répliquer de grandes quantités de données sur la liaison à sauts multiples FCoE de 10 KM.

Lorsque la réplication des données a augmenté, ces événements ont eu lieu :

1. Le Nexus 5000-DC2 a commencé à envoyer une pause constante au Nexus 7000-DC2.
2. Le Nexus 7000-DC2 a commencé à envoyer une pause sur la liaison de 10 km vers le Nexus 7000-DC1.
3. Le Nexus 7000-DC1 a envoyé une pause au Nexus 5000-DC1, etc.

Ces événements offrent une vue de haut niveau du comportement de contrôle de flux FCoE attendu. Les trames de pause reçues de Nexus 5000-DC2 indiquent des encombrements sur un périphérique final. Au fur et à mesure que les tampons d'entrée commencent à se remplir, interrompez les trames qui se répandent dans le fabric.

Le problème dans ce scénario est que le Nexus 7000-DC2 a constamment rejeté des paquets en entrée sur la liaison de multiplexage de 10 km.

Ethernet4/1 is up
  Dedicated Interface
  Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)
  MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)
  BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA
  Port mode is trunk
  full-duplex, 10 Gb/s, media type is 10G
  Beacon is turned off
  Auto-Negotiation is turned on
  Input flow-control is off, output flow-control is off
  Rate mode is dedicated
  Switchport monitor is off
  EtherType is 0x8100
  Last link flapped 25week(s) 0day(s)
  Last clearing of "show interface" counters 79w2d
  30 seconds input rate 296186536 bits/sec, 27891 packets/sec
  30 seconds output rate 151677360 bits/sec, 19294 packets/sec
  Load-Interval #2: 5 minute (300 seconds)
    input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps
  RX
    566235497816 unicast packets  2504479 multicast packets  0 broadcast packets
    566239834433 input packets  502487779153524 bytes
    219280594774 jumbo packets  0 storm suppression packets
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  19312516 input discard
    1832141 Rx pause
  TX
    681040135255 unicast packets  2504251 multicast packets  0 broadcast packets
    681046392756 output packets  744942450903588 bytes
    333793360248 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    3753250 Tx pause
  5 interface resets

Cela ne doit pas se produire car l'interface ci-dessus transporte uniquement le trafic FCoE (CoS 3). Les rejets d'entrée violent la politique de QoS 'no-drop' pour FCoE. En outre, les rejets dans un environnement FCoE peuvent entraîner des abandons SCSI, des erreurs, etc.

Solution

Lorsqu'un périphérique envoie une pause, l'interface qui génère la trame pause doit avoir une file d'attente d'entrée avec un espace tampon suffisamment grand pour mettre en mémoire tampon deux fois la distance de liaison. En effet, au moment où la pause est générée, le fil peut être plein. Lorsque le périphérique adjacent reçoit/traite la trame de pause générée, il se peut que le câble soit à nouveau plein. Ainsi, le périphérique qui génère la pause doit avoir la capacité de mettre en mémoire tampon deux fois la distance de liaison.

Lors du calcul, plus de 100 paquets auraient pu être en vol sur la liaison de 10 KM. En raison d'une limitation ASIC, la carte de ligne de la gamme F1 ne peut pas prendre en charge FCoE sans perte sur une liaison de 10 KM ou plus. 

Note: Le tampon d'entrée (IB) est utilisé pour mettre en file d'attente les paquets en vol avant la pause. Une fois la pause envoyée, IB n'est plus utilisé. La mémoire tampon de latence (LB) est utilisée pour mettre en file d'attente les paquets en vol après l'envoi de la pause.

Mettre à niveau le matériel/les logiciels afin de prendre en charge F2/F2e

L'ID de bogue Cisco CSCua10484 a traité la prise en charge de distance sans perte F2 longue distance. Dans NX-OS version 6.1(2) et ultérieure, ces modifications de configuration sont autorisées.

Note: Dans les versions antérieures du code, la modification est autorisée mais elle ne prend pas effet.

L'espace restant dans la base installée pour intercepter les paquets peut être calculé comme suit : PL_STOP - PL_PAUSE. Par défaut, les valeurs PL_STOP et HWM (PL_PAUSE) sont identiques.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
  IB
    Port page limit : 3584 (1376256 Bytes)
    VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)
                                            pages                    THR
     0    1107 (  425088)   1059 (  406656)     0     1107   1059
     1       2 (     768)      1 (     384)     0        2      1
     2    1107 (  425088)   1059 (  406656)     0     1107   1059
     3    1053 (  404352)   1029 (  395136)     0     1053   1029
     4       2 (     768)      1 (     384)     0        2      1
     5     231 (   88704)    159 (   61056)     0      231    159
     6       2 (     768)      1 (     384)     0        2      1
     7       2 (     768)      1 (     384)     0        2      1
    Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
    DWRR honor UC = FALSE
     Leak Lo weight = 0xd8, enabled = FALSE
  EB

Vous pouvez modifier ces valeurs afin de prendre en charge une plus grande distance en allouant des tampons plus importants à la classe de service (CoS) sans perte. Afin de compléter ceci, dupliquez la carte de stratégie de qualité de service (QoS) par défaut 4q-7e-in-policy.

Note: Le scénario de configuration suivant est adapté en fonction d'une augmentation de l'allocation de tampon d'entrée COS 3 sur Nexus 7000 avec VDC par défaut, et non VDC d'administration. Comme le VDC d'administration n'est qu'un VDC de gestion, sans fonctionnalité de plan de données, il n'est pas nécessaire d'effectuer des étapes supplémentaires pour copier la stratégie QoS et modifier les allocations de tampon, dans ce VDC. Par conséquent, si vous utilisez le VDC d'administration, apportez uniquement ces modifications dans le VDC de stockage.

VDC de stockage par défaut

Switch(config)# qos copy policy-map type queuing ?
*** No matching command found in current mode, matching in (exec) mode ***
  default-4q-7e-in-policy   Default 7-ethernet input queuing policy
  default-4q-7e-out-policy  Default 7-ethernet output queuing policy

Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_

Une fois la stratégie copiée à la fois dans le VDC par défaut et le VDC de stockage, modifiez la carte de stratégie '4q-7e-in' afin d'allouer un pourcentage de limite de file d'attente plus élevé à la COS sans abandon.

VDC de stockage par défaut

Switch(config)# show run ipqos
<snippet>

policy-map type queuing 7I_4q-7e-in
  class type queuing c-4q-7e-drop-in
    service-policy type queuing 7I_4q-7e-drop-in
    queue-limit percent 1                 <<<<<<<<<<<<<<<<<
  class type queuing c-4q-7e-ndrop-in
    service-policy type queuing 7I_4q-7e-ndrop-in
    queue-limit percent 99                <<<<<<<<<<<<<<<<<

Maintenant, appliquez la stratégie QoS modifiée à l'interface souhaitée :

VDC en stockage

Switch(config)# int e4/1
Switch(config-if)# service-policy type queuing input 7I_4q-7e-in
Switch(config-if)# show run int e4/1

!Command: show running-config interface Ethernet4/1
!Time: Sun Mar  2 21:03:07 2014

version 6.1(4)

interface Ethernet4/1
  switchport
  switchport mode trunk
  switchport trunk allowed vlan 1,2990
  load-interval counter 2 30
  service-policy type queuing input 7I_4q-7e-in
  no shutdown

Maintenant, notez que la valeur PL_STOP est supérieure à la valeur de la limite supérieure (HWM). Ainsi, une capacité de mise en mémoire tampon plus importante est autorisée pour IB.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
  IB
    Port page limit : 3584 (1376256 Bytes)
    VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)
                                            pages                    THR
     0      15 (    5760)      9 (    3456)     0       15      9
     1       2 (     768)      1 (     384)     0        2      1
     2      15 (    5760)      9 (    3456)     0       15      9
     3    1161 (  445824)   1137 (  436608)     0     3521   1137
     4       2 (     768)      1 (     384)     0        2      1
     5       3 (    1152)      0 (       0)     0        3      0
     6       2 (     768)      1 (     384)     0        2      1
     7       2 (     768)      1 (     384)     0        2      1
    Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
    DWRR honor UC = FALSE
     Leak Lo weight = 0xd8, enabled = FALSE
  EB

Dans l'exemple, l'espace restant dans IB = 3521 pages - 1161 pages = 2360 pages => 906 240 octets.

Note: Cette solution de contournement est acceptable lorsque SEUL le trafic FCoE est transmis sur l'interface à sauts multiples FCoE. Si le trafic de données est également transmis, contactez le centre d'assistance technique Cisco (TAC) pour obtenir de l'aide.

OU

Si disponible, utilisez Fibre Channel (FC) natif entre les sites. Cette solution nécessite une intervention CWDM/DWDM (Coarse Wavelength Divison Multiplexer/Dense Wavelength Divison Multiplexer) ou une fibre sombre, selon la distance requise.

Historique de révision