Contenu

Introduction

Problème

Solution

Mettre à niveau le matériel/les logiciels afin de prendre en charge F2/F2e

Introduction

Ce document décrit ce que vous devez faire si vous constatez des rejets d'entrée sur des interfaces Fibre Channel over Ethernet (FCoE) à sauts multiples. Ce document de problème/solution est utile lorsque les symptômes d'abandon sont identifiés sur les interfaces qui interconnectent les data centers distants.

Cet exemple illustre un scénario réel de ce problème.

La topologie illustrée dans l'exemple illustre deux centres de données séparés par 10 km. Il existe une interface d'extension virtuelle (VE) FCoE de 10 km (multisauts) qui connecte DC1 et DC2. Les interfaces multisauts sont configurées sur les cartes de ligne N7K-F132XP-15. Pour cette feuille de données de la série F1, celle-ci doit être comprise dans la plage prise en charge.

Initialement, la fiche technique indiquait les fonctions de pontage de centre de données IEEE (DCB) suivantes :

- Contrôle de flux par priorité (PFC) : IEEE P802.1Qbb

- Sélection de transmission améliorée (ETS) : IEEE P802.1Qaz

- Data Center Bridging Exchange (DCBX)

- Distance de liaison sans perte maximale : 20 km

L'ID de bogue Cisco CSCts72420 a été modifié afin de répondre à la documentation. La ligne relative à la distance de liaison sans perte de 20 KM a été supprimée.

Problème

Les périphériques EMC VPLEX prennent en charge une fonctionnalité de réplication du stockage. Ce scénario a utilisé la réplication synchrone. Lorsque les périphériques EMC VPLEX ont été mis à niveau, ils sont devenus désynchronisés. Après la mise à niveau de VPLEX, les périphériques ont commencé à répliquer de grandes quantités de données sur la liaison à sauts multiples FCoE de 10 KM.

Lorsque la réplication des données a augmenté, ces événements ont eu lieu :

1. Le Nexus 5000-DC2 a commencé à envoyer une pause constante au Nexus 7000-DC2.

2. Le Nexus 7000-DC2 a commencé à envoyer une pause sur la liaison de 10 km vers le Nexus 7000-DC1.

3. Le Nexus 7000-DC1 a envoyé une pause au Nexus 5000-DC1, etc.

Ces événements offrent une vue de haut niveau du comportement de contrôle de flux FCoE attendu. Les trames de pause reçues de Nexus 5000-DC2 indiquent des encombrements sur un périphérique final. Au fur et à mesure que les tampons d'entrée commencent à se remplir, interrompez les trames qui se répandent dans le fabric.

Le problème dans ce scénario est que le Nexus 7000-DC2 a constamment rejeté des paquets en entrée sur la liaison de multiplexage de 10 km.

Ethernet4/1 is up

Dedicated Interface

Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)

MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)

BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on

Input flow-control is off, output flow-control is off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

Last link flapped 25week(s) 0day(s)

Last clearing of "show interface" counters 79w2d

30 seconds input rate 296186536 bits/sec, 27891 packets/sec

30 seconds output rate 151677360 bits/sec, 19294 packets/sec

Load-Interval #2: 5 minute (300 seconds)

input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps

RX

566235497816 unicast packets  2504479 multicast packets  0 broadcast packets

566239834433 input packets  502487779153524 bytes

219280594774 jumbo packets  0 storm suppression packets

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  19312516 input discard

1832141 Rx pause

TX

681040135255 unicast packets  2504251 multicast packets  0 broadcast packets

681046392756 output packets  744942450903588 bytes

333793360248 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  0 output discard

3753250 Tx pause

5 interface resets

Cela ne doit pas se produire car l'interface ci-dessus transporte uniquement le trafic FCoE (CoS 3). Les rejets d'entrée violent la politique de QoS 'no-drop' pour FCoE. En outre, les rejets dans un environnement FCoE peuvent entraîner des abandons SCSI, des erreurs, etc.

Solution

Lorsqu'un périphérique envoie une pause, l'interface qui génère la trame pause doit avoir une file d'attente d'entrée avec un espace tampon suffisamment grand pour mettre en mémoire tampon deux fois la distance de liaison. En effet, au moment où la pause est générée, le fil peut être plein. Lorsque le périphérique adjacent reçoit/traite la trame de pause générée, il se peut que le câble soit à nouveau plein. Ainsi, le périphérique qui génère la pause doit avoir la capacité de mettre en mémoire tampon deux fois la distance de liaison.

Lors du calcul, plus de 100 paquets auraient pu être en vol sur la liaison de 10 KM. En raison d'une limitation ASIC, la carte de ligne de la gamme F1 ne peut pas prendre en charge FCoE sans perte sur une liaison de 10 KM ou plus.

Note: Le tampon d'entrée (IB) est utilisé pour mettre en file d'attente les paquets en vol avant la pause. Une fois la pause envoyée, IB n'est plus utilisé. La mémoire tampon de latence (LB) est utilisée pour mettre en file d'attente les paquets en vol après l'envoi de la pause.

Mettre à niveau le matériel/les logiciels afin de prendre en charge F2/F2e

L'ID de bogue Cisco CSCua10484 a traité la prise en charge de distance sans perte F2 longue distance. Dans NX-OS version 6.1(2) et ultérieure, ces modifications de configuration sont autorisées.

Note: Dans les versions antérieures du code, la modification est autorisée mais elle ne prend pas effet.

L'espace restant dans la base installée pour intercepter les paquets peut être calculé comme suit : PL_STOP - PL_PAUSE. Par défaut, les valeurs PL_STOP et HWM (PL_PAUSE) sont identiques.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB

IB

Port page limit : 3584 (1376256 Bytes)

VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)

pages                    THR

0    1107 (  425088)   1059 (  406656)     0     1107   1059

1       2 (     768)      1 (     384)     0        2      1

2    1107 (  425088)   1059 (  406656)     0     1107   1059

3    1053 (  404352)   1029 (  395136)     0     1053   1029

4       2 (     768)      1 (     384)     0        2      1

5     231 (   88704)    159 (   61056)     0      231    159

6       2 (     768)      1 (     384)     0        2      1

7       2 (     768)      1 (     384)     0        2      1

Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)

DWRR honor UC = FALSE

Leak Lo weight = 0xd8, enabled = FALSE

EB

Vous pouvez modifier ces valeurs afin de prendre en charge une plus grande distance en allouant des tampons plus importants à la classe de service (CoS) sans perte. Afin de compléter ceci, dupliquez la carte de stratégie de qualité de service (QoS) par défaut 4q-7e-in-policy.

Note: Le scénario de configuration suivant est adapté en fonction d'une augmentation de l'allocation de tampon d'entrée COS 3 sur Nexus 7000 avec VDC par défaut, et non VDC d'administration. Comme le VDC d'administration n'est qu'un VDC de gestion, sans fonctionnalité de plan de données, il n'est pas nécessaire d'effectuer des étapes supplémentaires pour copier la stratégie QoS et modifier les allocations de tampon, dans ce VDC. Par conséquent, si vous utilisez le VDC d'administration, apportez uniquement ces modifications dans le VDC de stockage.

VDC de stockage par défaut

Switch(config)# qos copy policy-map type queuing ?

*** No matching command found in current mode, matching in (exec) mode ***

default-4q-7e-in-policy   Default 7-ethernet input queuing policy

default-4q-7e-out-policy  Default 7-ethernet output queuing policy

Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_

Une fois la stratégie copiée à la fois dans le VDC par défaut et le VDC de stockage, modifiez la carte de stratégie '4q-7e-in' afin d'allouer un pourcentage de limite de file d'attente plus élevé à la COS sans abandon.

VDC de stockage par défaut

Switch(config)# show run ipqos

<snippet>

policy-map type queuing 7I_4q-7e-in

class type queuing c-4q-7e-drop-in

service-policy type queuing 7I_4q-7e-drop-in

queue-limit percent 1                 <<<<<<<<<<<<<<<<<

class type queuing c-4q-7e-ndrop-in

service-policy type queuing 7I_4q-7e-ndrop-in

queue-limit percent 99                <<<<<<<<<<<<<<<<<

Maintenant, appliquez la stratégie QoS modifiée à l'interface souhaitée :

VDC en stockage

Switch(config)# int e4/1

Switch(config-if)# service-policy type queuing input 7I_4q-7e-in

Switch(config-if)# show run int e4/1

!Command: show running-config interface Ethernet4/1

!Time: Sun Mar  2 21:03:07 2014

version 6.1(4)

interface Ethernet4/1

switchport

switchport mode trunk

switchport trunk allowed vlan 1,2990

load-interval counter 2 30

service-policy type queuing input 7I_4q-7e-in

no shutdown

Maintenant, notez que la valeur PL_STOP est supérieure à la valeur de la limite supérieure (HWM). Ainsi, une capacité de mise en mémoire tampon plus importante est autorisée pour IB.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB

IB

Port page limit : 3584 (1376256 Bytes)

VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)

pages                    THR

0      15 (    5760)      9 (    3456)     0       15      9

1       2 (     768)      1 (     384)     0        2      1

2      15 (    5760)      9 (    3456)     0       15      9

3    1161 (  445824)   1137 (  436608)     0     3521   1137

4       2 (     768)      1 (     384)     0        2      1

5       3 (    1152)      0 (       0)     0        3      0

6       2 (     768)      1 (     384)     0        2      1

7       2 (     768)      1 (     384)     0        2      1

Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)

DWRR honor UC = FALSE

Leak Lo weight = 0xd8, enabled = FALSE

EB

Dans l'exemple, l'espace restant dans IB = 3521 pages - 1161 pages = 2360 pages => 906 240 octets.

Note: Cette solution de contournement est acceptable lorsque SEUL le trafic FCoE est transmis sur l'interface à sauts multiples FCoE. Si le trafic de données est également transmis, contactez le centre d'assistance technique Cisco (TAC) pour obtenir de l'aide.

OU

Si disponible, utilisez Fibre Channel (FC) natif entre les sites. Cette solution nécessite une intervention CWDM/DWDM (Coarse Wavelength Divison Multiplexer/Dense Wavelength Divison Multiplexer) ou une fibre sombre, selon la distance requise.