Ce document décrit ce que vous devez faire si vous constatez des rejets d'entrée sur des interfaces Fibre Channel over Ethernet (FCoE) à sauts multiples. Ce document de problème/solution est utile lorsque les symptômes d'abandon sont identifiés sur les interfaces qui interconnectent les data centers distants.
Cet exemple illustre un scénario réel de ce problème.
La topologie illustrée dans l'exemple illustre deux centres de données séparés par 10 km. Il existe une interface d'extension virtuelle (VE) FCoE de 10 km (multisauts) qui connecte DC1 et DC2. Les interfaces multisauts sont configurées sur les cartes de ligne N7K-F132XP-15. Pour cette feuille de données de la série F1, celle-ci doit être comprise dans la plage prise en charge.
Initialement, la fiche technique indiquait les fonctions de pontage de centre de données IEEE (DCB) suivantes :
L'ID de bogue Cisco CSCts72420 a été modifié afin de répondre à la documentation. La ligne relative à la distance de liaison sans perte de 20 KM a été supprimée.
Les périphériques EMC VPLEX prennent en charge une fonctionnalité de réplication du stockage. Ce scénario a utilisé la réplication synchrone. Lorsque les périphériques EMC VPLEX ont été mis à niveau, ils sont devenus désynchronisés. Après la mise à niveau de VPLEX, les périphériques ont commencé à répliquer de grandes quantités de données sur la liaison à sauts multiples FCoE de 10 KM.
Lorsque la réplication des données a augmenté, ces événements ont eu lieu :
Ces événements offrent une vue de haut niveau du comportement de contrôle de flux FCoE attendu. Les trames de pause reçues de Nexus 5000-DC2 indiquent des encombrements sur un périphérique final. Au fur et à mesure que les tampons d'entrée commencent à se remplir, interrompez les trames qui se répandent dans le fabric.
Le problème dans ce scénario est que le Nexus 7000-DC2 a constamment rejeté des paquets en entrée sur la liaison de multiplexage de 10 km.
Ethernet4/1 is up
Dedicated Interface
Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)
MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)
BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on
Input flow-control is off, output flow-control is off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
Last link flapped 25week(s) 0day(s)
Last clearing of "show interface" counters 79w2d
30 seconds input rate 296186536 bits/sec, 27891 packets/sec
30 seconds output rate 151677360 bits/sec, 19294 packets/sec
Load-Interval #2: 5 minute (300 seconds)
input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps
RX
566235497816 unicast packets 2504479 multicast packets 0 broadcast packets
566239834433 input packets 502487779153524 bytes
219280594774 jumbo packets 0 storm suppression packets
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 19312516 input discard
1832141 Rx pause
TX
681040135255 unicast packets 2504251 multicast packets 0 broadcast packets
681046392756 output packets 744942450903588 bytes
333793360248 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
3753250 Tx pause
5 interface resets
Cela ne doit pas se produire car l'interface ci-dessus transporte uniquement le trafic FCoE (CoS 3). Les rejets d'entrée violent la politique de QoS 'no-drop' pour FCoE. En outre, les rejets dans un environnement FCoE peuvent entraîner des abandons SCSI, des erreurs, etc.
Lorsqu'un périphérique envoie une pause, l'interface qui génère la trame pause doit avoir une file d'attente d'entrée avec un espace tampon suffisamment grand pour mettre en mémoire tampon deux fois la distance de liaison. En effet, au moment où la pause est générée, le fil peut être plein. Lorsque le périphérique adjacent reçoit/traite la trame de pause générée, il se peut que le câble soit à nouveau plein. Ainsi, le périphérique qui génère la pause doit avoir la capacité de mettre en mémoire tampon deux fois la distance de liaison.
Lors du calcul, plus de 100 paquets auraient pu être en vol sur la liaison de 10 KM. En raison d'une limitation ASIC, la carte de ligne de la gamme F1 ne peut pas prendre en charge FCoE sans perte sur une liaison de 10 KM ou plus.
L'ID de bogue Cisco CSCua10484 a traité la prise en charge de distance sans perte F2 longue distance. Dans NX-OS version 6.1(2) et ultérieure, ces modifications de configuration sont autorisées.
L'espace restant dans la base installée pour intercepter les paquets peut être calculé comme suit : PL_STOP - PL_PAUSE. Par défaut, les valeurs PL_STOP et HWM (PL_PAUSE) sont identiques.
module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
IB
Port page limit : 3584 (1376256 Bytes)
VL# HWM pages(bytes) LWM pages(bytes) Used PL_STOP(HWM & LWM)
pages THR
0 1107 ( 425088) 1059 ( 406656) 0 1107 1059
1 2 ( 768) 1 ( 384) 0 2 1
2 1107 ( 425088) 1059 ( 406656) 0 1107 1059
3 1053 ( 404352) 1029 ( 395136) 0 1053 1029
4 2 ( 768) 1 ( 384) 0 2 1
5 231 ( 88704) 159 ( 61056) 0 231 159
6 2 ( 768) 1 ( 384) 0 2 1
7 2 ( 768) 1 ( 384) 0 2 1
Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
DWRR honor UC = FALSE
Leak Lo weight = 0xd8, enabled = FALSE
EB
Vous pouvez modifier ces valeurs afin de prendre en charge une plus grande distance en allouant des tampons plus importants à la classe de service (CoS) sans perte. Afin de compléter ceci, dupliquez la carte de stratégie de qualité de service (QoS) par défaut 4q-7e-in-policy.
VDC de stockage par défaut
Switch(config)# qos copy policy-map type queuing ?
*** No matching command found in current mode, matching in (exec) mode ***
default-4q-7e-in-policy Default 7-ethernet input queuing policy
default-4q-7e-out-policy Default 7-ethernet output queuing policy
Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_
Une fois la stratégie copiée à la fois dans le VDC par défaut et le VDC de stockage, modifiez la carte de stratégie '4q-7e-in' afin d'allouer un pourcentage de limite de file d'attente plus élevé à la COS sans abandon.
VDC de stockage par défaut
Switch(config)# show run ipqos
<snippet>
policy-map type queuing 7I_4q-7e-in
class type queuing c-4q-7e-drop-in
service-policy type queuing 7I_4q-7e-drop-in
queue-limit percent 1 <<<<<<<<<<<<<<<<<
class type queuing c-4q-7e-ndrop-in
service-policy type queuing 7I_4q-7e-ndrop-in
queue-limit percent 99 <<<<<<<<<<<<<<<<<
Maintenant, appliquez la stratégie QoS modifiée à l'interface souhaitée :
VDC en stockage
Switch(config)# int e4/1
Switch(config-if)# service-policy type queuing input 7I_4q-7e-in
Switch(config-if)# show run int e4/1
!Command: show running-config interface Ethernet4/1
!Time: Sun Mar 2 21:03:07 2014
version 6.1(4)
interface Ethernet4/1
switchport
switchport mode trunk
switchport trunk allowed vlan 1,2990
load-interval counter 2 30
service-policy type queuing input 7I_4q-7e-in
no shutdown
Maintenant, notez que la valeur PL_STOP est supérieure à la valeur de la limite supérieure (HWM). Ainsi, une capacité de mise en mémoire tampon plus importante est autorisée pour IB.
module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
IB
Port page limit : 3584 (1376256 Bytes)
VL# HWM pages(bytes) LWM pages(bytes) Used PL_STOP(HWM & LWM)
pages THR
0 15 ( 5760) 9 ( 3456) 0 15 9
1 2 ( 768) 1 ( 384) 0 2 1
2 15 ( 5760) 9 ( 3456) 0 15 9
3 1161 ( 445824) 1137 ( 436608) 0 3521 1137
4 2 ( 768) 1 ( 384) 0 2 1
5 3 ( 1152) 0 ( 0) 0 3 0
6 2 ( 768) 1 ( 384) 0 2 1
7 2 ( 768) 1 ( 384) 0 2 1
Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
DWRR honor UC = FALSE
Leak Lo weight = 0xd8, enabled = FALSE
EB
Dans l'exemple, l'espace restant dans IB = 3521 pages - 1161 pages = 2360 pages => 906 240 octets.
OU
Si disponible, utilisez Fibre Channel (FC) natif entre les sites. Cette solution nécessite une intervention CWDM/DWDM (Coarse Wavelength Divison Multiplexer/Dense Wavelength Divison Multiplexer) ou une fibre sombre, selon la distance requise.
Révision | Date de publication | Commentaires |
---|---|---|
1.0 |
17-Jul-2014 |
Première publication |