Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Problema

Risoluzione dei problemi e verifica

Soluzione

Discussioni correlate nella Cisco Support Community

Introduzione

Il bundle EtherChannel è usato per fornire interconnessioni a elevata larghezza di banda. In questo articolo viene descritta una limitazione che si applica a Cisco EtherChannel sugli switch Catalyst 6500 con Supervisor 720 e PFC3A, PFC3B o PFC3BXL e che può causare l'incremento del sovraccarico sulle interfacce membro Etherchannel. Questa limitazione è relativa al motore di inoltro di livello 2 e si applica quindi solo a EtherChannel di livello 2.

Prerequisiti

Requisiti

Nessun requisito specifico previsto per questo documento.

Componenti usati

Per la stesura del documento, sono stati usati switch Cisco Catalyst serie 6500 con Supervisor Engine 720. In questa configurazione lab è stato usato WS-X6704-10GE. WS-X6704-10GE è un modulo Catalyst 6500 senza oversubscription e con 2 connessioni di canale fabric di 20 Gbps ciascuna.

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Problema

Quando si configura un DEC (Distributed Etherchannel) di layer 2, è possibile che l'interfaccia di Catalyst 6500 si sovraccarichi. DEC è etherchannel su 2 o più moduli DFC (Distributed Forwarding Card). Un Etherchannel con 2 interfacce membro collegate sulla stessa scheda di linea ma su canali fabric diversi non è considerato un DEC.

Numero di account del contatore di sovraccarico corrispondente al numero di volte in cui l'hardware ricevente non è stato in grado di trasferire i dati ricevuti a un buffer hardware. In altre parole, la velocità di input del traffico supera la capacità del destinatario di gestire i dati.

In alcuni casi, la tecnologia DFC offre la possibilità di far circolare nuovamente i pacchetti. La ricircolo può essere utilizzata per eseguire ricerche aggiuntive nella tabella ACL o QoS Ternary Content Addressable Memory (TCAM), nella tabella NetFlow o nella tabella Forwarding Information Base (FIB) TCAM. il ricircolo avviene solo su un particolare flusso di pacchetti; gli altri flussi di pacchetti non sono influenzati. La riscrittura del pacchetto si verifica sui moduli; i pacchetti vengono quindi inoltrati nuovamente alla Policy Feature Card (PFC) per un'ulteriore elaborazione.

Quando si utilizza un DEC layer 2, è necessario il ricircolo del pacchetto nel modulo in entrata durante inoltro di pacchetti.  La ricircolazione è richiesta anche per l'EtherChannel multi-modulo L2 se Catalyst 6500 viene eseguito in modalità flow-through insieme alla modalità 3B/3BXL PFC.

Qui sono disponibili ulteriori informazioni sulla modalità di flusso continuo.

Il contatore di sovraccarico può iniziare ad aumentare quando l'utilizzo della struttura raggiunge circa il 50%.

Risoluzione dei problemi e verifica

1) Individuare le interfacce membro in Etherchannel che hanno sperimentato sovraccarichi incrementali.

6500#show etherchannel summary

Flags:  D - down        P - bundled in port-channel

I - stand-alone s - suspended

H - Hot-standby (LACP only)

R - Layer3      S - Layer2

U - in use      N - not in use, no aggregation

f - failed to allocate aggregator

M - not in use, no aggregation due to minimum links not met

m - not in use, port not aggregated due to minimum links not met

u - unsuitable for bundling

d - default port

w - waiting to be aggregated

Number of channel-groups in use: 2

Number of aggregators:           2

Group  Port-channel  Protocol    Ports

------+-------------+-----------+-----------------------------------------------

10     Po10(SU)         -        Te2/1(P)       Te3/1(P)

20     Po20(SU)         -        Te2/2(P)       Te3/2(P)

2) Verificare la velocità di input e i contatori di sovraccarico sulle interfacce membro.

6500#show interfaces tenGigabitEthernet 2/1

TenGigabitEthernet2/1 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ac (bia 0002.fcc1.21ac)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:51, output hang never

Last clearing of "show interface" counters 00:00:13

Input queue: 0/2000/5597178/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868906000 bits/sec, 822409 packets/sec

30 second output rate 3000 bits/sec, 5 packets/sec

10968368 packets input, 16452552000 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 5597195 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

79 packets output, 5596 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

6500#show interfaces tenGigabitEthernet 2/2

TenGigabitEthernet2/2 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ad (bia 0002.fcc1.21ad)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:26, output hang never

Last clearing of "show interface" counters 00:00:03

Input queue: 0/2000/45043/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868149000 bits/sec, 822345 packets/sec

30 second output rate 2000 bits/sec, 4 packets/sec

8823464 packets input, 13233496000 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 4575029 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

0 packets output, 0 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

3) Individuare i moduli su cui sono presenti queste interfacce.

6500#show module

Mod Ports Card Type                              Model              Serial No.

--- ----- -------------------------------------- ------------------ -----------

2    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      SAD07430301

3    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      SAL1316NJD4

5    2  Supervisor Engine 720 (Active)         WS-SUP720-3B       JAF1224BFSQ

Mod MAC addresses                       Hw    Fw           Sw           Status

--- ---------------------------------- ------ ------------ ------------ -------

2  0002.fcc1.21ac to 0002.fcc1.21af   1.2   12.2(14r)S5  12.2(33)SXI5 Ok

3  0024.c4f5.b2f4 to 0024.c4f5.b2f7   2.9   12.2(14r)S5  12.2(33)SXI5 Ok

5  001e.be6e.99b4 to 001e.be6e.99b7   5.6   8.5(4)       12.2(33)SXI5 Ok

Mod  Sub-Module                  Model              Serial       Hw     Status

---- --------------------------- ------------------ ----------- ------- -------

2  Centralized Forwarding Card WS-F6700-CFC       SAD0743039A  1.1    Ok

3  Distributed Forwarding Card WS-F6700-DFC3B     SAL1408BP0Y  4.8    Ok

5  Policy Feature Card 3       WS-F6K-PFC3B       JAF1223BAPB  2.3    Ok

5  MSFC3 Daughterboard         WS-SUP720          JAF1223BACM  3.1    Ok

Mod  Online Diag Status

---- -------------------

2  Pass

3  Pass

5  Pass

4) Individuare l'utilizzo dell'interfaccia fabric corrispondente a questi moduli.

6500#show fabric utilization

slot    channel      speed    Ingress %     Egress %

2          0        20G            0            0

2          1        20G           49            0

3          0        20G            0            0

3          1        20G            0           50

5          0        20G            0            0

5) Come visto sopra, l'interfaccia Tengigabitethernet 2/1 e Tengigabitethernet 2/2 funzionano alla velocità della linea, ma si verificano sovraccarichi (cadute) in entrata a causa del controllo del flusso in entrata. Per verificare se lo switch sta vivendo un controllo del flusso e si trova nel limite descritto sopra, usare i comandi seguenti.

6500#show platform hardware capacity rewrite-engine performance slot 2

slot channel perf_id description          packets              total overruns

----+-------+-------+--------------------+--------------------+--------------+

2    0       0x235   FAB RX 0             41083                0

2    0       0x237   FAB RX 1             0                    0

2    0       0x27B   FAB TX 0             1904                 0

2    0       0x27F   FAB TX 1             0                    0

2    0       0x350   REPLICATION ML3      0                    0

2    0       0x351   REPLICATION ML2      0                    0

2    0       0x352   RECIRC L2            0                    0

2    0       0x353   RECIRC L3            0                    0

2    0       0x34C   SPAN TX 0            0                    0

2    0       0x34D   SPAN TX 1            0                    0

2    0       0x34E   SPAN RX 0            0                    0

2    0       0x34F   SPAN RX 1            0                    0

2    0       0x354   SPAN TERMINATION     0                    0

2    1       0x235   FAB RX 0             759500888            0

2    1       0x237   FAB RX 1             0                    0

2    1       0x27B   FAB TX 0             4545890286           0

2    1       0x27F   FAB TX 1             0                    0

2    1       0x350   REPLICATION ML3      0                    0

2    1       0x351   REPLICATION ML2      0                    0

2    1       0x352   RECIRC L2            68615145             1047 <<< L2 Recirculation

2    1       0x353   RECIRC L3            0                    0

2    1       0x34C   SPAN TX 0            0                    0

2    1       0x34D   SPAN TX 1            0                    0

2    1       0x34E   SPAN RX 0            0                    0

2    1       0x34F   SPAN RX 1            0                    0

2    1       0x354   SPAN TERMINATION     0                    0

L'output sopra riportato indica che il motore di replica in entrata sta eseguendo il ricircolo L2 a causa della presenza di un DEC L2. A causa del ricircolo, i pacchetti arrivano al motore di replica il doppio del tempo che consuma il doppio della larghezza di banda. In altre parole, le prestazioni di un singolo canale fabric sono dimezzate perché ogni  ogni pacchetto viene due volte internamente.

Soluzione

1) Configurare un Etherchannel non distribuito che non è interessato da questa limitazione.

Per convalidare questa teoria, è stato configurato un Etherchannel sulle interfacce dello stesso modulo (non DEC) ed è stato osservato che alla stessa velocità di pacchetto di cui sopra, le interfacce non hanno visto alcun sovraccarico aumentare. Per evitare questo problema, è possibile implementare una soluzione.

6500#show fabric utilization

slot    channel      speed    Ingress %     Egress %

2          0        20G            0            0

2          1        20G           99            0

3          0        20G            0            0

3          1        20G            0           99

5          0        20G            0            0

TenGigabitEthernet2/1 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ac (bia 0002.fcc1.21ac)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:06, output hang never

Last clearing of "show interface" counters 00:36:12

Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868487000 bits/sec, 822374 packets/sec

30 second output rate 3000 bits/sec, 6 packets/sec

1783710310 packets input, 2675565466500 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

13115 packets output, 946206 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

TenGigabitEthernet2/2 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ad (bia 0002.fcc1.21ad)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:11, output hang never

Last clearing of "show interface" counters 00:37:31

Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868462000 bits/sec, 822371 packets/sec

30 second output rate 3000 bits/sec, 6 packets/sec

1849499775 packets input, 2774249662500 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

13599 packets output, 980928 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

2) Utilizzare lo switch Catalyst 6500 in modalità PFC 3C/3CXL nel caso in cui sia richiesto L2 DEC.

Nota: L'aggiornamento dell'hardware DFC è necessario se i moduli esistenti eseguono DFC3A/ DFC3B/ DFC3BXL.

3) Aggiornare la versione del sistema operativo se il progetto e la configurazione in uso si applicano alle condizioni di CSCti23324.

Questa correzione dei bug riduce i requisiti di ricircolo per gli switch L2 DEC o EtherChannel multimodulo solo per gli switch Catalyst 6500 con moduli 67xx. Il bug è stato risolto in Cisco IOS versione 12.2(33)SXJ1 e successive. Tenere presente le considerazioni seguenti relative a questo bug.

a) La correzione degli errori rende meno severo il requisito di ricircolo per l'EC L2 DEC o multi-modulo solo per gli switch Catalyst 6500 con moduli 67xx. Se lo switch Catalyst 6500 ha almeno un DEC L2 su qualsiasi modulo DFC precedente (ad esempio 6516/6816) o combinazione di 67xx e 6516/6818, verrà imposto il ricircolo per tutti i DEC L2 configurati nel sistema. Se lo switch Catalyst 6500 ha un modulo precedente ed è configurato con L2 DEC solo su moduli 67xx, il ricircolo non sarà imposto.

b) La presenza di tutte le schede di linea 67xx non è sufficiente per eliminare l'obbligo di ricircolo dei DEC. Ad esempio, se si dispone di un DEC su 2 6704 DFC e di un altro canale della porta configurato su un 6748 CFC, il sistema controllerà il motore di inoltro del supervisor (per il modulo CFC) e inizierà a usare il ricircolo.

c) Per VS-SUP720-10G, questa correzione non funziona negli scenari in cui almeno una porta di L2 DEC è su scheda di linea/supervisore CFC. In questo scenario il ricircolo avviene ancora. Inoltre, l'adiacenza non viene aggiornata e il ricircolo è ancora attivo anche se si rimuove la porta abilitata per supervisor/CFC dal canale della porta. In uno scenario di questo tipo, è necessario ricaricare l'hardware per riprogrammarlo e la rimozione e riconfigurazione del canale della porta, la ridondanza, il passaggio alla VLAN L2, ecc. non è di aiuto.