목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

문제

문제 해결 및 확인

솔루션

관련 Cisco 지원 커뮤니티 토론

소개

EtherChannel 번들은 고대역폭 상호 연결을 제공하는 데 사용됩니다.PFC3A, PFC3B 또는 PFC3BXL이 포함된 Supervisor 720을 실행하는 Catalyst 6500 스위치의 Cisco EtherChannel에 적용되는 제한 사항에 대해 설명합니다. 이 문서에서는 EtherChannel 멤버 인터페이스에서 오버런이 발생할 수 있습니다.이 제한은 레이어 2 포워딩 엔진과 관련이 있으므로 레이어 2 EtherChannel에만 적용됩니다.

사전 요구 사항

요구 사항

이 문서에 대한 특정 요건이 없습니다.

사용되는 구성 요소

이 문서의 정보는 Supervisor Engine 720을 실행하는 Cisco Catalyst 6500 Series 스위치를 기반으로 합니다. WS-X6704-10GE는 이 Lab 설정에서 사용되었습니다.WS-X6704-10GE는 초과 서브스크립션이 없는 Catalyst 6500 모듈이며 각각 20Gbps의 패브릭 채널 연결이 2개입니다.

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.현재 네트워크가 작동 중인 경우, 모든 명령어의 잠재적인 영향을 미리 숙지하시기 바랍니다.

문제

레이어 2 DEC(Distributed Etherchannel)가 구성된 경우 Catalyst 6500에서 인터페이스 오버런이 발생할 수 있습니다.DEC는 이더채널 2개 이상의 DFC(Distributed Forwarding Card) 모듈을 통해 제공됩니다.동일한 라인 카드에 2개의 멤버 인터페이스가 연결되었지만 서로 다른 패브릭 채널에 있는 Etherchannel은 DEC로 간주되지 않습니다.

받은 데이터를 하드웨어 버퍼에 전달할 수 없는 횟수의 오버런 카운터 계정입니다.즉, 트래픽의 입력 속도가 데이터를 처리할 수 있는 수신기의 기능을 초과했습니다.

경우에 따라 DFC는 패킷을 다시 순환시키는 기능을 제공합니다.재순환은 ACL 또는 QoS TCAM(Ternary Content Addressable memory), NetFlow 테이블 또는 FIB(Forwarding Information Base) TCAM 테이블에서 추가 조회를 수행하는 데 사용할 수 있습니다. 패킷 재순환은 특정 패킷 흐름에서만 발생합니다.다른 패킷 흐름은 영향을 받지 않습니다.패킷의 재작성은 모듈에서 발생합니다.그런 다음 추가 처리를 위해 패킷이 PFC(Policy Feature Card)로 다시 전달됩니다.

레이어 2 DEC를 사용할 경우, 인그레스 모듈에서 패킷 재순환이 패킷 전달.  멀티모듈 L2 EtherChannel의 경우 재순환이 필요합니다. Catalyst 6500은 3B/3BXL PFC 모드와 함께 플로우 스루 모드에서 실행됩니다.

flow-through 모드에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

오버런 카운터는 패브릭 사용률이 약 50%에 도달하면 증가하기 시작할 수 있습니다.

문제 해결 및 확인

1) EtherChannel의 멤버 인터페이스에 오버런이 증가하는 것을 확인합니다.

6500#show etherchannel summary

Flags:  D - down        P - bundled in port-channel

I - stand-alone s - suspended

H - Hot-standby (LACP only)

R - Layer3      S - Layer2

U - in use      N - not in use, no aggregation

f - failed to allocate aggregator

M - not in use, no aggregation due to minimum links not met

m - not in use, port not aggregated due to minimum links not met

u - unsuitable for bundling

d - default port

w - waiting to be aggregated

Number of channel-groups in use: 2

Number of aggregators:           2

Group  Port-channel  Protocol    Ports

------+-------------+-----------+-----------------------------------------------

10     Po10(SU)         -        Te2/1(P)       Te3/1(P)

20     Po20(SU)         -        Te2/2(P)       Te3/2(P)

2) 멤버 인터페이스의 입력 속도 및 오버런 카운터를 확인합니다.

6500#show interfaces tenGigabitEthernet 2/1

TenGigabitEthernet2/1 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ac (bia 0002.fcc1.21ac)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:51, output hang never

Last clearing of "show interface" counters 00:00:13

Input queue: 0/2000/5597178/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868906000 bits/sec, 822409 packets/sec

30 second output rate 3000 bits/sec, 5 packets/sec

10968368 packets input, 16452552000 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 5597195 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

79 packets output, 5596 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

6500#show interfaces tenGigabitEthernet 2/2

TenGigabitEthernet2/2 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ad (bia 0002.fcc1.21ad)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:26, output hang never

Last clearing of "show interface" counters 00:00:03

Input queue: 0/2000/45043/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868149000 bits/sec, 822345 packets/sec

30 second output rate 2000 bits/sec, 4 packets/sec

8823464 packets input, 13233496000 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 4575029 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

0 packets output, 0 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

3) 이러한 인터페이스가 있는 모듈을 확인합니다.

6500#show module

Mod Ports Card Type                              Model              Serial No.

--- ----- -------------------------------------- ------------------ -----------

2    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      SAD07430301

3    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      SAL1316NJD4

5    2  Supervisor Engine 720 (Active)         WS-SUP720-3B       JAF1224BFSQ

Mod MAC addresses                       Hw    Fw           Sw           Status

--- ---------------------------------- ------ ------------ ------------ -------

2  0002.fcc1.21ac to 0002.fcc1.21af   1.2   12.2(14r)S5  12.2(33)SXI5 Ok

3  0024.c4f5.b2f4 to 0024.c4f5.b2f7   2.9   12.2(14r)S5  12.2(33)SXI5 Ok

5  001e.be6e.99b4 to 001e.be6e.99b7   5.6   8.5(4)       12.2(33)SXI5 Ok

Mod  Sub-Module                  Model              Serial       Hw     Status

---- --------------------------- ------------------ ----------- ------- -------

2  Centralized Forwarding Card WS-F6700-CFC       SAD0743039A  1.1    Ok

3  Distributed Forwarding Card WS-F6700-DFC3B     SAL1408BP0Y  4.8    Ok

5  Policy Feature Card 3       WS-F6K-PFC3B       JAF1223BAPB  2.3    Ok

5  MSFC3 Daughterboard         WS-SUP720          JAF1223BACM  3.1    Ok

Mod  Online Diag Status

---- -------------------

2  Pass

3  Pass

5  Pass

4) 이러한 모듈에 해당하는 패브릭 인터페이스 사용률을 확인합니다.

6500#show fabric utilization

slot    channel      speed    Ingress %     Egress %

2          0        20G            0            0

2          1        20G           49            0

3          0        20G            0            0

3          1        20G            0           50

5          0        20G            0            0

5) 위에서 설명한 것처럼 인터페이스 Tengigabitethernet 2/1 및 Tengigabitethernet 2/2는 라인 레이트로 실행되지만 인그레스 흐름 제어로 인해 오버런(삭제)이 인그레스(ingress)에서 발생합니다.스위치에 흐름 제어가 발생하고 있으며 위에 설명된 제한 사항으로 실행되고 있는지 확인하려면 아래 명령을 사용하십시오.

6500#show platform hardware capacity rewrite-engine performance slot 2

slot channel perf_id description          packets              total overruns

----+-------+-------+--------------------+--------------------+--------------+

2    0       0x235   FAB RX 0             41083                0

2    0       0x237   FAB RX 1             0                    0

2    0       0x27B   FAB TX 0             1904                 0

2    0       0x27F   FAB TX 1             0                    0

2    0       0x350   REPLICATION ML3      0                    0

2    0       0x351   REPLICATION ML2      0                    0

2    0       0x352   RECIRC L2            0                    0

2    0       0x353   RECIRC L3            0                    0

2    0       0x34C   SPAN TX 0            0                    0

2    0       0x34D   SPAN TX 1            0                    0

2    0       0x34E   SPAN RX 0            0                    0

2    0       0x34F   SPAN RX 1            0                    0

2    0       0x354   SPAN TERMINATION     0                    0

2    1       0x235   FAB RX 0             759500888            0

2    1       0x237   FAB RX 1             0                    0

2    1       0x27B   FAB TX 0             4545890286           0

2    1       0x27F   FAB TX 1             0                    0

2    1       0x350   REPLICATION ML3      0                    0

2    1       0x351   REPLICATION ML2      0                    0

2    1       0x352   RECIRC L2            68615145             1047 <<< L2 Recirculation

2    1       0x353   RECIRC L3            0                    0

2    1       0x34C   SPAN TX 0            0                    0

2    1       0x34D   SPAN TX 1            0                    0

2    1       0x34E   SPAN RX 0            0                    0

2    1       0x34F   SPAN RX 1            0                    0

2    1       0x354   SPAN TERMINATION     0                    0

위의 출력은 L2 DEC이 있기 때문에 인그레스 복제 엔진이 L2 재회수를 수행하고 있음을 나타냅니다.재순환 때문에 패킷은 복제 엔진에 도착하여 대역폭의 두 배를 소비합니다.다시 말해, 각 패브릭 채널의 성능이 두 배 감소하여  각 패킷은 내부적으로 두 번 볼 수 있습니다.

솔루션

1) 이 제한의 영향을 받지 않는 비분산 Etherchannel을 구성합니다.

이 이론을 검증하기 위해 EtherChannel이 동일한 모듈(DEC가 아닌)의 인터페이스에 구성되었으며 위와 동일한 패킷 속도로 인터페이스에 증가하는 오버런이 표시되지 않는 것으로 관찰되었습니다.이 문제를 우회하는 해결 방법이 될 수 있습니다.

6500#show fabric utilization

slot    channel      speed    Ingress %     Egress %

2          0        20G            0            0

2          1        20G           99            0

3          0        20G            0            0

3          1        20G            0           99

5          0        20G            0            0

TenGigabitEthernet2/1 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ac (bia 0002.fcc1.21ac)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:06, output hang never

Last clearing of "show interface" counters 00:36:12

Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868487000 bits/sec, 822374 packets/sec

30 second output rate 3000 bits/sec, 6 packets/sec

1783710310 packets input, 2675565466500 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

13115 packets output, 946206 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

TenGigabitEthernet2/2 is up, line protocol is up (connected)

Hardware is C6k 10000Mb 802.3, address is 0002.fcc1.21ad (bia 0002.fcc1.21ad)

MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 251/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 10Gb/s, media type is 10Gbase-SR

input flow-control is on, output flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:11, output hang never

Last clearing of "show interface" counters 00:37:31

Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 9868462000 bits/sec, 822371 packets/sec

30 second output rate 3000 bits/sec, 6 packets/sec

1849499775 packets input, 2774249662500 bytes, 0 no buffer

Received 0 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 0 multicast, 0 pause input

0 input packets with dribble condition detected

13599 packets output, 980928 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

0 output buffer failures, 0 output buffers swapped out

2) L2 DEC가 필요한 경우 PFC 3C/3CXL 모드에서 Catalyst 6500 스위치를 사용합니다.

참고:기존 모듈에서 DFC3A/DFC3B/DFC3BXL을 실행하는 경우 DFC 하드웨어 업그레이드가 필요합니다.

3) 설계 및 컨피그레이션이 CSCti23324의 조건에 적용되는 경우 IOS 버전 업그레이드.

이 버그 픽스는 67xx 모듈만 포함된 Catalyst 6500 스위치용 L2 DEC 또는 멀티 모듈 EtherChannel에 대한 재순환 요구 사항을 완화합니다.이 버그는 Cisco IOS 릴리스 12.2(33)SXJ1 이상에서 해결되었습니다. 이 버그에 적용되는 다음 사항에 유의하십시오.

a) 버그 픽스는 L2 DEC 또는 멀티 모듈 EC에 대한 재순환 요구 사항을 완화합니다. Catalyst 6500 스위치 67xx 모듈에만 적용됩니다.Catalyst 6500 스위치에는 적어도 이전 DFC 모듈(예: 6516/6816) 또는 67xx의 조합에서 L2 DEC 1개 및 6516/6818 모듈, 구성된 모든 L2 DEC에 대해 재순환이 수행됩니다. 있습니다Catalyst 6500 스위치에 이전 모듈이 있고 구성된 경우 67xx 모듈에서만 L2 DEC를 사용할 경우 재순환이 적용되지 않습니다.

b) 67xx 라인 카드가 모두 있으면 DEC에 대한 재순환 요구 사항을 제거할 수 없습니다.예를 들어, 2 6704 DFC에 DEC가 있고 6748 CFC에 다른 포트 채널이 구성된 경우, 시스템은 수퍼바이저의 포워딩 엔진(CFC 모듈의 경우)을 확인하고 재순환을 사용하기 시작합니다.

c) VS-SUP720-10G의 경우 이 버그 수정은 L2 DEC의 포트가 하나 이상 CFC 라인 카드/수퍼바이저에 있는 시나리오에서 작동하지 않습니다.이 시나리오에서는 재순환이 계속 발생합니다.또한 포트 채널에서 supervisor/CFC 지원 포트를 제거해도 인접성이 업그레이드되지 않으며 재순환이 여전히 수행됩니다.이러한 시나리오에서는 하드웨어를 재프로그래밍하고 포트 채널/리던던시 전환/L2 VLAN 제거 등을 제거 및 재구성하는 데 다시 로드가 필요합니다.