目录

简介

问题

解决方案

升级硬件/软件以支持F2/F2e

简介

本文档介绍在以太网光纤通道(FCoE)多跳接口上遇到输入丢弃时应如何操作。当在连接远程数据中心的接口上发现丢弃症状时，此问题/解决方案文档非常有用。

此示例描述了此问题的实际场景。

示例中显示的拓扑描绘了两个以10KM分隔的数据中心。连接DC1和DC2的10KM FCoE虚拟扩展(VE)（多跳）接口。多跳接口配置在N7K-F132XP-15线卡上。根据此F1系列产品手册，此数据应在支持的范围内。

最初，数据表显示了以下IEEE数据中心桥接(DCB)功能：

- 基于优先级的流量控制(PFC):IEEE P802.1Qbb

- 增强传输选择(ETS):IEEE P802.1Qaz

- 数据中心桥接交换(DCBX)

- 最大无损链路距离：20 千米

修改了Cisco Bug ID CSCts72420 ，以处理文档。20KM无损链路距离的线路已删除。

问题

EMC VPLEX设备支持存储复制功能。此方案使用同步复制。当EMC VPLEX设备升级时，它们变得“不同步”。 VPLEX升级后，设备开始通过10KM FCoE多跳链路复制大量数据。

当数据复制增加时，会发生以下事件：

1. Nexus 5000-DC2开始向Nexus 7000-DC2发送持续暂停。

2. Nexus 7000-DC2开始通过10KM链路向Nexus 7000-DC1发送暂停。

3. Nexus 7000-DC1向Nexus 5000-DC1发送暂停，依此类推。

这些事件是预期FCoE流量控制行为的高级视图。从Nexus 5000-DC2接收的暂停帧表示终端设备发生拥塞。当入口缓冲区开始填充时，暂停帧会逐渐渗入交换矩阵。

此场景中的问题是，Nexus 7000-DC2在10KM复用链路的入口上不断丢弃数据包。

Ethernet4/1 is up

Dedicated Interface

Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)

MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)

BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA

Port mode is trunk

full-duplex, 10 Gb/s, media type is 10G

Beacon is turned off

Auto-Negotiation is turned on

Input flow-control is off, output flow-control is off

Rate mode is dedicated

Switchport monitor is off

EtherType is 0x8100

Last link flapped 25week(s) 0day(s)

Last clearing of "show interface" counters 79w2d

30 seconds input rate 296186536 bits/sec, 27891 packets/sec

30 seconds output rate 151677360 bits/sec, 19294 packets/sec

Load-Interval #2: 5 minute (300 seconds)

input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps

RX

566235497816 unicast packets  2504479 multicast packets  0 broadcast packets

566239834433 input packets  502487779153524 bytes

219280594774 jumbo packets  0 storm suppression packets

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  19312516 input discard

1832141 Rx pause

TX

681040135255 unicast packets  2504251 multicast packets  0 broadcast packets

681046392756 output packets  744942450903588 bytes

333793360248 jumbo packets

0 output error  0 collision  0 deferred  0 late collision

0 lost carrier  0 no carrier  0 babble  0 output discard

3753250 Tx pause

5 interface resets

这不应发生，因为上述接口仅传输FCoE(CoS 3)流量。输入丢弃违反FCoE的“无丢弃”QoS策略。此外，FCoE环境中的丢弃可能导致SCSI中止、错误等。

解决方案

当设备发送暂停时，生成暂停帧的接口应具有一个入口队列，其缓冲空间大到足以缓冲两倍链路距离的缓冲空间。这是因为，在生成暂停时，电线可能已满。当相邻设备接收/处理所生成的暂停帧时，电线可能再次满。因此，生成暂停的设备应该能够缓冲两倍的链路距离。

经计算，在10KM链路上可能有100多个数据包在飞行。由于ASIC限制，F1系列线卡不能在10KM或更大链路上支持无损FCoE。

注意：入口缓冲区(IB)用于在暂停前对传输中的数据包进行排队。发送暂停后，不再使用IB。延迟缓冲区(LB)用于在发送暂停后对传输中的数据包进行排队。

升级硬件/软件以支持F2/F2e

Cisco Bug ID CSCua10484解决了F2长距离无损距离支持。在NX-OS版本6.1(2)及更高版本中，允许这些配置更改。

注意：在早期的代码版本中，允许更改，但不会生效。

IB中剩余的用于捕获数据包的空间可以计算为：PL_STOP - PL_PAUSE。默认情况下，PL_STOP和HWM(PL_PAUSE)值相同。

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB

IB

Port page limit : 3584 (1376256 Bytes)

VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)

pages                    THR

0    1107 (  425088)   1059 (  406656)     0     1107   1059

1       2 (     768)      1 (     384)     0        2      1

2    1107 (  425088)   1059 (  406656)     0     1107   1059

3    1053 (  404352)   1029 (  395136)     0     1053   1029

4       2 (     768)      1 (     384)     0        2      1

5     231 (   88704)    159 (   61056)     0      231    159

6       2 (     768)      1 (     384)     0        2      1

7       2 (     768)      1 (     384)     0        2      1

Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)

DWRR honor UC = FALSE

Leak Lo weight = 0xd8, enabled = FALSE

EB

您可以修改这些值，以便通过向无丢弃服务类别(CoS)分配更大的缓冲区来支持更远的距离。 为完成此操作，请复制“default-4q-7e-in-policy”服务质量(QoS)策略映射。

注意：下一个配置方案针对Nexus 7000上COS 3入口缓冲区分配的增加量定制，使用默认VDC，而非管理VDC。由于管理VDC严格来说只是“管理”VDC，无数据平面功能，因此在此VDC中不需要执行其他步骤来复制QoS策略和修改缓冲区分配。因此，如果使用管理VDC，请仅在存储VDC中进行这些修改。

默认和存储VDC

Switch(config)# qos copy policy-map type queuing ?

*** No matching command found in current mode, matching in (exec) mode ***

default-4q-7e-in-policy   Default 7-ethernet input queuing policy

default-4q-7e-out-policy  Default 7-ethernet output queuing policy

Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_

在默认VDC和存储VDC中复制策略后，修改“4q-7e-in”策略映射，以便为无丢弃COS分配更大的队列限制百分比。

默认和存储VDC

Switch(config)# show run ipqos

<snippet>

policy-map type queuing 7I_4q-7e-in

class type queuing c-4q-7e-drop-in

service-policy type queuing 7I_4q-7e-drop-in

queue-limit percent 1                 <<<<<<<<<<<<<<<<<

class type queuing c-4q-7e-ndrop-in

service-policy type queuing 7I_4q-7e-ndrop-in

queue-limit percent 99                <<<<<<<<<<<<<<<<<

现在，将修改的QoS策略应用到所需接口：

在存储VDC中

Switch(config)# int e4/1

Switch(config-if)# service-policy type queuing input 7I_4q-7e-in

Switch(config-if)# show run int e4/1

!Command: show running-config interface Ethernet4/1

!Time: Sun Mar  2 21:03:07 2014

version 6.1(4)

interface Ethernet4/1

switchport

switchport mode trunk

switchport trunk allowed vlan 1,2990

load-interval counter 2 30

service-policy type queuing input 7I_4q-7e-in

no shutdown

现在，请注意PL_STOP值大于高水位标记(HWM)。 因此，允许IB具有更大的缓冲能力。

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB

IB

Port page limit : 3584 (1376256 Bytes)

VL#  HWM pages(bytes)  LWM pages(bytes) Used PL_STOP(HWM & LWM)

pages                    THR

0      15 (    5760)      9 (    3456)     0       15      9

1       2 (     768)      1 (     384)     0        2      1

2      15 (    5760)      9 (    3456)     0       15      9

3    1161 (  445824)   1137 (  436608)     0     3521   1137

4       2 (     768)      1 (     384)     0        2      1

5       3 (    1152)      0 (       0)     0        3      0

6       2 (     768)      1 (     384)     0        2      1

7       2 (     768)      1 (     384)     0        2      1

Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)

DWRR honor UC = FALSE

Leak Lo weight = 0xd8, enabled = FALSE

EB

在本例中，IB中剩余的空间= 3521页 — 1161页= 2360页=> 906,240字节。

注意：当仅FCoE流量通过FCoE多跳接口传递时，此解决方法是可接受的。如果数据流量也通过，请联系思科技术支持中心(TAC)寻求帮助。

或者

如果可用，请在站点之间使用本地光纤通道(FC)。此解决方案需要粗波分复用器/密集波分复用器(CWDM/DWDM)干预或暗光纤，具体取决于所需距离。