交换机 : Cisco Nexus 7000 系列交换机

连结7000 FCoE多跳跃F1距离限制

2016 年 10 月 27 日 - 机器翻译
其他版本: PDFpdf | 英语 (2015 年 8 月 22 日) | 反馈

简介

本文描述该做什么,如果体验在光纤信道的输入丢弃在以太网(FCoE)多跳跃接口。此问题/解决方案文档是有用的,当丢弃症状在互联远程datacenters的接口时识别。

此示例表示此问题实际生活情景。 

在示例显示的拓扑表示10KM分离的两datacenters。有10KM FCoE虚拟扩展(VE) (多跳跃)连接DC1和DC2的接口。多跳跃接口在N7K-F132XP-15线路卡配置。每个此F1系列数据表,这应该在支持的范围内。

最初,数据表指示这些IEEE数据中心桥接(DCB)功能:

  • 基于优先级的流量控制(PFC) :IEEE P802.1Qbb
  • 增强版发射选择(ETS) :IEEE P802.1Qaz
  • 桥接Exchange (DCBX)的数据中心
  • 最大无损的链路距离:20 km

修改Cisco Bug ID CSCts72420为了寻址文档。关于无损的链路距离的线路20KM删除。

贡献用Darius卡森, Cisco TAC工程师。

问题

EMC VPLEX设备支持存储设备复制功能。此方案使用的同步复制。当EMC VPLEX设备升级他们变得‘不同步’。波斯特VPLEX升级,设备开始复制数额上限在10KM FCoE多跳跃链路的数据。

当数据复制增加,这些事件发生了:

  1. 连结5000-DC2开始发送不变暂停到连结7000-DC2。
  2. 连结7000-DC2开始发送在10KM链路的暂停到连结7000-DC1。
  3. 对连结5000-DC1的连结7000-DC1发送的暂停,等等。

这些事件是预计FCoE流量控制行为高级观点。从连结接收的暂停帧5000-DC2指示在终端设备的拥塞。当入口缓冲区开始充满,暂停帧滴下回到结构。

在此方案的问题是在入口的连结7000-DC2被丢弃的数据包在10KM mulithop经常连接。

Ethernet4/1 is up
Dedicated Interface
Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)
MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)
BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on
Input flow-control is off, output flow-control is off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
Last link flapped 25week(s) 0day(s)
Last clearing of "show interface" counters 79w2d
30 seconds input rate 296186536 bits/sec, 27891 packets/sec
30 seconds output rate 151677360 bits/sec, 19294 packets/sec
Load-Interval #2: 5 minute (300 seconds)
input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps
RX
566235497816 unicast packets 2504479 multicast packets 0 broadcast packets
566239834433 input packets 502487779153524 bytes
219280594774 jumbo packets 0 storm suppression packets
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 19312516 input discard
1832141 Rx pause
TX
681040135255 unicast packets 2504251 multicast packets 0 broadcast packets
681046392756 output packets 744942450903588 bytes
333793360248 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
3753250 Tx pause
5 interface resets

这不应该发生,当上述接口只运载FCoE (Cos 3)流量。输入丢弃违犯FCoE的‘NO-丢弃’ QoS策略。此外,在FCoE环境的丢弃能导致SCSI中止,错误,等等。

解决方案

当设备发送暂停时,产生暂停帧的接口应该有与足够大的缓冲空间的缓冲一个入口的队列两倍链路距离。这是因为当时暂停生成电线的那也许全双工。在邻接设备接收/处理生成的暂停帧的时间之前,电线也许再全双工。因而生成暂停的设备应该有能力缓冲两倍链路距离。

在计算,可能有100+数据包在飞行中在10KM链路。由于ASIC限制, F1系列线路卡不可以支持在10KM链路的无损的FCoE或更加极大。 

注意:入口缓冲区(IB)用于在飞行中在暂停前排队数据包。在暂停发送后,不再使用IB。延迟缓冲区(LB)用于排队数据包,在飞行中在暂停发送后。

升级硬件/软件为了支持F2/F2e

Cisco Bug ID CSCua10484寻址F2长途无损的距离支持。在NX-OS版本6.1(2)中及以后,这些配置更改允许。

注意:在代码中更早版本,更改允许,但是不生效。

在IB留下的空间捉住数据包可以计算如下:PL_STOP - PL_PAUSE.默认情况下PL_STOP和HWM (PL_PAUSE)值是相同的。

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
IB
Port page limit : 3584 (1376256 Bytes)
VL# HWM pages(bytes) LWM pages(bytes) Used PL_STOP(HWM & LWM)
pages THR
0 1107 ( 425088) 1059 ( 406656) 0 1107 1059
1 2 ( 768) 1 ( 384) 0 2 1
2 1107 ( 425088) 1059 ( 406656) 0 1107 1059
3 1053 ( 404352) 1029 ( 395136) 0 1053 1029
4 2 ( 768) 1 ( 384) 0 2 1
5 231 ( 88704) 159 ( 61056) 0 231 159
6 2 ( 768) 1 ( 384) 0 2 1
7 2 ( 768) 1 ( 384) 0 2 1
Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
DWRR honor UC = FALSE
Leak Lo weight = 0xd8, enabled = FALSE
EB

您能修改这些值为了由更加巨大的缓冲区的分配支持远的距离对NO-丢弃业务类别(CoS)。为了完成此,请复制'default-4q-7e-in-policy服务质量(QoS)策略映射。

注意:下个配置情形没有被剪裁往在COS 3入口缓冲区分配的一增加在与默认VDC的连结7000,没有Admin VDC。因为Admin VDC严格是仅‘管理’ VDC,没有数据平面功能,复制QoS策略的额外步骤,并且修改缓冲分配请勿是需要的,在此VDC内。所以,如果使用Admin VDC,只有请做在存储设备VDC的这些修改。

在默认和存储设备VDC中

Switch(config)# qos copy policy-map type queuing ?
*** No matching command found in current mode, matching in (exec) mode ***
default-4q-7e-in-policy Default 7-ethernet input queuing policy
default-4q-7e-out-policy Default 7-ethernet output queuing policy

Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_

在策略在默认VDC和存储设备VDC后复制,请修改'4q-7e-in策略映射为了分配更加了不起的队列极限百分比到NO-丢弃COS。

在默认和存储设备VDC中

Switch(config)# show run ipqos
<snippet>

policy-map type queuing 7I_4q-7e-in
class type queuing c-4q-7e-drop-in
service-policy type queuing 7I_4q-7e-drop-in
queue-limit percent 1 <<<<<<<<<<<<<<<<<
class type queuing c-4q-7e-ndrop-in
service-policy type queuing 7I_4q-7e-ndrop-in
queue-limit percent 99 <<<<<<<<<<<<<<<<<

现在,请运用已修改QoS策略对所需的接口:

在存储设备VDC中

Switch(config)# int e4/1
Switch(config-if)# service-policy type queuing input 7I_4q-7e-in
Switch(config-if)# show run int e4/1

!Command: show running-config interface Ethernet4/1
!Time: Sun Mar 2 21:03:07 2014

version 6.1(4)

interface Ethernet4/1
switchport
switchport mode trunk
switchport trunk allowed vlan 1,2990
load-interval counter 2 30
service-policy type queuing input 7I_4q-7e-in
no shutdown

现在,请注意PL_STOP值比高水位标记(HWM)极大。因此,一个更加了不起的缓冲功能为IB允许。

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
IB
Port page limit : 3584 (1376256 Bytes)
VL# HWM pages(bytes) LWM pages(bytes) Used PL_STOP(HWM & LWM)
pages THR
0 15 ( 5760) 9 ( 3456) 0 15 9
1 2 ( 768) 1 ( 384) 0 2 1
2 15 ( 5760) 9 ( 3456) 0 15 9
3 1161 ( 445824) 1137 ( 436608) 0 3521 1137
4 2 ( 768) 1 ( 384) 0 2 1
5 3 ( 1152) 0 ( 0) 0 3 0
6 2 ( 768) 1 ( 384) 0 2 1
7 2 ( 768) 1 ( 384) 0 2 1
Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
DWRR honor UC = FALSE
Leak Lo weight = 0xd8, enabled = FALSE
EB

在示例中,空间留下在IB = 3521个页- 1161个页= 2360个页=> 906,240字节。

注意:当仅FCoE流量在FCoE多跳跃接口时,通过此应急方案是可接受。如果数据流通过,请与协助的Cisco技术支持中心(TAC)联系。

或者

若有,请使用在站点之间的本地光纤信道(FC)。此解决方案要求粗糙的波分复用器/密集波分复用器(CWDM/DWDM)干预或者暗光纤,从属在需要的距离。



Document ID: 117785