目录

简介

先决条件

要求

使用的组件

入口缓冲区

流量控制配置

Nexus 2232上TX暂停的原因

实验测试案例

网络图

测试1.主机上未启用流量控制的突发流量

测试2.在主机上启用流量控制的突发流量

测试3.以太网通道散列冲突

补救

结论和最佳实践

简介

本文档介绍这些信息，以帮助排除Nexus 2232主机接口(HIF)端口上的传输(TX)暂停故障。它侧重于主机到网络(H2N)方向的流量（从服务器传入到网络、从南向北的流量）。 它不涵盖与网络到主机(N2H)流量传输相关的场景。

本文档主要为Nexus 2232交换矩阵扩展器(FEX)编写，但该概念适用于B22和2248UPQ FEX。

先决条件

要求

思科建议您了解这些主题

- Cisco Nexus 2000系列配置

- Cisco Nexus 6000系列配置

使用的组件

本文档中的信息基于以下软件和硬件版本：

- 思科Nexus N2K-C2232PP-10GE

- 思科Nexus 6001

- 7.1(1)N1(1)

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

入口缓冲区

Nexus 2232有32个面向1/10G主机(HIF)端口和8个面向10G网络(NIF)端口。

在深入探讨TX暂停问题之前，您需要了解FEX接口上的可用缓冲区。在父交换机上，可通过以下命令检查分配给接口/qos-group的缓冲区：

esc-6001# show queuing interface ethernet 147/1/1

if_slot 79, ifidx 0x1f920000

Ethernet147/1/1 queuing information:

Input buffer allocation:

Qos-group: 0

frh: 8

drop-type: drop

cos: 0 1 2 3 4 5 6

xon       xoff      buffer-size

---------+---------+-----------

0         126720    151040

<snip>

如图所示，对于丢弃类流量(qos-group 0)，使用默认服务质量(QoS)时，FEX HIF具有151040个字节以缓冲H2N流量，XOFF阈值为126720个字节。

流量控制配置

Nexus 2232超订用为8:1。为避免由于超订用和缓冲区超限而在H2N方向丢包，Nexus 2232默认启用HIF流控制发送：

esc-6001# show run int ethernet 147/1/1 all | inc flow

priority-flow-control mode auto

flowcontrol receive off

flowcontrol send on

esc-6001# show interface ethernet 147/1/1 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 0

Nexus 2232上TX暂停的原因

当XOFF阈值达到126720字节时，Nexus 2232会向HIF上的主机发送TX暂停。造成这种情况的常见原因有：

1.进入FEX的H2N流量非常突发，这会导致入口缓冲区充满并达到XOFF阈值。

2.大多数FEX部署使用端口通道聚合多个NIF。TX暂停也由于入口缓冲区而出现，由于FEX上的EtherChannel哈希冲突，该缓冲区已满。当多个HIF端口由于etherchannel结果而尝试从单个NIF出口时，会发生这种情况。

H2N方向的丢弃

为避免丢包，一旦XOFF阈值达到，就会发送TX暂停。但是，在以下情况下，可以看到H2N流量丢弃：

1.服务器不会执行暂停或

2.延迟以执行导致151KB丢弃阈值命中的暂停。

实验测试案例

网络图

在本实验中的本测试中，有四个10Gspirent端口用作主机，两个在FEX上，两个在父Nexus 6001上。所有端口都在VLAN 50中。FEX或父交换机上没有其他端口处于活动状态：

esc-6001# show port-channel summary

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

S - Switched    R - Routed

U - Up (port-channel)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)

Eth1/44(P)   Eth1/45(P)   Eth1/46(P)

Eth1/47(P)   Eth1/48(P)

esc-6001# show fex 147 detail | exc Down

FEX: 147 Description: FEX0147   state: Online

FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]

FEX Interim version: 7.1(1)N1(1)

Switch Interim version: 7.1(1)N1(1)

Extender Serial: FOT1635R003

Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05

Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64

Module Sw Gen: 21  [Switch Sw Gen: 21]

post level: complete

Pinning-mode: static    Max-links: 1

Fabric port for control traffic: Eth1/47

FCoE Admin: false

FCoE Oper: true

FCoE FEX AA Configured: false

Fabric interface state:

Po147 - Interface Up. State: Active

Eth1/41 - Interface Up. State: Active

Eth1/42 - Interface Up. State: Active

Eth1/43 - Interface Up. State: Active

Eth1/44 - Interface Up. State: Active

Eth1/45 - Interface Up. State: Active

Eth1/46 - Interface Up. State: Active

Eth1/47 - Interface Up. State: Active

Eth1/48 - Interface Up. State: Active

Fex Port        State  Fabric Port

Eth147/1/1    Up       Po147

Eth147/1/9    Up       Po147

Logs:

04/21/2015 21:58:30.162193: Module register received

04/21/2015 21:58:30.164611: Registration response sent

04/21/2015 21:58:30.196708: create module inserted event.

04/21/2015 21:58:30.197425: Module Online Sequence

04/21/2015 21:58:35.051474: Module Online

测试1.主机上未启用流量控制的突发流量

当您从Eth147/1/1（到Eth1/16）和Eth147/1/9（到Eth1/32）上的主机发送100K 1500字节线速单播突发时。 每个流是一个流。在主机(Spirent)上禁用流量控制。

结果：接收方端口报告每个流丢弃了大约563个数据包。由于在主机上禁用了流控制，因此您可以看到更多TX暂停和高延迟（大约100微秒）：

esc-6001# clear counters ; clear qos stat

esc-6001#

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast

Ethernet147/1/1 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  578269 multicast packets  0 broadcast packets

578267 Tx pause

Ethernet147/1/9 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  578275 multicast packets  0 broadcast packets

578273 Tx pause

esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 578267

Eth147/1/9   on       on       off      off         0                 578273

接收方报告的丢包实际上会在FEX上丢包。有一些内部硬件命令可显示丢弃，但它要求您完全了解FEX内部架构，而这不在本文档的讨论范围之内。如果您需要检查这些计数器，请联系TAC进行故障排除。

测试2.在主机上启用流量控制的突发流量

当您从Eth147/1/1（到Eth1/16）和Eth147/1/9（到Eth1/32）上的主机发送单流100K 1500字节线速单播突发时。 每个流是一个流。已在主机(Spirent)上启用流量控制。

结果：

接收端口报告无丢失。最小TX暂停和平均延迟约为19微秒：

esc-6001# clear counters ; clear qos stat

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast

Ethernet147/1/1 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  4743 multicast packets  0 broadcast packets

4739 Tx pause

Ethernet147/1/9 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  4703 multicast packets  0 broadcast packets

4700 Tx pause

esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 4739

Eth147/1/9   on       on       off      off         0                 4700

丢包：

由于主机承担从FEX发送的流量控制，因此没有丢弃。

测试3.以太网通道散列冲突

FEX和父交换机之间的上行链路是端口通道。它取决于端口通道中选择的成员和其繁忙程度，但FEX HIF上可以看到TX暂停。在实验中，FEX上只有两个活动端口，端口通道中使用的所有8个上行链路。

但是，对于此测试，使用默认散列，来自Ethernet 147/1/1和Ethernet 147/1/9上主机的流量将散列到NIF0，该NIF0连接到6001上的Eth1/41。如果从主机发送98%的线速流量，则两个HIF上都会发送TX暂停。

对于此测试，主机上的流量控制已禁用：

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause

Ethernet147/1/1 is up

30 seconds input rate 9836009128 bits/sec, 819667 packets/sec

30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec

input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps

0 Rx pause

98376923 Tx pause

Ethernet147/1/9 is up

30 seconds input rate 9836252112 bits/sec, 819687 packets/sec

30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec

input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps

0 Rx pause

98376916 Tx pause

esc-6001# show port-channel traffic interface port-channel 147

ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst

------ --------- ------- ------- ------- ------- ------- -------

147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%

147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%

esc-6001# attach fex 147

Attaching to FEX 147 ...

To exit type 'exit', to abort type '$.'

fex-147# dbgexec w

woo> rate

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |

|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |

| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |

| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |

| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |

| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

丢包：

由于未为流量控制配置主机，因此存在丢弃。

在主机上启用流量控制后，主机会执行暂停和限制回退：

esc-6001# clear counters ; clear qos stat

esc-6001#

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause

Ethernet147/1/1 is up

30 seconds input rate 4926871976 bits/sec, 410572 packets/sec

30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec

input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps

0 Rx pause

88129183 Tx pause

Ethernet147/1/9 is up

30 seconds input rate 4924820632 bits/sec, 410401 packets/sec

30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec

input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps

0 Rx pause

88069874 Tx pause

esc-6001# show port-channel traffic interface port-channel 147

ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst

------ --------- ------- ------- ------- ------- ------- -------

147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%

147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%

esc-6001# attach fex 147

Attaching to FEX 147 ...

To exit type 'exit', to abort type '$.'

fex-147# dbgexec w

woo> rate

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |

|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |

| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |

| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |

| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |

| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

补救

默认情况下，对于IP流量，FEX负载均衡基于源 — 目标MAC/IP。对于此类问题，请更改散列算法以通过交换矩阵端口通道获得更好的流量分配。如果您看到不等价负载均衡，请使用此方法。此选项不是绝对解决方案：

esc-6001# show port-channel load-balance

Port Channel Load-Balancing Configuration:

System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:

Non-IP: source-dest-mac

IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t

Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?

destination-ip         Destination IP address

destination-mac        Destination MAC address

destination-port       Destination TCP/UDP port

source-dest-ip         Source & Destination IP address (includes l2)

source-dest-ip-only    Source & Destination IP addresses only

source-dest-mac        Source & Destination MAC address

source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)

source-dest-port-only  Source & Destination TCP/UDP port only

source-ip              Source IP address

source-mac             Source MAC address

source-port            Source TCP/UDP port

结论和最佳实践

1. TX暂停是正常的操作机制，以避免2232/2248UPQ/B22 FEX中丢包。

2.最大化2232/2248UPQ/B22 FEX和父交换机之间的上行链路数量。为了能够拥有更多通往网络的路径，同时也有助于为N2H流量提供最大缓冲区。

3.如果FEX和父交换机之间的上行链路未得到均匀使用，则更改端口通道散列会有所帮助。

4.由于FEX上没有本地交换，请避免在FEX上的主机上使用东 — 西流量量变曲线。

5.避免突发设备，如NAS设备、FEX上的刀片机箱。这些必须在父级上。

6.新的2348UPQ FEX，带32M共享缓冲区，每个HIF有1MB共享缓冲区，用于H2N流量，以实现更好的突发吸收。此外，借助40G NIF上行链路，散列冲突/上行链路拥塞的可能性大大降低。