Solução de problemas de pausas de TX no Nexus 2232

Introduction

Este documento descreve as informações para ajudar a solucionar problemas de pausas de Transmissão (TX) em portas de Interface de Host (HIF - Host Interface) do Nexus 2232. Ele se concentra no tráfego na direção Host to Network (H2N) (tráfego que vem dos servidores para a rede, de sul para norte). Ele não cobre cenários relacionados aos fluxos de tráfego de rede para host (N2H).

Este documento foi criado principalmente para o extensor de estrutura (FEX) Nexus 2232, mas o conceito se aplica ao FEX B22 e 2248UPQ.

Prerequisites

Requirements

A Cisco recomenda que você tenha conhecimento destes tópicos

• Configuração do Cisco Nexus 2000 Series
• Configuração do Cisco Nexus 6000 Series

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

• Cisco Nexus N2K-C2232PP-10GE
• Cisco Nexus 6001
• 7.1(1)N1(1)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

Buffers de entrada

O Nexus 2232 tem 32 portas 1/10G Host Facing (HIF) e 8 portas 10G Network Facing (NIF).

Antes de aprofundar o problema de pausa do TX, você precisa entender os buffers disponíveis nas interfaces FEX. Os buffers atribuídos à interface/qos-group podem ser verificados por meio desse comando no switch pai:

 esc-6001# show queuing interface ethernet 147/1/1
if_slot 79, ifidx 0x1f920000
Ethernet147/1/1 queuing information:
  Input buffer allocation:
  Qos-group: 0 
  frh: 8
  drop-type: drop
  cos: 0 1 2 3 4 5 6
  xon       xoff      buffer-size
  ---------+---------+-----------
  0         126720    151040   

<snip>

Conforme visto, com a Qualidade de Serviço (QoS - Quality of Service) padrão, para o tráfego de classe de derivação (qos-group 0), o FEX HIF tem 151040 bytes para armazenar em buffer o tráfego H2N e o limite de XOFF é de 126720 bytes.

Configuração de controle de fluxo

O Nexus 2232 tem excesso de assinaturas para 8:1. Para evitar quedas de pacote na direção H2N devido a excesso de assinaturas e saturação de buffer, o Nexus 2232 tem o controle de fluxo HIF enviado por padrão: 

esc-6001# show run int ethernet 147/1/1 all | inc flow
  priority-flow-control mode auto
  flowcontrol receive off
  flowcontrol send on
esc-6001# show interface ethernet 147/1/1 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 0                

Causas para pausa TX no Nexus 2232

Quando o limite XOFF de 126720 bytes é atingido, o Nexus 2232 envia uma pausa TX para o host no HIF. As causas comuns são:

1. O tráfego H2N que entra no FEX é muito intermitente, o que faz com que os buffers de ingresso sejam totalmente preenchidos e atinjam o limite XOFF.

2. A maioria das implantações FEX usa canais de porta para agregar vários NIFs. A pausa de TX também é observada devido aos buffers de entrada, que ficam cheios devido à colisão de hash de etherchannel no FEX. Isso acontece quando várias portas HIF tentam sair de um único NIF devido aos resultados do etherchannel.

Quedas na direção H2N

Para evitar descartes de pacotes, a pausa de TX é enviada assim que o limite de XOFF é atingido. No entanto, as quedas de tráfego H2N podem ser vistas se:

1. os servidores não honram a pausa ou

2. tenha um atraso para honrar a pausa que faz com que o limite de queda de 151KB seja atingido.

Casos de teste de laboratório

Diagrama de Rede

Para este teste no laboratório, há quatro portas 10G em espiral que atuam como hosts, duas no FEX e duas no Nexus 6001 pai. Todas as portas estão na VLAN 50. Não há outra porta ativa no FEX ou no pai:

esc-6001# show port-channel summary 
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        S - Switched    R - Routed
        U - Up (port-channel)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)
                                     Eth1/44(P)   Eth1/45(P)   Eth1/46(P)
                                     Eth1/47(P)   Eth1/48(P)   
esc-6001# show fex 147 detail | exc Down
FEX: 147 Description: FEX0147   state: Online
  FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]
  FEX Interim version: 7.1(1)N1(1)
  Switch Interim version: 7.1(1)N1(1)
  Extender Serial: FOT1635R003
  Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05
  Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64
  Module Sw Gen: 21  [Switch Sw Gen: 21]
  post level: complete
  Pinning-mode: static    Max-links: 1
  Fabric port for control traffic: Eth1/47
  FCoE Admin: false
  FCoE Oper: true
  FCoE FEX AA Configured: false
  Fabric interface state:
    Po147 - Interface Up. State: Active
    Eth1/41 - Interface Up. State: Active
    Eth1/42 - Interface Up. State: Active
    Eth1/43 - Interface Up. State: Active
    Eth1/44 - Interface Up. State: Active
    Eth1/45 - Interface Up. State: Active
    Eth1/46 - Interface Up. State: Active
    Eth1/47 - Interface Up. State: Active
    Eth1/48 - Interface Up. State: Active
  Fex Port        State  Fabric Port
       Eth147/1/1    Up       Po147
       Eth147/1/9    Up       Po147
Logs:
04/21/2015 21:58:30.162193: Module register received
04/21/2015 21:58:30.164611: Registration response sent
04/21/2015 21:58:30.196708: create module inserted event.
04/21/2015 21:58:30.197425: Module Online Sequence
04/21/2015 21:58:35.051474: Module Online

Teste 1. Tráfego intermitente com controle de fluxo não ativado no host

Quando você envia rajadas unicast de taxa de linha de 100K 1500 bytes do host em Eth147/1/1 (para Eth1/16) e Eth147/1/9 (do Eth1/32). Cada fluxo é um único fluxo. O controle de fluxo está desabilitado no host (Spirent).

Resultados: As portas do receptor relataram uma queda de cerca de 563 pacotes para cada fluxo. Como o controle de fluxo está desabilitado no host, você pode ver muito mais pausa TX e também alta latência (cerca de 100 microssegundos):

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578269 multicast packets  0 broadcast packets
    578267 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578275 multicast packets  0 broadcast packets
    578273 Tx pause
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 578267           
Eth147/1/9   on       on       off      off         0                 578273  

As quedas relatadas pelo receptor são na verdade descartadas no próprio FEX. Há comandos internos de hardware que podem mostrar as quedas, mas exige que você entenda completamente a arquitetura interna do FEX que está fora do escopo deste documento. Se precisar verificar esses contadores, entre em contato com o TAC para este aspecto da solução de problemas.

Teste 2. Tráfego intermitente com controle de fluxo ativado no host

Quando você envia bursts unicast de taxa de linha de 100 K de 1500 bytes de fluxo único do host em Eth147/1/1 (para Eth1/16) e Eth147/1/9 (do Eth1/32). Cada fluxo é um único fluxo. O controle de fluxo está ativado no host (Spirent).

Resultados:

As portas do receptor não relatam nenhuma perda. Pausa TX mínima e a latência média é de aproximadamente 19 microssegundos:

esc-6001# clear counters ; clear qos stat
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4743 multicast packets  0 broadcast packets
    4739 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4703 multicast packets  0 broadcast packets
    4700 Tx pause
           
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 4739             
Eth147/1/9   on       on       off      off         0                 4700             

Quedas:

Não há descartes, pois o host honra o controle de fluxo enviado do FEX.

Teste 3. Colisão Hash Ether-Channel

O uplink entre FEX e pai é um canal de porta. Embora dependa de qual membro do canal de porta é escolhido e quão ocupado está, a pausa TX pode ser vista nos HIFs FEX. No laboratório, há apenas duas portas ativas no FEX e todos os 8 uplinks usados no canal de porta.

Mas para esse teste, com hashing padrão, o tráfego do host na Ethernet 147/1/1 e na Ethernet 147/1/9 é hash para NIF0, que se conecta a Eth1/41 no 6001. Se você enviar 98% de tráfego de taxa de linha dos hosts, a pausa de TX será enviada em ambos os HIFs.

Para este teste, o controle de fluxo é desabilitado nos hosts:

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 9836009128 bits/sec, 819667 packets/sec
  30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec
    input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376923 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 9836252112 bits/sec, 819687 packets/sec
  30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec
    input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376916 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |
| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Quedas:

Há descartes, pois o host não está configurado para controle de fluxo.

Com o controle de fluxo ativado nos hosts, os hosts honram a pausa e a aceleração de retorno:

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 4926871976 bits/sec, 410572 packets/sec
  30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec
    input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps
    0 Rx pause
    88129183 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 4924820632 bits/sec, 410401 packets/sec
  30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec
    input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps
    0 Rx pause
    88069874 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |
| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Correção

Por padrão, para o tráfego IP, o balanceamento de carga FEX é baseado no MAC/IP de destino de origem. Para problemas como esse, altere o algoritmo de hash para obter uma melhor distribuição de tráfego sobre o canal de porta de estrutura. Use este método se você vir balanceamento de carga desigual. Esta opção não é uma solução absoluta:

 esc-6001# show port-channel load-balance 

Port Channel Load-Balancing Configuration:
System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:
Non-IP: source-dest-mac
IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t
Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?
  destination-ip         Destination IP address
  destination-mac        Destination MAC address
  destination-port       Destination TCP/UDP port
  source-dest-ip         Source & Destination IP address (includes l2)
  source-dest-ip-only    Source & Destination IP addresses only
  source-dest-mac        Source & Destination MAC address
  source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)
  source-dest-port-only  Source & Destination TCP/UDP port only
  source-ip              Source IP address
  source-mac             Source MAC address
  source-port            Source TCP/UDP port

Conclusões e práticas recomendadas

1. A pausa de TX é um mecanismo operacional normal para evitar quedas de pacotes no FEX 2232/2248UPQ/B22.

2. Maximize o número de uplinks entre 2232/2248UPQ/B22 FEX e pai. Para poder ter mais caminhos para a rede e também para ter buffers máximos para tráfego N2H.

3. Se os uplinks entre FEX e pai e não forem usados uniformemente, a alteração de hashing de canal de porta pode ajudar.

4. Como não há switching local no FEX, evite ter perfis de fluxo de tráfego leste-oeste em hosts no FEX.

5. Evite dispositivos em surtos, como dispositivos NAS, chassi de blade em FEXes. Eles precisam estar no pai.

6. O FEX 2348UPQ mais recente com buffer compartilhado de 32M tem buffer compartilhado de 1 MB por HIF para tráfego H2N para melhor absorção de burst. Além disso, com uplinks NIF de 40G, as chances de um congestionamento de hash de colisões/uplink são minimizadas grandemente.