Fehlerbehebung bei TX-Pausen auf Nexus 2232

Einführung

Dieses Dokument beschreibt die Informationen, um bei der Fehlerbehebung für Übertragungs- (TX-)Pausen auf Nexus 2232 Host Interface (HIF)-Ports zu helfen. Der Schwerpunkt liegt auf dem Datenverkehr in H2N-Richtung (Host to Network) (der von den Servern in Richtung Netzwerk, Süden nach Norden kommt). Es werden keine Szenarien für den Datenverkehrsfluss zwischen Netzwerk und Host (N2H) behandelt.

Dieses Dokument wurde hauptsächlich für den Nexus 2232 Fabric Extender (FEX) erstellt, aber das Konzept gilt für B22 und 2248UPQ FEX.

Voraussetzungen

Anforderungen

Cisco empfiehlt, diese Themen zu kennen.

• Konfiguration der Cisco Nexus Serie 2000
• Konfiguration der Cisco Nexus Serie 6000

Verwendete Komponenten

Die Informationen in diesem Dokument basieren auf den folgenden Software- und Hardwareversionen:

• Cisco Nexus N2K-C2232PP-10GE
• Cisco Nexus 6001
• 7.1(1)N1(1)

Die Informationen in diesem Dokument wurden von den Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die potenziellen Auswirkungen eines Befehls verstehen.

Eingangspuffer

Der Nexus 2232 verfügt über 32 1/10G-HIF-Ports (Host Facing) und 8 10G-NIF-Ports (Network Facing).

Bevor Sie sich näher mit dem Problem der TX-Pause befassen, müssen Sie die verfügbaren Puffer auf den FEX-Schnittstellen verstehen. Die der Schnittstelle/qos-Gruppe zugewiesenen Puffer können über diesen Befehl auf dem übergeordneten Switch überprüft werden:

 esc-6001# show queuing interface ethernet 147/1/1
if_slot 79, ifidx 0x1f920000
Ethernet147/1/1 queuing information:
  Input buffer allocation:
  Qos-group: 0 
  frh: 8
  drop-type: drop
  cos: 0 1 2 3 4 5 6
  xon       xoff      buffer-size
  ---------+---------+-----------
  0         126720    151040   

<snip>

Wie sich gezeigt hat, hat der FEX-HIF bei standardmäßiger Quality of Service (QoS) für Verkehr der Dropdownklasse (QoS-Gruppe 0) 151040 Byte, um H2N-Datenverkehr zu puffern, und der XOFF-Grenzwert beträgt 126720 Byte.

Konfiguration der Flusssteuerung

Der Nexus 2232 ist zu 8:1 überbelegt. Um Paketverluste in H2N-Richtung aufgrund von Überbelegung und Pufferüberläufen zu vermeiden, wird auf dem Nexus 2232 standardmäßig die HIF-Flusssteuerung gesendet: 

esc-6001# show run int ethernet 147/1/1 all | inc flow
  priority-flow-control mode auto
  flowcontrol receive off
  flowcontrol send on
esc-6001# show interface ethernet 147/1/1 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 0                

Ursachen für TX-Pause auf Nexus 2232

Wenn der XOFF-Grenzwert von 126720 Byte erreicht wird, sendet der Nexus 2232 eine TX-Pause an den Host im HIF. Häufige Ursachen hierfür sind:

1. H2N-Datenverkehr, der in den FEX eingeht, ist sehr sprunghaft, sodass die Eingangspuffer voll gefüllt sind und den XOFF-Grenzwert erreichen.

2. Die meisten FEX-Bereitstellungen nutzen Port-Channels, um mehrere NIFs zu aggregieren. TX Pause wird auch aufgrund von Eingangspuffern beobachtet, die aufgrund von Etherchannel-Hash-Kollisionen auf FEX voll werden. Dies geschieht, wenn mehrere HIF-Ports aufgrund von Etherchannel-Ergebnissen versuchen, aus einer einzigen NIF auszusteigen.

geht in H2N-Richtung

Um Paketverluste zu vermeiden, wird die TX-Pause gesendet, sobald der XOFF-Grenzwert erreicht ist. Allerdings kann der H2N-Datenverkehr verworfen werden, wenn:

1. die Server keine Pause einlegen oder

2. verzögern Sie, die Pause einzuhalten, die zur Überschreitung der 151 KB-Drop-Schwellenwerte führt.

Labortestfälle

Netzwerkdiagramm

Für diesen Test in der Übung gibt es vier 10G-Spirent-Ports, die als Hosts fungieren, zwei auf dem FEX und zwei auf dem übergeordneten Nexus 6001. Alle Ports befinden sich im VLAN 50. Auf dem FEX oder dem übergeordneten Switch ist kein anderer Port aktiv:

esc-6001# show port-channel summary 
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        S - Switched    R - Routed
        U - Up (port-channel)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)
                                     Eth1/44(P)   Eth1/45(P)   Eth1/46(P)
                                     Eth1/47(P)   Eth1/48(P)   
esc-6001# show fex 147 detail | exc Down
FEX: 147 Description: FEX0147   state: Online
  FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]
  FEX Interim version: 7.1(1)N1(1)
  Switch Interim version: 7.1(1)N1(1)
  Extender Serial: FOT1635R003
  Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05
  Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64
  Module Sw Gen: 21  [Switch Sw Gen: 21]
  post level: complete
  Pinning-mode: static    Max-links: 1
  Fabric port for control traffic: Eth1/47
  FCoE Admin: false
  FCoE Oper: true
  FCoE FEX AA Configured: false
  Fabric interface state:
    Po147 - Interface Up. State: Active
    Eth1/41 - Interface Up. State: Active
    Eth1/42 - Interface Up. State: Active
    Eth1/43 - Interface Up. State: Active
    Eth1/44 - Interface Up. State: Active
    Eth1/45 - Interface Up. State: Active
    Eth1/46 - Interface Up. State: Active
    Eth1/47 - Interface Up. State: Active
    Eth1/48 - Interface Up. State: Active
  Fex Port        State  Fabric Port
       Eth147/1/1    Up       Po147
       Eth147/1/9    Up       Po147
Logs:
04/21/2015 21:58:30.162193: Module register received
04/21/2015 21:58:30.164611: Registration response sent
04/21/2015 21:58:30.196708: create module inserted event.
04/21/2015 21:58:30.197425: Module Online Sequence
04/21/2015 21:58:35.051474: Module Online

Test 1. Burst-Datenverkehr mit Flusssteuerung auf Host nicht aktiviert

Wenn Sie Unicast-Bursts mit einer Leitungsgeschwindigkeit von 100.000 Byte vom Host auf Eth147/1/1(zu Eth1/16) und Eth147/1/9(do Eth1/32) senden. Jeder Stream ist ein einzelner Fluss. Flusssteuerung ist auf Host (Spirent) deaktiviert.

Ergebnisse: Die Receiver-Ports meldeten etwa 563 Pakete, die für jeden Flow verworfen wurden. Da die Flow-Steuerung auf dem Host deaktiviert ist, können Sie viel mehr TX-Pause und eine hohe Latenz (etwa 100 Mikrosekunden) sehen:

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578269 multicast packets  0 broadcast packets
    578267 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578275 multicast packets  0 broadcast packets
    578273 Tx pause
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 578267           
Eth147/1/9   on       on       off      off         0                 578273  

Die vom Empfänger gemeldeten Verwerfungen werden auf dem FEX selbst verworfen. Es gibt interne Hardwarebefehle, die die Verwerfen anzeigen können. Sie müssen jedoch die interne FEX-Architektur, die nicht in diesem Dokument enthalten ist, vollständig verstehen. Wenn Sie diese Zähler überprüfen müssen, wenden Sie sich an das TAC für diesen Aspekt der Fehlerbehebung.

Test 2. Burst-Datenverkehr mit Flusssteuerung auf Host aktiviert

Wenn Sie Unicast-Bursts mit einem Durchsatz von 100.000 1500 Byte vom Host auf Eth147/1/1(zu Eth1/16) und Eth147/1/9(Do Eth1/32) senden. Jeder Stream ist ein einzelner Fluss. Flusssteuerung ist auf Host (Spirent) aktiviert.

Ergebnisse:

Die Receiver-Ports melden keinen Verlust. Minimale TX-Pause und durchschnittliche Latenz liegt bei etwa 19 Mikrosekunden:

esc-6001# clear counters ; clear qos stat
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4743 multicast packets  0 broadcast packets
    4739 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4703 multicast packets  0 broadcast packets
    4700 Tx pause
           
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 4739             
Eth147/1/9   on       on       off      off         0                 4700             

Verlusten:

Da der Host die vom FEX gesendete Flusskontrolle berücksichtigt, gibt es keine Verwerfungen.

Test 3. EtherChannel-Hash-Kollision

Der Uplink zwischen FEX und dem übergeordneten Port ist ein Port-Channel. Es hängt zwar davon ab, welches Mitglied im Port-Channel ausgewählt ist und wie beschäftigt er ist, aber auf den FEX-HIFs ist "TX Pause" zu sehen. Im Labor sind nur zwei Ports am FEX aktiv, und alle acht Uplinks werden im Port-Channel verwendet.

Bei diesem Test wird der Datenverkehr vom Host über Ethernet 147/1/1 und Ethernet 147/1/9 mit Standard-Hashing jedoch auf NIF0 gehasht, das mit Eth1/41 auf dem 6001 verbunden ist. Wenn Sie 98 % Datenverkehr mit Leitungsgeschwindigkeit von den Hosts senden, wird auf beiden HIFs eine TX-Pause gesendet.

Für diesen Test ist die Flusssteuerung auf den Hosts deaktiviert:

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 9836009128 bits/sec, 819667 packets/sec
  30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec
    input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376923 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 9836252112 bits/sec, 819687 packets/sec
  30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec
    input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376916 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |
| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Verlusten:

Es gibt Verwerfungen, da der Host nicht für die Flusssteuerung konfiguriert ist.

Wenn die Flusssteuerung auf den Hosts aktiviert ist, halten die Hosts an und drosseln folgende Punkte:

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 4926871976 bits/sec, 410572 packets/sec
  30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec
    input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps
    0 Rx pause
    88129183 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 4924820632 bits/sec, 410401 packets/sec
  30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec
    input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps
    0 Rx pause
    88069874 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |
| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Problembehebung

Standardmäßig basiert der FEX-Lastenausgleich für IP-Datenverkehr auf der Quell-Ziel-MAC/IP. Ändern Sie bei solchen Problemen den Hash-Algorithmus, um eine bessere Verteilung des Datenverkehrs über den Fabric-Port-Channel zu erreichen. Verwenden Sie diese Methode, wenn ungleiche Lastverteilung auftritt. Diese Option ist keine absolute Lösung:

 esc-6001# show port-channel load-balance 

Port Channel Load-Balancing Configuration:
System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:
Non-IP: source-dest-mac
IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t
Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?
  destination-ip         Destination IP address
  destination-mac        Destination MAC address
  destination-port       Destination TCP/UDP port
  source-dest-ip         Source & Destination IP address (includes l2)
  source-dest-ip-only    Source & Destination IP addresses only
  source-dest-mac        Source & Destination MAC address
  source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)
  source-dest-port-only  Source & Destination TCP/UDP port only
  source-ip              Source IP address
  source-mac             Source MAC address
  source-port            Source TCP/UDP port

Schlussfolgerungen und Best Practices

1. TX Pause ist ein normaler Betriebsmechanismus, um Paketverluste in 2232/2248UPQ/B22 FEX zu vermeiden.

2. Maximale Anzahl an Uplinks zwischen 2232/2248UPQ/B22 FEX und übergeordneten Uplinks Damit mehr Pfade zum Netzwerk vorhanden sind und außerdem maximale Puffer für N2H-Datenverkehr vorhanden sein können.

3. Wenn Uplinks zwischen FEX und übergeordnet verwendet werden und nicht gleichmäßig genutzt werden, kann die Änderung des Port-Channel-Hashing hilfreich sein.

4. Da auf FEX kein lokales Switching erfolgt, sollten auf Hosts auf FEX keine Ost-West-Datenverkehrsflussprofile vorhanden sein.

5. Vermeiden Sie Burst-Appliances wie NAS-Geräte, Blade-Chassis auf FEXes. Diese müssen sich im übergeordneten Element befinden.

6. Neuerer 2348UPQ FEX mit 32 Mio. gemeinsamem Puffer mit 1 MB gemeinsamem Puffer pro HIF für H2N-Datenverkehr für eine bessere Burst-Absorption. Bei 40G-NIF-Uplinks werden zudem die Wahrscheinlichkeit von Hash-Kollisionen/Uplink-Überlastungen deutlich reduziert.