Inhalt

Einführung

Voraussetzungen

Anforderungen

Verwendete Komponenten

Eingangspuffer

Konfiguration der Flusssteuerung

Ursachen für TX-Pause auf Nexus 2232

Labortestfälle

Netzwerkdiagramm

Test 1. Burst-Datenverkehr mit Flusssteuerung auf Host nicht aktiviert

Test 2. Burst-Datenverkehr mit Flusssteuerung auf Host aktiviert

Test 3. EtherChannel-Hash-Kollision

Problembehebung

Schlussfolgerungen und Best Practices

Einführung

Dieses Dokument beschreibt die Informationen, um bei der Fehlerbehebung für Übertragungs- (TX-)Pausen auf Nexus 2232 Host Interface (HIF)-Ports zu helfen. Der Schwerpunkt liegt auf dem Datenverkehr in H2N-Richtung (Host to Network) (der von den Servern in Richtung Netzwerk, Süden nach Norden kommt). Es werden keine Szenarien für den Datenverkehrsfluss zwischen Netzwerk und Host (N2H) behandelt.

Dieses Dokument wurde hauptsächlich für den Nexus 2232 Fabric Extender (FEX) erstellt, aber das Konzept gilt für B22 und 2248UPQ FEX.

Voraussetzungen

Anforderungen

Cisco empfiehlt, diese Themen zu kennen.

- Konfiguration der Cisco Nexus Serie 2000

- Konfiguration der Cisco Nexus Serie 6000

Verwendete Komponenten

Die Informationen in diesem Dokument basieren auf den folgenden Software- und Hardwareversionen:

- Cisco Nexus N2K-C2232PP-10GE

- Cisco Nexus 6001

- 7.1(1)N1(1)

Die Informationen in diesem Dokument wurden von den Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die potenziellen Auswirkungen eines Befehls verstehen.

Eingangspuffer

Der Nexus 2232 verfügt über 32 1/10G-HIF-Ports (Host Facing) und 8 10G-NIF-Ports (Network Facing).

Bevor Sie sich näher mit dem Problem der TX-Pause befassen, müssen Sie die verfügbaren Puffer auf den FEX-Schnittstellen verstehen. Die der Schnittstelle/qos-Gruppe zugewiesenen Puffer können über diesen Befehl auf dem übergeordneten Switch überprüft werden:

esc-6001# show queuing interface ethernet 147/1/1

if_slot 79, ifidx 0x1f920000

Ethernet147/1/1 queuing information:

Input buffer allocation:

Qos-group: 0

frh: 8

drop-type: drop

cos: 0 1 2 3 4 5 6

xon       xoff      buffer-size

---------+---------+-----------

0         126720    151040

<snip>

Wie sich gezeigt hat, hat der FEX-HIF bei standardmäßiger Quality of Service (QoS) für Verkehr der Dropdownklasse (QoS-Gruppe 0) 151040 Byte, um H2N-Datenverkehr zu puffern, und der XOFF-Grenzwert beträgt 126720 Byte.

Konfiguration der Flusssteuerung

Der Nexus 2232 ist zu 8:1 überbelegt. Um Paketverluste in H2N-Richtung aufgrund von Überbelegung und Pufferüberläufen zu vermeiden, wird auf dem Nexus 2232 standardmäßig die HIF-Flusssteuerung gesendet:

esc-6001# show run int ethernet 147/1/1 all | inc flow

priority-flow-control mode auto

flowcontrol receive off

flowcontrol send on

esc-6001# show interface ethernet 147/1/1 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 0

Ursachen für TX-Pause auf Nexus 2232

Wenn der XOFF-Grenzwert von 126720 Byte erreicht wird, sendet der Nexus 2232 eine TX-Pause an den Host im HIF. Häufige Ursachen hierfür sind:

1. H2N-Datenverkehr, der in den FEX eingeht, ist sehr sprunghaft, sodass die Eingangspuffer voll gefüllt sind und den XOFF-Grenzwert erreichen.

2. Die meisten FEX-Bereitstellungen nutzen Port-Channels, um mehrere NIFs zu aggregieren. TX Pause wird auch aufgrund von Eingangspuffern beobachtet, die aufgrund von Etherchannel-Hash-Kollisionen auf FEX voll werden. Dies geschieht, wenn mehrere HIF-Ports aufgrund von Etherchannel-Ergebnissen versuchen, aus einer einzigen NIF auszusteigen.

geht in H2N-Richtung

Um Paketverluste zu vermeiden, wird die TX-Pause gesendet, sobald der XOFF-Grenzwert erreicht ist. Allerdings kann der H2N-Datenverkehr verworfen werden, wenn:

1. die Server keine Pause einlegen oder

2. verzögern Sie, die Pause einzuhalten, die zur Überschreitung der 151 KB-Drop-Schwellenwerte führt.

Labortestfälle

Netzwerkdiagramm

Für diesen Test in der Übung gibt es vier 10G-Spirent-Ports, die als Hosts fungieren, zwei auf dem FEX und zwei auf dem übergeordneten Nexus 6001. Alle Ports befinden sich im VLAN 50. Auf dem FEX oder dem übergeordneten Switch ist kein anderer Port aktiv:

esc-6001# show port-channel summary

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

S - Switched    R - Routed

U - Up (port-channel)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)

Eth1/44(P)   Eth1/45(P)   Eth1/46(P)

Eth1/47(P)   Eth1/48(P)

esc-6001# show fex 147 detail | exc Down

FEX: 147 Description: FEX0147   state: Online

FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]

FEX Interim version: 7.1(1)N1(1)

Switch Interim version: 7.1(1)N1(1)

Extender Serial: FOT1635R003

Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05

Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64

Module Sw Gen: 21  [Switch Sw Gen: 21]

post level: complete

Pinning-mode: static    Max-links: 1

Fabric port for control traffic: Eth1/47

FCoE Admin: false

FCoE Oper: true

FCoE FEX AA Configured: false

Fabric interface state:

Po147 - Interface Up. State: Active

Eth1/41 - Interface Up. State: Active

Eth1/42 - Interface Up. State: Active

Eth1/43 - Interface Up. State: Active

Eth1/44 - Interface Up. State: Active

Eth1/45 - Interface Up. State: Active

Eth1/46 - Interface Up. State: Active

Eth1/47 - Interface Up. State: Active

Eth1/48 - Interface Up. State: Active

Fex Port        State  Fabric Port

Eth147/1/1    Up       Po147

Eth147/1/9    Up       Po147

Logs:

04/21/2015 21:58:30.162193: Module register received

04/21/2015 21:58:30.164611: Registration response sent

04/21/2015 21:58:30.196708: create module inserted event.

04/21/2015 21:58:30.197425: Module Online Sequence

04/21/2015 21:58:35.051474: Module Online

Test 1. Burst-Datenverkehr mit Flusssteuerung auf Host nicht aktiviert

Wenn Sie Unicast-Bursts mit einer Leitungsgeschwindigkeit von 100.000 Byte vom Host auf Eth147/1/1(zu Eth1/16) und Eth147/1/9(do Eth1/32) senden. Jeder Stream ist ein einzelner Fluss. Flusssteuerung ist auf Host (Spirent) deaktiviert.

Ergebnisse: Die Receiver-Ports meldeten etwa 563 Pakete, die für jeden Flow verworfen wurden. Da die Flow-Steuerung auf dem Host deaktiviert ist, können Sie viel mehr TX-Pause und eine hohe Latenz (etwa 100 Mikrosekunden) sehen:

esc-6001# clear counters ; clear qos stat

esc-6001#

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast

Ethernet147/1/1 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  578269 multicast packets  0 broadcast packets

578267 Tx pause

Ethernet147/1/9 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  578275 multicast packets  0 broadcast packets

578273 Tx pause

esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 578267

Eth147/1/9   on       on       off      off         0                 578273

Die vom Empfänger gemeldeten Verwerfungen werden auf dem FEX selbst verworfen. Es gibt interne Hardwarebefehle, die die Verwerfen anzeigen können. Sie müssen jedoch die interne FEX-Architektur, die nicht in diesem Dokument enthalten ist, vollständig verstehen. Wenn Sie diese Zähler überprüfen müssen, wenden Sie sich an das TAC für diesen Aspekt der Fehlerbehebung.

Test 2. Burst-Datenverkehr mit Flusssteuerung auf Host aktiviert

Wenn Sie Unicast-Bursts mit einem Durchsatz von 100.000 1500 Byte vom Host auf Eth147/1/1(zu Eth1/16) und Eth147/1/9(Do Eth1/32) senden. Jeder Stream ist ein einzelner Fluss. Flusssteuerung ist auf Host (Spirent) aktiviert.

Ergebnisse:

Die Receiver-Ports melden keinen Verlust. Minimale TX-Pause und durchschnittliche Latenz liegt bei etwa 19 Mikrosekunden:

esc-6001# clear counters ; clear qos stat

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast

Ethernet147/1/1 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  4743 multicast packets  0 broadcast packets

4739 Tx pause

Ethernet147/1/9 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  4703 multicast packets  0 broadcast packets

4700 Tx pause

esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 4739

Eth147/1/9   on       on       off      off         0                 4700

Verlusten:

Da der Host die vom FEX gesendete Flusskontrolle berücksichtigt, gibt es keine Verwerfungen.

Test 3. EtherChannel-Hash-Kollision

Der Uplink zwischen FEX und dem übergeordneten Port ist ein Port-Channel. Es hängt zwar davon ab, welches Mitglied im Port-Channel ausgewählt ist und wie beschäftigt er ist, aber auf den FEX-HIFs ist "TX Pause" zu sehen. Im Labor sind nur zwei Ports am FEX aktiv, und alle acht Uplinks werden im Port-Channel verwendet.

Bei diesem Test wird der Datenverkehr vom Host über Ethernet 147/1/1 und Ethernet 147/1/9 mit Standard-Hashing jedoch auf NIF0 gehasht, das mit Eth1/41 auf dem 6001 verbunden ist. Wenn Sie 98 % Datenverkehr mit Leitungsgeschwindigkeit von den Hosts senden, wird auf beiden HIFs eine TX-Pause gesendet.

Für diesen Test ist die Flusssteuerung auf den Hosts deaktiviert:

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause

Ethernet147/1/1 is up

30 seconds input rate 9836009128 bits/sec, 819667 packets/sec

30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec

input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps

0 Rx pause

98376923 Tx pause

Ethernet147/1/9 is up

30 seconds input rate 9836252112 bits/sec, 819687 packets/sec

30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec

input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps

0 Rx pause

98376916 Tx pause

esc-6001# show port-channel traffic interface port-channel 147

ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst

------ --------- ------- ------- ------- ------- ------- -------

147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%

147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%

esc-6001# attach fex 147

Attaching to FEX 147 ...

To exit type 'exit', to abort type '$.'

fex-147# dbgexec w

woo> rate

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |

|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |

| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |

| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |

| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |

| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Verlusten:

Es gibt Verwerfungen, da der Host nicht für die Flusssteuerung konfiguriert ist.

Wenn die Flusssteuerung auf den Hosts aktiviert ist, halten die Hosts an und drosseln folgende Punkte:

esc-6001# clear counters ; clear qos stat

esc-6001#

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause

Ethernet147/1/1 is up

30 seconds input rate 4926871976 bits/sec, 410572 packets/sec

30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec

input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps

0 Rx pause

88129183 Tx pause

Ethernet147/1/9 is up

30 seconds input rate 4924820632 bits/sec, 410401 packets/sec

30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec

input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps

0 Rx pause

88069874 Tx pause

esc-6001# show port-channel traffic interface port-channel 147

ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst

------ --------- ------- ------- ------- ------- ------- -------

147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%

147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%

esc-6001# attach fex 147

Attaching to FEX 147 ...

To exit type 'exit', to abort type '$.'

fex-147# dbgexec w

woo> rate

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |

|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |

| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |

| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |

| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |

| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Problembehebung

Standardmäßig basiert der FEX-Lastenausgleich für IP-Datenverkehr auf der Quell-Ziel-MAC/IP. Ändern Sie bei solchen Problemen den Hash-Algorithmus, um eine bessere Verteilung des Datenverkehrs über den Fabric-Port-Channel zu erreichen. Verwenden Sie diese Methode, wenn ungleiche Lastverteilung auftritt. Diese Option ist keine absolute Lösung:

esc-6001# show port-channel load-balance

Port Channel Load-Balancing Configuration:

System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:

Non-IP: source-dest-mac

IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t

Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?

destination-ip         Destination IP address

destination-mac        Destination MAC address

destination-port       Destination TCP/UDP port

source-dest-ip         Source & Destination IP address (includes l2)

source-dest-ip-only    Source & Destination IP addresses only

source-dest-mac        Source & Destination MAC address

source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)

source-dest-port-only  Source & Destination TCP/UDP port only

source-ip              Source IP address

source-mac             Source MAC address

source-port            Source TCP/UDP port

Schlussfolgerungen und Best Practices

1. TX Pause ist ein normaler Betriebsmechanismus, um Paketverluste in 2232/2248UPQ/B22 FEX zu vermeiden.

2. Maximale Anzahl an Uplinks zwischen 2232/2248UPQ/B22 FEX und übergeordneten Uplinks Damit mehr Pfade zum Netzwerk vorhanden sind und außerdem maximale Puffer für N2H-Datenverkehr vorhanden sein können.

3. Wenn Uplinks zwischen FEX und übergeordnet verwendet werden und nicht gleichmäßig genutzt werden, kann die Änderung des Port-Channel-Hashing hilfreich sein.

4. Da auf FEX kein lokales Switching erfolgt, sollten auf Hosts auf FEX keine Ost-West-Datenverkehrsflussprofile vorhanden sein.

5. Vermeiden Sie Burst-Appliances wie NAS-Geräte, Blade-Chassis auf FEXes. Diese müssen sich im übergeordneten Element befinden.

6. Neuerer 2348UPQ FEX mit 32 Mio. gemeinsamem Puffer mit 1 MB gemeinsamem Puffer pro HIF für H2N-Datenverkehr für eine bessere Burst-Absorption. Bei 40G-NIF-Uplinks werden zudem die Wahrscheinlichkeit von Hash-Kollisionen/Uplink-Überlastungen deutlich reduziert.