Fehlerbehebung für verworfene Ausgangspakete auf Switches der Catalyst 9000-Serie

Einleitung

In diesem Dokument wird die Fehlerbehebung bei verworfenen Ausgabepaketen auf Plattformen der Catalyst 9000-Serie beschrieben.

Voraussetzungen

Anforderungen

Um eine Fehlerbehebung für Quality of Service (QoS) auf den Plattformen der Catalyst Serie 9000 durchzuführen, müssen Sie Folgendes verstehen:

• Standard-QoS-Konzepte
• Modulare QoS-Kommandozeile

Verwendete Komponenten

Die Informationen in diesem Dokument basieren auf dieser Hardware- und Softwareversion. Die Methodik und die meisten Befehle können jedoch auf andere Catalyst Switches der Serie 9000 mit anderem Code angewendet werden:

• Cisco Catalyst Serie 9300
• Cisco IOS® XE 16.12.3

Anmerkung: Die Befehle, um diese Funktionen auf anderen Cisco Plattformen zu aktivieren, finden Sie im entsprechenden Konfigurationsleitfaden.

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen. 

Hintergrundinformationen

Eine ausführliche Erläuterung der QoS auf Plattformen der Catalyst Serie 9000, einschließlich Standard-QoS-Konfigurationen, Warteschlangenstruktur und Puffererklärungen, finden Sie im Catalyst 9000 QoS and Queueing White Paper. Lesen Sie die empfohlene Versionshandbücher, um sicherzustellen, dass Sie die für Ihre Plattform empfohlene Software verwenden. Diese Empfehlungen stellen sicher, dass Ihre Software unterstützt wird und helfen, bekannte Fehler in älteren Codes zu vermeiden. Empfohlene Versionen für Catalysts

Was sind Output Drops?

Die Kenntnis der Pufferzuweisung kann Ihnen helfen zu verstehen, wie eine Pufferüberlastung zu Ausgabeverringerungen führt. Eine Überlastung tritt auf, wenn die Zielschnittstelle über eine Anzahl von Paketen verfügt, die ihre Ausgaberate überschreiten. Diese Pakete müssen im Puffer gespeichert werden, bis sie übertragen werden können. Beachten Sie, dass diese Switches über höchstens 36 MB Puffer pro ASIC verfügen, die dann von allen Ports des ASIC gemeinsam genutzt werden. Eine Ausgangsschnittstelle kann diesen Puffer zwar mit Leitungsgeschwindigkeit leeren, aber jedes Szenario, bei dem Pakete mit einer höheren Geschwindigkeit gepuffert werden, kann eine Überlastung verursachen. Eine Überlastung kann selbst dann auftreten, wenn dieser Datenverkehr-Burst nur Bruchteile einer Sekunde andauert und zu Latenz im Datenverkehr führen kann. Andernfalls wird die Ausgabe unterbrochen, wenn dieser Puffer vollständig gefüllt ist.

Hinweis: Der in show interface angezeigte Zähler für das Verwerfen von Ausgaben wird standardmäßig in Byte angezeigt. In Version 16.9.3 und höher sind diese Zähler standardmäßig Pakete.

Arten von Überlastung

Wie in Abbildung 1 gezeigt, gibt es zwei Arten von Überlastung.

Abbildung 1: Arten von Überlastungen

In Abbildung 1 sind die beiden folgenden Überlastungsarten dargestellt:

• Viele-zu-Eins: Wenn mehrere Quell-Ports Datenverkehr gleichzeitig an ein einzelnes Ziel senden, kann es zu einer Überlastung des Ziel-Ports kommen, wenn dieser die Datenmenge von mehreren Quellen empfängt.

• Geschwindigkeitsungleichheit: Wenn ein Port mit höherer Geschwindigkeit an einen Port mit niedrigerer Geschwindigkeit (z. B. 10 Gbit/s bis 1 Gbit/s) überträgt, muss es einige Zeit dauern, bis die Pakete den Ausgangsport verlassen. Dies kann zu Verzögerungen und/oder Paketverlusten führen.

Überlastung bei geringem Durchsatz

Datenverkehrsspitzen können zu einer Verminderung der Ausgabe führen, selbst wenn die Ausgaberate der Schnittstelle deutlich unter der maximalen Schnittstellenkapazität liegt. Standardmäßig werden die Ausgaberaten im Befehl show interface über fünf Minuten gemittelt. Dies reicht nicht aus, um kurzlebige Bursts zu erfassen. Es ist am besten, sie über 30 Sekunden zu durchschnittlich, obwohl selbst in diesem Szenario ein Burst von Verkehr für Millisekunden könnte dazu führen, dass die Ausgabe Drop, die nicht die 30 Sekunden durchschnittliche Rate zu erhöhen. Dieses Dokument kann zur Fehlerbehebung bei allen anderen Überlastungsarten verwendet werden, die bei Switches der Serie Catalyst 9000 auftreten.

Pufferüberlastung überprüfen

Es gibt zwei Befehle, mit denen die Überlastung des Puffers überprüft wird. Der erste Befehl lautet show platform hardware fed switch active qos queue config interface <Schnittstelle>. Mit diesem Befehl können Sie die aktuelle Pufferzuweisung am Port anzeigen, wie in Abbildung 2 dargestellt.

9300#show platform hardware fed switch active qos queue config interface gigabitEthernet 1/0/48
Asic:0 Core:0 DATA Port:47 GPN:48 LinkSpeed:0x1
AFD:Disabled FlatAFD:Disabled QoSMap:0 HW Queues: 376 - 383
  DrainFast:Disabled PortSoftStart:2 - 1800
   DTS  Hardmax  Softmax   PortSMin  GlblSMin  PortStEnd
  ----- --------  --------  --------  --------  ---------
 0   1  6   200   7   800  19   475   0     0   3  2400
 1   1  5     0   8  1200  19   712   8   300   3  2400
 2   1  5     0   6     0   0     0   0     0   3  2400
 3   1  5     0   6     0   0     0   0     0   3  2400
 4   1  5     0   6     0   0     0   0     0   3  2400
 5   1  5     0   6     0   0     0   0     0   3  2400
 6   1  5     0   6     0   0     0   0     0   3  2400
 7   1  5     0   6     0   0     0   0     0   3  2400

Image 2.  Warteschlangenpufferzuweisung

Schauen Sie sich speziell die Spalten Hardmax und Softmax an, in denen die Anzahl der verfügbaren Puffer für die Warteschlangen angezeigt wird. Weitere Informationen zu diesen Puffern und ihrer standardmäßigen Zuweisung finden Sie im Whitepaper Catalyst 9000 QoS and Queueing.

Der zweite Befehl ist show platform hardware fed switch active qos queue stats interface <Schnittstelle>. Mit diesem Befehl können Sie Statistiken für jede Warteschlange auf einer Schnittstelle anzeigen, die angeben, wie viele Bytes in die Warteschlange eingereiht wurden und wie viele Bytes aufgrund fehlender verfügbarer Puffer verworfen wurden.

9300#show platform hardware fed switch active qos queue stats interface Gig 1/0/1
DATA Port:0 Enqueue Counters
---------------------------------------------------------------------------------------------
Q Buffers          Enqueue-TH0          Enqueue-TH1          Enqueue-TH2             Qpolicer
  (Count)              (Bytes)              (Bytes)              (Bytes)              (Bytes)
- ------- -------------------- -------------------- -------------------- --------------------
0       0                    0                    0            384251797                    0
1       0                    0                    0         488393930284                    0
2       0                    0                    0                    0                    0
3       0                    0                    0                    0                    0
4       0                    0                    0                    0                    0
5       0                    0                    0                    0                    0
6       0                    0                    0                    0                    0
7       0                    0                    0                    0                    0

DATA Port:0 Drop Counters
-------------------------------------------------------------------------------------------------------------------------------
Q             Drop-TH0             Drop-TH1             Drop-TH2             SBufDrop              QebDrop         QpolicerDrop
               (Bytes)              (Bytes)              (Bytes)              (Bytes)              (Bytes)              (Bytes)
- -------------------- -------------------- -------------------- -------------------- -------------------- --------------------
0                    0                    0                    0                    0                    0                    0
1                    0                    0            192308101                    0                    0                    0
2                    0                    0                    0                    0                    0                    0
3                    0                    0                    0                    0                    0                    0
4                    0                    0                    0                    0                    0                    0
5                    0                    0                    0                    0                    0                    0
6                    0                    0                    0                    0                    0                    0
7                    0                    0                    0                    0                    0                    0

Bild 3. Warteschlangenpufferstatistik mit Verlusten

Wie in Abbildung 3 gezeigt, befinden sich in Warteschlange 0 und Warteschlange 1 Bytes in der Warteschlange, aber es ist Warteschlange 1, bei der Verluste in der Spalte Drop-TH2 auftreten. Diese Informationen weisen darauf hin, dass der Datenverkehr der Warteschlange 0 von dieser Überlastung nicht betroffen ist und dass die Überlastung vor allem durch Datenverkehr der Warteschlange 1 verursacht wird.

Ändern von Puffern zum Auflösen von Ausgabeverwerfungen

SoftMax-Multiplikator

Um die Anzahl der Puffer zu erhöhen, die jede Warteschlange vom gemeinsamen Pool anfordern kann, erhöhen Sie den SoftMax-Schwellenwert mit dem Konfigurations-QoS-Warteschlangen-Softmax-Multiplikator <100 - 1200>. Der höchste Wert ist 1200, und er erhöht die Fähigkeit einer einzelnen Port-Warteschlange, Mikro-Bursts zu absorbieren. Mit diesem Befehl werden die Schwellenwerte für Portwarteschlangen erhöht, sodass die Portwarteschlange zusätzliche Puffereinheiten aus dem gemeinsamen Pool nutzen kann. Wie in Abbildung 4 gezeigt, Konfiguration und die erhöhte Pufferzuweisung.

9300(config)#qos queue-softmax-multiplier 1200

9300#show platform hardware fed switch active qos queue config interface gigabitEthernet 1/0/48
Asic:0 Core:0 DATA Port:47 GPN:48 LinkSpeed:0x1
AFD:Disabled FlatAFD:Disabled QoSMap:0 HW Queues: 376 - 383
  DrainFast:Disabled PortSoftStart:3 - 14400
   DTS  Hardmax  Softmax   PortSMin  GlblSMin  PortStEnd
  ----- --------  --------  --------  --------  ---------
 0   1  6   200   9  9600   2   600   0     0   1 15000
 1   1  5     0  10 14400   2   900   1   450   1 15000
 2   1  5     0   6     0   0     0   0     0   1 15000
 3   1  5     0   6     0   0     0   0     0   1 15000
 4   1  5     0   6     0   0     0   0     0   1 15000
 5   1  5     0   6     0   0     0   0     0   1 15000
 6   1  5     0   6     0   0     0   0     0   1 15000
 7   1  5     0   6     0   0     0   0     0   1 15000

Bild 4. Warteschlangenkonfiguration mit SoftMax-Multiplikator von 1200

Hierbei handelt es sich um eine allgemeine Konfiguration, die als schnelle Methode zum Auflösen von Ausgabeverwerfungen verwendet wird. In Image 4 gilt diese Konfiguration für alle Nicht-Prioritätswarteschlangen über alle Schnittstellen hinweg. Bei der Pufferzuweisung selbst wird davon ausgegangen, dass die Microbursts nicht an allen Ports gleichzeitig auf dem Switch auftreten. Wenn Mikro-Bursts in zufälligen Momenten auftreten, kann der gemeinsame Puffer zusätzliche Puffereinheiten reservieren, um sie zu absorbieren. 

Änderung des Puffers pro Warteschlange

Die Puffermodifikation pro Warteschlange kann für Szenarien verwendet werden, in denen der SoftMax-Multiplikator nicht verwendet werden kann, oder in Szenarien, in denen versucht wird, die Puffer auf ein Datenverkehrsprofil abzustimmen. Um die Warteschlangenpufferzuweisung für den Switch auf Schnittstellenbasis zu ändern, müssen Sie Richtlinienzuweisungen verwenden.  In den meisten Fällen ändern Sie die aktuelle Richtlinienzuordnung einer Schnittstelle und die Puffer auf Klassenbasis.

In diesem Beispiel hat die Schnittstelle GigabitEthernet1/0/48 Ausgabefehler festgestellt. Wie in Abbildung 5 dargestellt, wird auf diese Schnittstelle angewendete Ausgangs-Policy-Map verwendet. 

policy-map MYPOL
 class Voice
  priority level 1 percent 20
 class Video
  priority level 2 percent 10
 class Control
  bandwidth percent 10
 class Data
  bandwidth percent 5
 class class-default

Bild 5. Beispiel einer Richtlinienzuordnung

Diese Richtlinienzuordnung umfasst fünf Klassenzuordnungen, was zu insgesamt fünf Ausgangswarteschlangen an der Schnittstelle führt. Jeder Klasse ist eine Standardanzahl von Puffern zugewiesen, die auf ihrer Prioritätsebene basiert.

Abbildung 6 zeigt die aktuellen Pufferzuweisungen.

9300#show platform hardware fed switch active qos queue config interface gigabitEthernet 1/0/48
Asic:0 Core:0 DATA Port:47 GPN:48 LinkSpeed:0x1
AFD:Disabled FlatAFD:Disabled QoSMap:0 HW Queues: 376 - 383
  DrainFast:Disabled PortSoftStart:3 - 600
   DTS  Hardmax  Softmax   PortSMin  GlblSMin  PortStEnd
  ----- --------  --------  --------  --------  ---------
 0   1  7   100   9   100   0     0   0     0   3   800
 1   1  7   100  10   400  19   237   0     0   3   800
 2   1  5     0  10   400  19   237   8   100   3   800
 3   1  5     0  10   400  19   237   8   100   3   800
 4   1  5     0  10   400  19   237   8   100   3   800
 5   1  5     0   6     0   0     0   0     0   3   800
 6   1  5     0   6     0   0     0   0     0   3   800
 7   1  5     0   6     0   0     0   0     0   3   800

Abbildung 6: Warteschlangen-Pufferkonfiguration mit der Beispielrichtlinie

Da die Ausgabe dieser Schnittstelle verloren geht, sehen Sie sich die Warteschlangenstatistiken der Schnittstelle an, um festzustellen, wo die Überlastung liegt.

9300#show platform hardware fed switch active qos queue stats interface gigabitEthernet 1/0/48
DATA Port:0 Enqueue Counters
---------------------------------------------------------------------------------------------
Q Buffers          Enqueue-TH0          Enqueue-TH1          Enqueue-TH2             Qpolicer
  (Count)              (Bytes)              (Bytes)              (Bytes)              (Bytes)
- ------- -------------------- -------------------- -------------------- --------------------
0       0                    0                    0               489094                    0
1       0                    0                    0              4846845                    0
2       0                    0                    0             89498498                    0
3       0                    0                    0          21297827045                    0
4       0                    0                    0             74983184                    0
5       0                    0                    0                    0                    0
6       0                    0                    0                    0                    0
7       0                    0                    0                    0                    0

DATA Port:0 Drop Counters
-------------------------------------------------------------------------------------------------------------------------------
Q             Drop-TH0             Drop-TH1             Drop-TH2             SBufDrop              QebDrop         QpolicerDrop
               (Bytes)              (Bytes)              (Bytes)              (Bytes)              (Bytes)              (Bytes)
- -------------------- -------------------- -------------------- -------------------- -------------------- --------------------
0                    0                    0                    0                    0                    0                    0
1                    0                    0                    0                    0                    0                    0
2                    0                    0                    0                    0                    0                    0
3                    0                    0              3854484                    0                    0                    0
4                    0                    0                    0                    0                    0                    0
5                    0                    0                    0                    0                    0                    0
6                    0                    0                    0                    0                    0                    0
7                    0                    0                    0                    0                    0                    0

Abbildung 7: Warteschlangen-Pufferstatistiken mit Drops mit einer Beispielrichtlinie

Abbildung 7 zeigt, dass Warteschlange 3 mehr Datenverkehr in die Warteschlange gestellt hat als jede andere Warteschlange, und dass nur in dieser Warteschlange ein Datenverlust auftritt. Da die Warteschlangennummer bei 0 beginnt, wird Warteschlange 3 der vierten Klassenzuordnung, class Data, zugeordnet.

Weisen Sie der Warteschlange 3 weitere Puffer zu, um das Verwerfen dieser Warteschlange zu vermindern. Um diese Pufferzuweisung zu ändern, verwenden Sie die Konfiguration "queue-buffers ratio <0-100>" in der Richtlinienzuordnung. Wenn sie für jede Klasse in der Richtlinie konfiguriert ist, muss sie 100 ergeben. Wenn Sie mit diesem Befehl nur eine Klasse konfigurieren, versucht das System, Puffer gleichmäßig von den anderen Warteschlangen zu subtrahieren.

In Image 8 wurde die Data-Klasse mit dem Warteschlangenpufferverhältnis 40 konfiguriert.

policy-map MYPOL
class Voice
  priority level 1 percent 20
 class Video
  priority level 2 percent 10
 class Control
  bandwidth percent 10
 class Data
  bandwidth percent 5
  queue-buffers ratio 40

Abbildung 8: Beispiel-Richtlinienzuordnung mit geänderten Warteschlangenpuffern

In Image 9 sehen Sie, dass die Data-Klasse jetzt 40 % der Schnittstellenpuffer hat, insgesamt 800 Puffer.

9300#show platform hardware fed switch active qos queue config interface gigabitEthernet 1/0/48
Asic:0 Core:0 DATA Port:47 GPN:48 LinkSpeed:0x1
AFD:Disabled FlatAFD:Disabled QoSMap:0 HW Queues: 376 - 383
  DrainFast:Disabled PortSoftStart:3 - 1200
   DTS  Hardmax  Softmax   PortSMin  GlblSMin  PortStEnd
  ----- --------  --------  --------  --------  ---------
 0   1  7    75   9    75   0     0   0     0   3  1600
 1   1  7    75  10   300  19   178   0     0   3  1600
 2   1  5     0  10   300  19   178   8    75   3  1600
 3   1  5     0   7   800  19   475   8   200   3  1600
 4   1  5     0  10   300  19   178   8    75   3  1600
 5   1  5     0   6     0   0     0   0     0   3  1600
 6   1  5     0   6     0   0     0   0     0   3  1600
 7   1  5     0   6     0   0     0   0     0   3  1600

Abbildung 9: Warteschlangen-Pufferkonfiguration mit der aktualisierten Beispielrichtlinie

Dadurch verfügen die anderen Warteschlangen auch über weniger Softmax-Puffer. Es ist wichtig, diese Pufferänderungen in kleinen Schritten vorzunehmen, um sicherzustellen, dass die Änderungen nicht zu Ausgabeverlusten in den anderen Warteschlangen führen.

Wenn diese Änderung vorgenommen wurde, überprüfen Sie die Warteschlangenstatistiken und sehen Sie, ob die Löschvorgänge für diese oder eine andere Warteschlange noch inkrementiert werden. Wenn die Löschvorgänge fortgesetzt werden, ändern Sie die Warteschlangen-Puffer-Konfiguration weiter, bis die Ausgabelöschvorgänge behoben sind.

Alternative Methoden zur Bewältigung von Engpässen

QoS ist in erster Linie eine Methode zur Priorisierung des Datenverkehrs und keine Lösung für jedes Szenario eines verlorenen Ausgangs. Es gibt einige Szenarien, in denen eine Änderung der Warteschlangenpuffer nicht ausreicht, um alle Ausgabeverluste aufzulösen. In diesen Szenarien können Sie Engpässe auf verschiedene Weise managen:

• Reduzieren Sie die Überbelegungsquote.

Dazu gehören Methoden zur Erhöhung der Ausgangsbandbreite wie Port-Channels oder Equal Cost Multipath (ECMP), die jedoch auch aufwändigere Konfigurationen wie Traffic Engineering erfordern können.

• Priorisierung des Datenverkehrs mithilfe eines Warteschlangenplaners

Ein Warteschlangenplaner stoppt die Überlastung zwar nicht, schützt aber den wichtigen Datenverkehr vor den Auswirkungen, die diese Überlastung mit sich bringt.

• Verwenden Sie Engpassmanagementalgorithmen wie Weighted Random Early Discard (WRED) oder Weighted Tail Drop (WTD), um einen Teil des Datenverkehrs früher zu verwerfen.

• Überwachung des eingehenden Datenverkehrs, um den ausgehenden Datenverkehr zu reduzieren

Analyse von Ausgabetropfen mit Wireshark

Wireshark ist ein nützliches Tool zum Identifizieren von Datenverkehrsspitzen, die eine Überlastung des Puffers verursachen und zu Datenverlusten führen.  Wenn Sie eine Schnittstelle in Ausgangsrichtung SPAN-basiert betreiben, während es zu Datenverlusten kommt, kann Wireshark die Ausgaberate grafisch darstellen, um zu sehen, wann und von welchem Datenverkehr die Datenverluste ausgelöst wurden. Dies ist besonders nützlich, wenn Sie in Szenarien mit geringem Durchsatz Ausgabeverringerungen identifizieren.

E/A-Rate anzeigen

Wenn Sie Ihre SPAN-Aufzeichnung mit Wireshark geöffnet haben, wählen Sie Statistics (Statistik) und dann I/O Graph (E/A-Diagramm) aus, wie in Abbildung 10 dargestellt.    

Bild 10. Wählen Sie das E/A-Diagramm

Ist diese Option aktiviert, generiert Wireshark ein Diagramm des Datenverkehrs in Bits pro Sekunde. Abbildung 11 zeigt ein Beispiel-Diagramm für eine Schnittstelle, bei der es zu Ausgabeverringerungen kam.

Bild 11. E/A-Diagrammbits/Millisekunde

Der Graph von Bild 11 zeigt an, dass die Schnittstelle einen maximalen Durchsatz von kaum mehr als 80 Mbit/s hatte. Die Standardgraphenansicht ist nicht detailliert genug, um kleine Datenverkehrsspitzen zu identifizieren, die Paketverluste verursachen. Dies ist der Durchschnitt der Datenverkehrsrate pro Sekunde. Um zu verstehen, wie diese Rate eine Pufferüberlastung verursachen kann, berücksichtigen Sie den Durchsatz im Millisekundenbereich.

Eine Gigabit-Schnittstelle kann 1.000.000.000 Bits pro Sekunde weiterleiten. Nach der Konvertierung in Millisekunden entspricht dies 1.000.000 (oder 10^6) Bit pro Millisekunde.

Wenn die Schnittstellenrate die Weiterleitungsgeschwindigkeit der Schnittstelle übersteigt, müssen die Switches diese Pakete puffern, was zu Überlastungen und Ausgabeverringerungen führt.  

E/A-Rate in Millisekunden anzeigen

Wireshark ermöglicht es dem Benutzer, die E/A-Rate als Bit pro Millisekunde zu grafisch darzustellen. Reduzieren Sie dazu das Intervall von 1 Sek. auf 1 ms, und klicken Sie dann auf Zurücksetzen, um das Diagramm richtig anzuzeigen. Dieser Schritt wird in Abbildung 12 dargestellt.

Bild 12. Verringern Sie das Intervall auf 1 ms, und setzen Sie das Diagramm zurück.

Das aktualisierte Diagramm zeigt die tatsächliche E/A-Rate der Schnittstelle genauer an. Wenn die Rate 10^6 Bit pro Millisekunde erreicht oder überschreitet, kommt es zu einer Überlastung des Switches oder einer Unterbrechung der Ausgabe.  Abbildung 13 zeigt das aktualisierte E/A-Diagramm für eine Schnittstelle, bei der es zu Ausgabefehlern kam.

Bild 13. E/A-Diagrammbits/Millisekunde

Abbildung 13 zeigt, dass es mehrere Verkehrsspitzen gibt, die den Schwellenwert von 10^6 erreichen oder überschreiten. Der Datenverkehr wird gepuffert und verworfen, wenn die Größe des Ausgangspuffers überschritten wird.

Anmerkung: Wenn das SPAN-Ziel über eine 1-Gbit/s-Schnittstelle verbunden ist, darf die E/A-Rate in Wireshark diese 10^6 Bit pro Millisekunde nicht überschreiten, unabhängig von der Geschwindigkeit der Quellschnittstelle. Die SPAN-Zielschnittstelle puffert oder verwirft diese Pakete stattdessen. Es ist üblich, das E/A-Diagramm-Plateau bei diesem maximalen Durchsatz anzuzeigen oder eine durchschnittliche Datenverkehrsrate anzuzeigen, die anscheinend höher liegt.