besseres Verständnis der Hardwareressourcen von Catalyst Switches der Serie 9000

Einleitung

In diesem Dokument wird beschrieben, wie Sie die Hardwareressourcen der Catalyst Switches der Serie 9000 verstehen und Fehler bei diesen beheben.

Voraussetzungen

Anforderungen

Es gibt keine spezifischen Anforderungen für dieses Dokument.

Verwendete Komponenten

Die Informationen in diesem Dokument basierend auf folgenden Software- und Hardware-Versionen:

• Cisco Catalyst Switches der Serien 9200, 9300, 9400, 9500 (nicht HP) mit Cisco IOS® XE 16.x und 17.x
• Cisco Catalyst Switches der Serien 9500HP und 9600 mit Cisco IOS® XE 16.x und 17.x 

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Hintergrundinformationen

• Verschiedene Funktionen der Catalyst Switches der Serie 9000 nutzen nur begrenzte Hardwareressourcen. Diese Ressourcen beschleunigen die Leistung dieser Funktionen und ermöglichen die erwarteten hohen Weiterleitungsraten, die von einem Switch erwartet werden.
• Die Größe dieser Tabellen kann von Switch-Modell zu Switch-Modell variieren, die grundlegende Fehlerbehebungsmethodik bleibt jedoch dieselbe.
• Im Allgemeinen wird die primäre begrenzte Hardwareressource im LAN-Switching als TCAM bezeichnet (TCAM ist eine Speichertechnologie, die besonders geeignet ist, LPM-Informationen (Longest Prefix Match) für eine schnelle Suche oder andere Arten von OR-Logik-Suchvorgängen zu speichern).
• Bei Catalyst Switches der Serie 9000 werden neben dem TCAM mehrere Speichertypen verwendet, die auf die spezifischen Anforderungen einer bestimmten Funktion zugeschnitten sind (HASH ist ein weiterer Typ von vereinfachtem Speicher). Die MAC-Adresstabelle ist ein Beispiel für diesen Speichertyp.)

Wenn Sie eine Fehlerbehebung für eine Funktion durchführen, die nicht wie erwartet funktioniert, ist es ein guter Ausgangspunkt, zu überprüfen, ob die Hardware nicht größer ist als der Umfang des betreffenden Switches. Auch wenn die Größe dieser Tabellen bei Switches variieren kann, bleibt die Methodik zur Überprüfung und Fehlerbehebung größtenteils dieselbe.

Hinweis: Diese Seite ist auch eine Referenzseite, auf der Sie Informationen zu verschiedenen Funktionen und zur Überprüfung der Hardware-Skalierung finden. 

Anmerkung: Die Kommandozeile kann plattformübergreifend den Begriff "Switch" enthalten, nicht jedoch diesen Begriff. (Plattformhardware-Feed anzeigen <Nummer|aktiv|Standby> fwd-asic-Ressourcennutzung tcam-Nutzung im Vergleich zu show plattformhardware-Feed <aktiv> fwd-asic-Ressourcennutzung tcam 

Terminologie

ASIC-Versionsinformationen (UADP 2.0 und 3.0)

Der Hauptunterschied zwischen den Versionen 2.0 und 3.0 der Catalyst ASICs der Serie 9000 besteht darin, wie die FIB-Hardware bestückt oder verwendet wird. 

In UADP 3.0 wird der Speicher EM/LPM verwendet:

• Host-Routen (/32 Maskenlänge) und direkt verbunden (an ARP angrenzend) 
• /31 oder kürzere Präfixe (wobei ein Maskenvergleich erforderlich ist, um eine Vorwärtsentscheidung zu treffen). 

In UADP 3.0 TCAM existiert sie weiterhin für FIB, wird aber nur für Sonderfälle oder Ausnahmen verwendet, bei denen EM/LPM nicht verwendet werden kann. 

• Ein Beispiel hierfür wäre, wenn der IP-Adressraum nicht zusammenhängend ist oder mehrere Adressräume verwendet werden und eine Zusammenführung in EM/LPM nicht möglich ist. 

In UADP 2.0 ist der Speicher in zwei Abschnitte EM und TCAM unterteilt:

• EM wird für /32-Host-Routen und direkt verbundene (ARP-benachbarte) Hosts verwendet.
• TCAM wird für /31-Präfixe oder kürzere Präfixe verwendet, bei denen ein Präfixmaskenvergleich erforderlich ist.

Vergleichen Sie diese Ausgaben zwischen den beiden ASIC-Typen:

In diesem Beispiel bietet der 9500-12Q erheblich mehr TCAM-Speicherplatz. Aber der 9500-48Y4C (9500H) hat eine noch größere Skala von EM/LPM.

• LPM - dieselbe Logik gilt für den TCAM des 9500-12Q, wird jedoch nicht explizit genannt.
• Das EM/LPM auf 9500H gibt an, dass dieser gemeinsam genutzte Speicherplatz sowohl für EM- (Exact Match) als auch LPM-Einträge (prefix-based) verwendet wird. Das System verwendet ein optimiertes Speichersystem, um sowohl Skalierbarkeit als auch Leistung und Flexibilität zu erzielen. 
• Der deutlich reduzierte TCAM auf 9500H dient zum Speichern von Sondereinträgen, insbesondere Hash-Kollisionen (wenn für einen bestimmten Eintrag kein eindeutiger Hash generiert werden kann). 

9500-48Y4C (9500H / Hohe Leistung - UADP 3.0-basierter Switch)

Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable                

CAM Utilization for ASIC [0]                                                                             
Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other
------------------------------------------------------------------------------------------------------
IP Route Table         EM/LPM       I      212992        3    0.01%        2        0       1        0  <-- LPM matches now stored here 
IP Route Table         TCAM         I        1536       15    0.02%        6        6       2        1  <-- Used for exception cases

9500-12Q (UADP 2.0-basierter Switch)

Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable                

CAM Utilization for ASIC [0]                                                                             
Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other   
------------------------------------------------------------------------------------------------------
IP Route Table         EM           I        49152        3    0.01%        2        0       1        0  
IP Route Table         TCAM         I        65536       15    0.02%        6        6       2        1  <-- LPM matches are stored here in 2.0

Anmerkung: Weitere Informationen zur UADP-Architektur finden Sie im Whitepaper zur Cisco Catalyst 9500-Architektur

Allgemeine Hardware-Validierungsbefehle

Diese Befehle zeigen allgemeine Nutzungsstatistiken für verwendete Hash-, TCAM-, Schnittstellen- und Rewrite-Ressourcen an.

• Diese Ressourcen sind miteinander verknüpft, und die Erschöpfung einer abhängigen Ressource kann sich auf die Fähigkeit auswirken, andere verfügbare Ressourcen vollständig zu nutzen. 
• Änderungen an den Ausgaben dieser Befehle in 17.x Train erleichtern das Lesen von Hardware und die Diagnose bestimmter Probleme erheblich.

Beispiel: Ein Switch kann über einen verfügbaren Hash/TCAM verfügen, Adjacency kann jedoch ausgehen.

• Die Paketweiterleitung kann sich auf ein bestimmtes Zielpräfix auswirken, da die Hardware FIB nicht programmieren kann, aber kein neuer Eintrag zum Umschreiben programmiert werden kann. 

show platform hardware fed  active fwd-asic resource tcam utilization    <-- Hash & TCAM
show platform hardware fed  active fwd-asic resource utilization         <-- SI/RI/DI/etc (other related resources)
show platform hardware fed  active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ###
New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4
show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Allgemeine Hardware-Validierungsbefehle für Cisco IOS XE 17.x

show platform hardware feed active fwd-asic resource tcam usage ist der erste Ort, an dem Sie prüfen möchten, ob Sie ein Problem mit der Hardware-Skalierung haben. (Es zeigt Informationen auf ASIC-Basis an.)

Codes:

• EM - Exact_Match <— Weitere Informationen zur Definition in der Terminologietabelle 
• I - Input, O - Output, I - Input und Output, <— Wenn die Ressource in eine bestimmte Richtung weist, wird darauf hingewiesen 
• NA - Nicht zutreffend <— Wenn die Richtung nicht zutreffend ist 

Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable                 <-- Key for table abbreviations 

CAM Utilization for ASIC [0]                                                                             <-- Content Addressable Memory for ASIC 0 
Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other   <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table      EM           I        65536       18    0.03%        0        0       0       18
Mac Address Table      TCAM         I         1024       21    2.05%        0        0       0       21
L3 Multicast           EM           I        16384        0    0.00%        0        0       0        0
L3 Multicast           TCAM         I         1024        9    0.88%        3        6       0        0
L2 Multicast           EM           I        16384        0    0.00%        0        0       0        0
L2 Multicast           TCAM         I         1024       11    1.07%        3        8       0        0
IP Route Table         EM           I        49152        3    0.01%        2        0       1        0  <-- Data from RIB/FIB populated here
IP Route Table         TCAM         I        65536       15    0.02%        6        6       2        1  <-- Data from RIB/FIB populated here
QOS ACL                TCAM         IO       18432       85    0.46%       28       38       0       19
Security ACL           TCAM         IO       18432      129    0.70%       26       58       0       45
Netflow ACL            TCAM         I         1024        6    0.59%        2        2       0        2
PBR ACL                TCAM         I         2048       22    1.07%       16        6       0        0  <-- Data for PBR & NAT populated here  
Netflow ACL            TCAM         O         2048        6    0.29%        2        2       0        2
Flow SPAN ACL          TCAM         IO        1024       13    1.27%        3        6       0        4
Control Plane          TCAM         I          512      276   53.91%      126      106       0       44
Tunnel Termination     TCAM         I         1024       18    1.76%        8       10       0        0
Lisp Inst Mapping      TCAM         I         2048        1    0.05%        0        0       0        1
Security Association   TCAM         I          512        4    0.78%        2        2       0        0
CTS Cell Matrix/VPN
Label                  EM           O         8192        0    0.00%        0        0       0        0  <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label                  TCAM         O          512        1    0.20%        0        0       0        1
Client Table           EM           I         4096        0    0.00%        0        0       0        0
Client Table           TCAM         I          256        0    0.00%        0        0       0        0
Input Group            LE TCAM      I         1024        0    0.00%        0        0       0        0
Output Group           LE TCAM      O         1024        0    0.00%        0        0       0        0
Macsec SPD             TCAM         I         1024        2    0.20%        0        0       0        2
CAM Utilization for ASIC [1]

<...snip...>

Wenn die Hardware-Skalierung über den Befehl show platform hardware fed active fwd-asic resource tcam usage okay aussieht, überprüfen Sie andere abhängige Ressourcen 

Anmerkung: Es gibt viele gemeinsam genutzte Ressourcen. Dies sind nur einige Beispiele, die häufig verwendet werden. (Diese Tabellendarstellung ändert sich nicht zwischen 16.x und 17.x) 

Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name           Allocated     Free  <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI                      61       41805  <-- DI = Destination Index
RSC_RI                       3       57317  <-- RI = Rewrite Index
RSC_RI_REP                  10       49143  <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI                     519       64849  <-- SI = Station Index 
<...snip...>

Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data                        Allocated     Free    <-- Rewrite specific hardware resources
-------------------------------------------------------
PHF_EGRESS_destMacAddress                 0       32000   <-- Destination MAC (Layer 3 next hop MAC rewrite)
IPV4_TUNNEL_SRC_IP_ADDR                   0          16   <-- IPv4 Tunnel Source IP 
IPV4_TUNNEL_DEST_IP_ADDR                  0         256   <-- IPv4 Tunnel Destination IP 
IPV4_GRE_TUNNEL_DEST_IP_ADDR              0        1024   <-- GRE specific tunnel Destination IP 
GRE_HEADER                                0         684  
GRE_KEY                                   0         684   <-- GRE keys
NAT_L3_DEST_IPV4                          0        7168   <-- NAT Layer 3 IPv4 Destination 
NAT_DST_PORT_UNICAST                      0        8192   <-- NAT Destination Ports
NAT_L3_SRC_IPV4                           0        8192   <-- NAT Layer 3 IPv4 Source
NAT_SRC_PORT_UNICAST                      0        8192   <-- NAT Source Ports
<...snip...> 

Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0]                                          <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name                     Allocated        Free              Usage%     <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI                                   3                57317               0.01     <-- RI = Rewrite Index
RSC_SI                                   519              64849               0.79     <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features 

Rewrite Data                             Allocated        Free              Usage%     <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress                0                32000               0.00     <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address

CAM Table Utilization Info               Allocated        Free              Usage%     <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network                   0/ 0            0/32768    0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)

Anmerkung: Der ASIC 9500H und 9600 bietet die Möglichkeit, eine kürzere Präfixmaske im Hash-Speicher (als EM/LPM bezeichnet) als TCAM zu speichern. Weitere Informationen finden Sie im IPv4-spezifischen Szenario. 

Allgemeine Hardware-Validierungsbefehle für Cisco IOS XE 16.x

show platform hardware feed active fwd-asic resource tcam usage ist der erste Ort, an dem Sie prüfen möchten, ob Sie ein Problem mit der Hardware-Skalierung haben. (Es zeigt Informationen auf ASIC-Basis an.) Sie können sehen, dass in 16.x Train die Ausgabe weniger granular ist, und einige der Beschreibungen variieren. 

In den meisten Fällen ist die Tabellenliste mit einigen Ausnahmen klar:

• Direkt oder indirekt verbundene Routen. Dies musste verbessert werden, da nicht klar war, ob dies direkt für benachbarte ARP-Routen UND /32-Host-Routen steht. Indirekt bedeutet jede Route /31 oder kürzer
• Richtlinienbasierte Routing-ACEs enthalten NAT-bezogene Konfigurationen. Bedenken Sie dies, wenn NAT ein wichtiges Merkmal darstellt.

Switch#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC  [0]
 Table                                              Max Values        Used Values
 --------------------------------------------------------------------------------
 Unicast MAC addresses                               32768/1024        19/21
 L3 Multicast entries                                 8192/512          0/9
 L2 Multicast entries                                 8192/512          0/11
 Directly or indirectly connected routes             24576/8192         3/19 <-- First value 24576 = EM / Second value 8192 = TCAM 
 QoS Access Control Entries                           5120             85
 Security Access Control Entries                      5120            126
 Ingress Netflow ACEs                                  256              8
 Policy Based Routing ACEs                            1024             22
 Egress Netflow ACEs                                   768              8
 Flow SPAN ACEs                                       1024             13
 Control Plane Entries                                 512            255
 Tunnels                                               512             17
 Lisp Instance Mapping Entries                        2048              3
 Input Security Associations                           256              4
 SGT_DGT                                              8192/512          0/1
 CLIENT_LE                                            4096/256          0/0
 INPUT_GROUP_LE                                       1024              0
 OUTPUT_GROUP_LE                                      1024              0
 Macsec SPD                                            256              2

Hinweis: Die hier aufgeführten Befehle bestanden keine CLI-Änderung zwischen 16 und 17 Codezügen, und sie werden nur einmal im Abschnitt 17.x dieses Dokuments beschrieben. 

show platform hardware fed  active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fed  active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Hardwarevalidierungsbefehle pro Funktion

Szenario: IPv4-Präfixe

Die IPv4-Hardwarevalidierung finden Sie auf dieser Seite Verstehen der IPv4-Hardwareressourcen der Catalyst Switches der Serie 9000

Symptom, dass die Ressource nicht ausreicht.

1. Probleme mit der Erreichbarkeit des Geräts oder des Präfix. Vorhandene Routen oder Geräte können zwar weiterhin erreichbar sein, neue oder aktualisierte Präfixe sind jedoch nicht erreichbar. 
2. Protokollmeldungen weisen darauf hin, dass die Hardware keine neuen Objektaktualisierungen durchführen kann.
3. Objektebene, auf der die Software in die Hardware programmiert wird. 
4. Fehlende Einträge auf der betroffenen Hardware-Ebene (in diesem Fall ist die FIB die betroffene Ebene). 

IPv4-Syslogs

Wenn eine bestimmte IPv4-FIB- oder Adjacency-Ressource zur Neige geht, werden vom System SYSLOG-Meldungen generiert

Szenario: ACL

Die Validierung der ACL-Hardware finden Sie auf dieser Seite Validate Security ACLs on Catalyst 9000 Switches.

ACL-Syslogs

Wenn eine bestimmte Security ACL-Ressource ausgeht, wird vom System eine SYSLOG-Meldung generiert (Schnittstelle, Vlan, Label usw. können sich unterscheiden).

Szenario: NAT

NAT-Hardwarevalidierung finden Sie auf dieser Seite Konfigurieren und Überprüfen der NAT für Catalyst 9000-Switches

NAT-Syslogs

Die NAT-Funktion verfügt über kein Syslog, das gedruckt wird, wenn die Hardwareressourcen nicht ausreichend skalierbar sind. Die Cisco Bug-ID CSCvz46804 wurde als Erweiterung zum Hinzufügen dieser Protokolle abgelegt.

Wenn bei Ihnen NAT-Probleme auftreten und Sie die Hardwareressourcennutzung überprüfen möchten, aktivieren Sie das Kontrollkästchen show platform hardware fed switch active fwd-asic resource tcam usage (der PBR-ACL-Bereich wird bei Erschöpfung des NAT-TCAM stark ausgelastet).

Überprüfen Sie außerdem, ob Sie NAT entsprechend den hier genannten Einschränkungen konfiguriert haben: Einschränkungen von NAT 

Szenario: MPLS

Die MPLS-Hardwarevalidierung finden Sie auf dieser Seite Konfigurieren und Überprüfen von MPLS auf Catalyst 9000-Switches

MPLS-Syslogs

Wenn eine bestimmte Ressource, z. B. MPLS-Labels, ausgeht, wird vom System eine SYSLOG-Meldung generiert.

Wichtige Punkte:

• MPLS-LABEL wird für die Label-Disposition verwendet. (Diese Ressource wird genutzt, wenn Präfixe von einem lokalen CE bezogen werden.)
• LSPA wird für die Label-Erstellung verwendet. (Diese Ressource wird verwendet, wenn Präfixe von einem Remote-PE abgerufen werden.)

Szenario: QoS

Die QoS-Hardwarevalidierung finden Sie auf dieser Seite Verstehen der QoS-Hardwareressourcen der Catalyst Switches der Serie 9000

QoS-Syslogs

Wenn Ihnen die QoS-bezogenen Ressourcen ausgehen, werden vom System folgende SYSLOG-Meldungen generiert:

Zugehörige Informationen

Technischer Support und Dokumentation für Cisco Systeme

Datenblatt zu Cisco Catalyst 9200 Switches

Datenblatt zu Cisco Catalyst 9300 Switches

Cisco Catalyst Switches der Serie 9400 - Datenblätter

Cisco Catalyst Switches der Serie 9500 - Datenblätter

Datenblatt zu Cisco Catalyst 9600 Switches

Whitepaper zur Cisco Catalyst 9500-Architektur

Cisco Bug-IDs

Cisco Bug-ID CSCvg60292 (Wenn die maximale Anzahl an Routen im TCAM erreicht wird, können in der Hash-Tabelle keine Routen installiert werden.)

Cisco Bug-ID CSCvx57822 (Hardwaretabellen benötigen ein 90 %-Nutzungs-Wasserzeichen.)

Cisco Bug-ID CSCvs49401

Cisco Bug-ID CSCvz54607

Cisco Bug-ID CSCvz76172