IPv4-Hardwareressourcen der Catalyst Switches der Serie 9000
Download-Optionen
-
ePub (95.3 KB)
In verschiedenen Apps auf iPhone, iPad, Android, Sony Reader oder Windows Phone anzeigen
Inklusive Sprache
In dem Dokumentationssatz für dieses Produkt wird die Verwendung inklusiver Sprache angestrebt. Für die Zwecke dieses Dokumentationssatzes wird Sprache als „inklusiv“ verstanden, wenn sie keine Diskriminierung aufgrund von Alter, körperlicher und/oder geistiger Behinderung, Geschlechtszugehörigkeit und -identität, ethnischer Identität, sexueller Orientierung, sozioökonomischem Status und Intersektionalität impliziert. Dennoch können in der Dokumentation stilistische Abweichungen von diesem Bemühen auftreten, wenn Text verwendet wird, der in Benutzeroberflächen der Produktsoftware fest codiert ist, auf RFP-Dokumentation basiert oder von einem genannten Drittanbieterprodukt verwendet wird. Hier erfahren Sie mehr darüber, wie Cisco inklusive Sprache verwendet.
Informationen zu dieser Übersetzung
Cisco hat dieses Dokument maschinell übersetzen und von einem menschlichen Übersetzer editieren und korrigieren lassen, um unseren Benutzern auf der ganzen Welt Support-Inhalte in ihrer eigenen Sprache zu bieten. Bitte beachten Sie, dass selbst die beste maschinelle Übersetzung nicht so genau ist wie eine von einem professionellen Übersetzer angefertigte. Cisco Systems, Inc. übernimmt keine Haftung für die Richtigkeit dieser Übersetzungen und empfiehlt, immer das englische Originaldokument (siehe bereitgestellter Link) heranzuziehen.
Inhalt
Einleitung
In diesem Dokument wird beschrieben, wie Sie die Hardwarenutzung der IPv4 Forwarding Information Base (FIB) auf Catalyst Switches der Serie 9000 ermitteln und überprüfen können.
Voraussetzungen
Anforderungen
Es gibt keine spezifischen Anforderungen für dieses Dokument.
Verwendete Komponenten
Die Informationen in diesem Dokument basierend auf folgenden Software- und Hardware-Versionen:
- Cisco Catalyst Switches der Serien 9200, 9300, 9400, 9500 (nicht High Performance) mit Cisco IOS® XE 16.x und 17.x
- Cisco Catalyst Switches der Serie 9500 (hohe Leistung) und 9600 mit Cisco IOS® XE 16.x und 17.x
Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.
Hintergrundinformationen
Wenn Sie eine Fehlerbehebung für eine Funktion durchführen, die nicht wie erwartet funktioniert, sollten Sie als Referenzpunkt sicherstellen, dass die Hardware nicht größer ist als der Umfang des betreffenden Switches. Auch wenn die Größe dieser Hardwaretabellen je nach Switch variieren kann, sind die Methoden zur Verifizierung und Fehlerbehebung größtenteils identisch.
Diese Seite ist auch eine Referenzseite, auf der Sie Informationen zu verschiedenen Funktionen und zur Überprüfung der Hardware-Skalierung finden.
Beispiele für diese Softwareversionen und Gerätetypen:
- 16.x- und 17.x-Software-Züge, da sich die CLI-Ausgänge deutlich unterscheiden
- Spezifische Informationen für den 9500 (High Performance) und den 9600, da diese Modelle Hash und Ternary Content Addressable Memory (TCAM) anders zuweisen als andere Catalyst Switches der Serie 9000
Dieses Dokument unterstützt Sie bei folgenden Aspekten:
- Verständnis, welche Tabelle (Hash/TCAM) genutzt wird
- Verstehen, was die fragliche Tabelle verbraucht
- Verständnis, warum eine bestimmte Tabelle verwendet wurde (Hash versus TCAM)
- Protokolle oder Fehlermeldungen, die auf ein Ressourcenproblem hinweisen, verstehen
- Aktionen zur Behebung von Problemen bei der Zuweisung von Hardware-Ressourcen
Hinweis: Wenn Switches Virtual Routing and Forwarding (VRF) verwenden, muss die Gesamtnutzung die Nutzung in jeder VRF-Instanz beinhalten.
Video
Dieses Video behandelt die Behebung von Problemen mit FIB-Hardwareressourcen: Fehlerbehebung: Catalyst 9000 Switch FIB-Hardwareressourcenerschöpfung
Terminologie
| ADJ |
Adjacency (Tabelle) |
Speichert die nächsten Hop-Informationen, die für das Umschreiben von Paketen verwendet werden |
| DI |
Zielindex |
Index, der auf die ausgehende Schnittstelle verweist |
| EM |
Genaue Übereinstimmung |
Ein Eintrag im Hash-Speicher, der 1:1 entspricht (Host-Route, direkt verbundener Host) |
| FIB |
Datenbank für Weiterleitungsinformationen |
Vereinfachte Tabelle mit Präfixen, die von den Tabellen Routing Information Base (RIB) und Address Resolution Protocol (ARP) mit einem Zeiger auf die ADJ-Tabelle hinzugefügt werden |
| FED |
Forward Engine-Treiber |
Die ASIC-Ebene (Application Specific Integrated Circuit) (Hardware) |
| FMAN-FP |
Forward Manager - Weiterleitungsebene |
FMAN-FP verwaltet Softwareobjekte, die FED-Informationen hinzufügen, löschen oder ändern. |
| LPM |
Längste Präfixübereinstimmung |
Jede Route, die /31 oder kürzer ist (/32 Routen sind vom EM-Typ) |
| RI |
Index umschreiben |
MAC-Adresse schreibt Informationen für die Layer-3-Weiterleitung an die nächste Hop-Adjacency um |
| RIPPE |
Routing Information Base |
Die Routing-Tabelle in "show ip route" |
| SDM |
Datenbankmanager wechseln |
Softwareprozess, der Switch-Hardware-Ressourcen verschiedenen Funktionen zuweist, die diese benötigen (MAC-Adressen, Routen, Zugriffslisteneinträge) |
| SI |
Stationsindex |
Stationsindex = Paket-Umschreibungsinformationen (RI = Rewrite Index) und ausgehende Schnittstelleninformationen (DI = Destination Index) |
| TCAM |
Ternärer Content-Addressable Memory |
Ein Speichertyp, der Einträge mit drei verschiedenen Eingängen speichert und abfragt: 0, 1 und X. Dieser Speichertyp muss in Fällen verwendet werden, in denen mehrere Übereinstimmungen mit demselben Eintrag möglich sind und der resultierende Hash für jeden Eintrag nicht eindeutig ist. Diese Tabelle enthält eine Maske oder einen "X"-Wert, mit dem sie erkennen kann, ob sie mit diesem Eintrag übereinstimmt oder nicht. |
| UADP |
Cisco Unified Access™ Daten-Fläche |
Die im Switch verwendete ASIC-Architektur |
| Direkt verbunden |
Direkt verbundene Route |
Ein lokal verbundenes Host-Präfix (an ARP angrenzend) |
| Indirekt verbunden |
Indirekt verbundene Route |
Eine Route, die über einen Remote-Next-Hop zu erreichen ist |
| SGT |
||
| SXP |
||
| CTS (Trustsec) |
Allgemeine Hardware-Validierungsbefehle
Diese Befehle zeigen allgemeine Nutzungsstatistiken für verwendete Hash-, TCAM-, Schnittstellen- und Rewrite-Ressourcen an. Diese Ressourcen sind miteinander verknüpft, und die Erschöpfung einer der genannten Ressourcen kann sich auf die Fähigkeit auswirken, andere verfügbare Ressourcen voll auszuschöpfen.
Beispiel: Ein Switch kann über Hash/TCAM verfügen, es fehlen jedoch Adjacencies. Die Weiterleitung von Paketen an ein Zielpräfix kann beeinträchtigt werden, da der Switch keinen neuen Umschreibungseintrag programmieren kann.
show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
Hinweis: Weitere Informationen zu diesen Befehlen finden Sie unter "Kapitel: SDM-Vorlagen konfigurieren" im "Systemmanagement-Konfigurationshandbuch".
IPv4-Skalierung - Syslogs
Dieses Szenario zeigt, wie die einzelnen Tabellen verwendet werden und was zu tun ist, wenn die eine oder andere Tabelle nicht ausreichend skalierbar ist. Darüber hinaus werden abhängige Ressourcen abgedeckt, die für die Weiterleitung an ein IP-Ziel erforderlich sind.
Symptom: Die Ressource übersteigt den Umfang
- Probleme mit der Erreichbarkeit des Geräts oder des Präfix. Vorhandene Routen oder Geräte können zwar weiterhin erreichbar sein, neue oder aktualisierte Präfixe sind jedoch nicht erreichbar.
- Protokollmeldungen weisen darauf hin, dass die Hardware keine neuen Objektaktualisierungen durchführen kann.
- Die Objektebene, die Software in Hardware programmiert, wird überlastet.
- Fehlende Einträge auf der betroffenen Hardware-Ebene (in diesem Fall ist die FIB die betroffene Ebene).
Wenn eine bestimmte IPv4-FIB oder Adjacency-Ressource ausgeht, werden vom System SYSLOG-Meldungen generiert.
| IPv4-FIB-Protokollmeldung |
Definition |
Wiederherstellungsaktion |
| %FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: gefüttert: Hardwareressource für Fib-Eintrag konnte aufgrund ausgelaufener Hardwareressourcen nicht zugewiesen werden. |
Für IPv4-FIB-Einträge reservierte Hardware ist nicht mehr ausreichend Speicherplatz (EM oder TCAM) |
Fassen Sie Routen zusammen, oder ergreifen Sie eine andere Aktion, um die Größe der FIB-Einträge zu reduzieren (dies kann EM oder TCAM sein, je nachdem, welcher erschöpft ist). |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: gefüttert:Fehler beim Zuweisen der Hardwareressource für den Adj-Eintrag - rc:1 |
Die Adjacency-Tabelle ist nicht mehr verfügbar. Dies ist die Hardwaretabelle, in der die Next-Hop-MAC-Zieladressen gespeichert werden. |
Reduzierung der Skalierungsanzahl der direkt verbundenen (ARP-benachbarten) Hosts |
Anwendungsbeispiele
Anwendungsbeispiele (nicht HP 16.12.x)
| Software |
Hardware |
| 16.12.5 |
Catalyst 9200 9300 9400 9500-Switches (nicht High Performance) |
Geplante Ressourcennutzung
##### Baseline Setup & Usage #####
C9300#show version | include IOS
Cisco IOS XE Software, Version 16.12.05
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)
C9300-48U
C9300##show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured
/// TCAM and Hash ///
C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 3/19 <-- 3 hash / 19 TCAM is base usage
/// Adjacencies ///
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 <-- Next hop Dest MAC for packet rewrite
/// SI DI RI resources ///
C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__
Resource Info for ASIC Instance: 0
Resource Name Allocated Free
------------------------------------------
RSC_RI 3 57317 <-- Rewrite Index
RSC_SI 521 64847 <-- Station Index
IP-Adresse für SVI VLAN 1 mit /24-Maske hinzufügen
### ADD SVI IP with /24 mask length ###
C9300(config)#interface vlan 1
C9300(config-if)#ip address 10.10.10.1 255.255.255.0
C9300#show ip interface brief | inc up
Vlan1 10.10.10.1 YES manual up up
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 6/20 <-- usage = +3 hash, +1 TCAM
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7f4880ce37e8 0x7f4880cf3648 0x0 0xf80004b4 2021/02/26 17:48:47.992 <-- 1 Adj created for mcast
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 <-- 1 Adj used for mcast
3 EM-Präfixe hinzufügen (/32-Maske)
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 9/20 <-- usage = 3 Hash, 0 TCAM
Anwendungsbeispiele (nicht HP 17.x)
| Software |
Hardware |
| 17,x |
Catalyst 9200 9300 9400 9500-Switches (nicht High Performance) |
Geplante Ressourcennutzung
##### Baseline Setup & Usage #####
C9400#show version | include IOS
Cisco IOS XE Software, Version 17.03.02a
Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)
C9400-SUP-1
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- 3 hash
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- 15 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- Rewrite Index
RSC_SI 520 64848 0.80 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 3/ 15 49149/327 0.01/ 0.05 <-- Hash / TCAM Table usage
IP-Adresse für SVI VLAN 1 mit /24-Maske hinzufügen
C9400(config)#interface vlan 1
C9400(config-if)#ip address 10.10.10.1 255.255.255.0
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
Vlan1 10.10.10.1 YES manual up up
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Resource Info for ASIC Instance: 1 [A:0, C:1]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 4 57316 0.01 <-- 1 Rewrite Index
RSC_SI 520 64848 0.80
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 0.00 <-- 1 Adj used for mcast
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 6/ 16 49146/32752 0.01/ 0.05 <-- 3 Hash + 1 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7fd8fd1654c8 0x7fd8fc8e6098 0x0 0xf8000444 2015/01/01 00:49:54.758 <-- 1 Adj created for mcast
3 EM-Präfixe hinzufügen (/32-Maske)
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 9 0.02% 8 0 1 0 <-- Previously was 6, + 3 for /32 EM
IP Route Table TCAM I 65536 16 0.02% 8 6 2 1 <-- Previously was 16, no change
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 5 57315 0.01 <-- One Rewrite index
RSC_SI 522 64846 0.80 <-- Two Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 2 31998 0.01 <-- One Dest MAC used for ARP entry
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 9/ 16 49143/32752 0.02/ 0.05 <-- 9 EM, 16 TCAM
Anwendungsbeispiele (HP & 9600 17.x)
| Software |
Hardware |
| 17,x |
Catalyst 9500 (hohe Leistung), 9600 Switches |
Hinweis: Für 9500 (hohe Leistung) und 9600 sind nur 17.x CLIs angegeben. Im vorherigen Abschnitt finden Sie Beispiele für 16.x.
Geplante Ressourcennutzung
##### Baseline Setup & Usage #####
9500H#show version | include IOS
Cisco IOS XE Software, Version 17.04.01
Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)
C9500-24Y4C
C9500H#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9500H#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 65536 3 0.00% 2 0 1 0 <-- 3 hash (EM/LPM)
IP Route Table TCAM I 1536 11 0.72% 6 3 2 0 <-- 11 TCAM
C9500H#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- ASIC 0 Allocation
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 90085 0.00 <-- Rewrite Index
RSC_SI 517 130397 0.39 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 98304 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 4/ 12 98300/1524 0.00/ 0.78 <-- Hash / TCAM Table usage
Fehlerbehebung
Skalierungslimit und Problembehebung (UADP 2.0-Switches)
In diesem Abschnitt wird ein Anwendungsfall beschrieben, bei dem der TCAM für IPv4 erschöpft ist:
- Die in diesem Beispiel simulierten Präfixe sind /24
- Protokoll-BGP
- Plattform 9400
- Cisco IOS XE 17.3.2
Geplante Nutzung
Beim 9400 Sup-1 verbraucht jedes Präfix, das /31 oder kürzer ist, TCAM, nicht EM.
- Die maximale Anzahl von IPv4-Präfixen, die dem TCAM hinzugefügt werden können, beträgt 65535.
Hinweis: Die IP-Route-EM und der TCAM werden auch von Multiprotocol Label Switching (MPLS) verwendet, wobei die MPLS-Labels zuerst zu EM hinzugefügt werden und dann zum TCAM überlaufen, wenn das Limit erreicht wird. Wenn Ihr Gerät ein MPLS-Provider-Edge (PE) ist und VPNv4-Labels zuweist, wird dies von der Gesamtzahl abgezogen.
Hinweis: Es ist auch wichtig zu wissen, dass der EM-Speicher, wenn er zuerst voll ist, in den TCAM-Speicher überfließen kann. (Wenn der Switch über 49152 EM-Einträge skaliert werden kann, kann der TCAM verbundene und /32 Routen übernehmen). Umgekehrt ist dies jedoch nicht der Fall (wenn der TCAM voll ist, wird er nicht zum EM überlaufen).
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 24 0.04% 15 6 2 1
<...snip...>
80000 Präfixe über BGP einschleusen
C9407R#show bgp vpnv4 unicast all summary BGP router identifier 10.255.255.255, local AS number 65000 BGP table version is 580445, main routing table version 580445 80003 network entries using 20480768 bytes of memory 80003 path entries using 10880408 bytes of memory 16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory 8002 BGP AS-PATH entries using 533708 bytes of memory 1 BGP extended community entries using 24 bytes of memory 0 BGP route-map cache entries using 0 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 36759516 total bytes of memory BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs 80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago) Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 192.168.1.2 4 65001 101 40485 501775 0 0 01:25:44 0 192.168.1.6 4 65002 31330 96 580445 0 0 01:23:30 80003 <-- 80K prefixes injected in range 172.18.x.x
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 65536 100.00% 65527 6 2 1 <-- Limit is reached and TCAM cannot program all prefixes
Protokollmeldung zeigt an, dass FED keinen Eintrag vom Typ FIB programmieren kann
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
Lösung
Die Präfixzusammenfassung ist erforderlich, um dieses Skalierungsproblem zu beheben. Die zusammengefasste Methode hängt vom verwendeten Protokoll, der Aneinanderreihung der Subnetze und der jeweiligen Umgebung ab.
- In diesem Beispiel ist BGP das Protokoll, und Zusammenfassungsverfahren finden Sie auf dieser Seite: IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter: Configuring BGP
- Weitere Techniken zur Zusammenfassung finden Sie im Abschnitt "Zugehörige Informationen" dieses Dokuments. (Alle angegebenen Links stammen von den 9500 Konfigurationsseiten. Bei Bedarf können Sie weitere Leitfäden zu den Plattformen konsultieren.)
Sie können in der Hardware installierte Präfixe auch nach Präfixlänge überprüfen, um festzustellen, wie viele von jeder Länge sind, und ggf. zusammenfassen.
C9300-48U#show platform software fed switch active ip route summary Total number of v4 fib entries = 1024 <-- total prefix count Total number succeeded in hardware = 1024 <-- total successfully installed in hardware Mask-Len 0 :- Total-count 2 hw-installed count 2 Mask-Len 4 :- Total-count 2 hw-installed count 2 Mask-Len 8 :- Total-count 4 hw-installed count 4 Mask-Len 24 :- Total-count 1000 hw-installed count 1000 <-- breakdown by mask length Mask-Len 30 :- Total-count 2 hw-installed count 2 Mask-Len 32 :- Total-count 14 hw-installed count 14
<...snip...>
Skalierungslimit und Problembehebung (UADP 3.0-Switches)
Wie bereits im Dokument "Understanding Hardware Resources on Catalyst 9000 Switches" (Hardwareressourcen auf Catalyst 9000-Switches) erwähnt, verwenden UADP 3.0-basierte Switches einen optimierten FIB-Speicher, der sowohl Exact Match (EM)- als auch Longest Prefix Match (LPM)-Einträge kombiniert. Was als TCAM-Speicher aufgeführt ist, wird nur für Überläufe, Kollisionen und andere Ausnahmen verwendet.
Wenn Sie feststellen, dass der TCAM stark genutzt wird und EM/LPM nicht wie genutzt wird (nicht in der Nähe oder bei Maximalwerten), kann dies auf ein Netzwerkdesign zurückzuführen sein, bei dem zu viele Präfixlängen verwendet werden. EM/LPM kann nur eine bestimmte Anzahl von Maskenlängen programmieren, die Anzahl ist jedoch nicht statisch. Die von EM/LPM programmierbare Anzahl von Masken variiert je nach SDM-Vorlage und hängt auch von der Routenskala Ihres Netzwerks ab.
Insgesamt ergibt sich für UADP 3.0 ein dynamisches Gleichgewicht zwischen SDM-Konfiguration, Routenskalierung (Anzahl der Routen) und Präfixlängenvarianz (Anzahl der eindeutigen Subnetzmasken). Wenn der IP-Routing-Tabelle-TCAM erschöpft ist, bevor die IP-Routing-Tabelle EM/LPM nahezu das Maximum erreicht, kann es aufgrund der SDM-Konfiguration, der Routenskalierung (Anzahl der Routen) und der Präfix-Längenvarianz (Anzahl der eindeutigen Subnetzmasken) zu einem Problem kommen.
Wenn eine FIB-Skalierungsgrenze auftritt, wird ein Syslog generiert, das anzeigt, dass die Hardware folgende Elemente nicht programmiert hat:
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
Hinweis: Das Syslog weist nur auf einen generischen Fehler hin, nicht spezifisch auf EM/LPM, TCAM oder andere Fehler. Sie müssen zusätzliche Befehle ausführen, um festzustellen, welche Probleme auftreten.
9500-48Y4C (9500H / Hohe Leistung - UADP 3.0-basierter Switch)
Beispiel für den vor EM/LPM genutzten TCAM:
- Die angezeigte Ausgabe zeigt an, dass der IP Route Table (FIB)-TCAM voll ist, während dies bei EM/LPM nicht der Fall ist.
- Der Switch weist mehreren Instanzen von Tabellen fester Größe im EM/LPM-Speicher Präfixe und entsprechende Masken zu.
- Eine gegebene Tabelleninstanz stellt nur eine IPv4- oder IPv6-Präfixlänge dar. Die Maske wird nicht für jeden Präfixeintrag in der Hardware gespeichert, sondern nur für die gesamte Tabelleninstanz, was wertvollen Platz auf der Hardware spart.
- Die Zuordnung von Präfixmasken zu Hardwaretabellen ist dynamisch und für den Betrieb ist keine Eingabe erforderlich.
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 134345 63.08% 2 0 1 0 <-- 63% (EM is not near or at its limit)
IP Route Table TCAM I 1536 1516 98.70% 6 6 2 1 <-- 98% (TCAM is used before EM has reached scale limit)
In diesem Szenario können EM/LPM-Tabellen nicht voll ausgenutzt werden:
- Für jede neu zugewiesene Tabelle wird eine bestimmte Präfixmaskenlänge für diese Tabelle reserviert. Alle Einträge für diese Tabelle sind nun auf diese Maskenlänge beschränkt. Wenn Sie weniger als die maximale Anzahl von Einträgen für diese Tabelleninstanz haben, wird die effektive Auslastung um die Anzahl der Einträge reduziert, die in dieser Tabelleninstanz verbleiben. Sie können nicht für eine andere Maskenlänge zurückgewonnen werden.
- Wenn Sie diese suboptimale Auslastung über mehrere Maskenlängen hinweg wiederholen, wird die effektive Auslastung des EM/LPM-Speichers erheblich reduziert.
- Wenn EM/LPM-Tabellen nicht mehr für neue Maskenlängen verfügbar sind, werden stattdessen die Präfixe mit dieser Maske installiert und fließen in TCAM über. Begrenzter TCAM-Bereich ist schnell belegt.
- Die Anzahl der für EM/LPM verfügbaren Tabellen hängt von Ihrer SDM-Konfiguration ab.
Eine breite Verteilung der Maskenlängen in Kombination mit Masken mit einer geringen Anzahl an Präfixen führt zu Szenarien, in denen viele Tabellen zugewiesen und viele nicht ausgelastet sind. Dies führt dazu, dass die Fehlermeldung "Failed to allocation hardware resource for fib..." (Hardwareressource konnte nicht für fib... zugewiesen werden) angezeigt wird, bevor die optimale maximale Hardwarenutzung auf UADP 3.0-basierten Switches erreicht wird.
Mit zunehmender Anzahl von Tabelleninstanzen, die einer einzelnen Präfixlänge zugeordnet sind, stehen möglicherweise nicht genügend Tabellen für Präfixe anderer Längen zur Verfügung.
Eine suboptimale Nutzung kann auftreten, wenn die Anzahl der Einträge mit einer Präfixlänge die letzte Tabelle, zu der sie gehört, nicht vollständig ausnutzt.
Dieses Beispiel zeigt die 4500 eBGP-Präfixe, die auf einem 9500-48Y4C-Switch empfangen wurden.
- Jede Tabelle kann ca. 2048 Routen / Einträge enthalten.
- Die Hardware verfügt über Tische in zwei festen Größen, 2048 und 8192. Sie werden dynamisch basierend auf Routenskalierung, Präfixverwendung und verwendeter SDM-Vorlage zugewiesen.
- In diesem Beispiel werden drei Tabellen im Format 2048 als /32 gekennzeichnet, um 4500 Routen mit der Maskenlänge /32 aufzunehmen. Einige der Tabellen mit der Größe 2048 verfügen nur über zugewiesenen Speicherplatz für /32-IPv4-Routen.
Dies lässt sich über diese CLI beobachten:
F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 11 Normal 0 0 0 2 8 1 2048 0 Normal 0 0 2048 ... Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 ... 33 1 2048 2037 7 0 <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,
or other features. ... NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 7 1 162 2 3 2 164 0 1 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 0 0 0 1 139 2 0
Inject 4500 eBGP IPv4 routes; F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 <<< Table index 1 fully utilized 2 8 1 2048 423 Normal 0 0 2048 <<< Table index 2 423 / 2048 utilized,
must be used for /32 IPv4 prefixes or other features ... 56 11 7 2048 2029 Normal 0 1 112640 Total Entries: 4500 *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries ... 33 3 6144 1644 4496 1 <<< Hardware Mask 33 increased table count to 3, 1644 "available" spots for /33 (for example IPv4 /32) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 2044 1 162 2 3 <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6. Asic: 0 Core: 0 Hash Id: 8 Table Id: 1 Index MASK GMR/LPM Idx Used 0 33 2 423 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 33 2 2029 />
Im nächsten Beispiel wird die minimale Anzahl an Präfixen eingespritzt, um zu erzwingen, dass für jede Maskenlänge von /11 bis /32 eine neue Tabelle verwendet wird.
Dies wird durch die Verwendung der SDM-Verteilungsvorlage für Cisco IOS XE 17.3 erreicht. Diese enthält 56 Tabellen, die dynamisch für FIB-Einträge zugewiesen werden können.
- /32-Länge auf bis zu 74000 Präfixe skaliert
- /12 - 300 Präfixe
- /11 - 1.250 Präfixe
- Die Maskenlängen von /13 bis /32 enthalten etwa 12 Präfixe. Bei geringerem Wert kann die Hardware stattdessen TCAM verwenden, um die Präfixe einer bestimmten Maskenlänge zu speichern.
Hinweis: Der Hardware-Algorithmus, der die Zuweisung von EM/LPM und TCAM regelt, ist komplex und gleicht die Benutzerkonfiguration und die Einschränkungen der Hardware aus. Die in diesem Dokument präsentierten Ergebnisse geben nicht vollständig wieder, wie sich ein System in einem Produktionsnetzwerk verhalten kann.
F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 11 0.01% 7 3 1 0 IP Route Table TCAM I 1536 15 0.98% 7 6 2 0 Inject the routes... *Jan 8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054 F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 73326 63.94% 73322 3 1 0 <<< EM/LPM at 63.94% IP Route Table TCAM I 1536 1535 99.93% 1527 6 2 0 <<< TCAM nearly full F241.03.23-C9500-2#show platform software fed active ip route summary Total number of v4 fib entries = 75789 Total number succeeded in hardware = 74847 Mask-Len 0 :- Total-count 1 hw-installed count 1 Mask-Len 4 :- Total-count 1 hw-installed count 1 Mask-Len 8 :- Total-count 2 hw-installed count 2 Mask-Len 11 :- Total-count 1250 hw-installed count 1250 Mask-Len 12 :- Total-count 300 hw-installed count 300 Mask-Len 13 :- Total-count 12 hw-installed count 12 Mask-Len 14 :- Total-count 12 hw-installed count 12 Mask-Len 15 :- Total-count 12 hw-installed count 12 Mask-Len 16 :- Total-count 12 hw-installed count 12 Mask-Len 17 :- Total-count 12 hw-installed count 12 Mask-Len 18 :- Total-count 12 hw-installed count 12 Mask-Len 19 :- Total-count 12 hw-installed count 12 Mask-Len 20 :- Total-count 12 hw-installed count 12 Mask-Len 21 :- Total-count 12 hw-installed count 12 Mask-Len 22 :- Total-count 12 hw-installed count 12 Mask-Len 23 :- Total-count 12 hw-installed count 12 Mask-Len 24 :- Total-count 12 hw-installed count 12 Mask-Len 25 :- Total-count 12 hw-installed count 12 Mask-Len 26 :- Total-count 12 hw-installed count 12 Mask-Len 27 :- Total-count 12 hw-installed count 12 Mask-Len 28 :- Total-count 12 hw-installed count 12 Mask-Len 29 :- Total-count 12 hw-installed count 12 Mask-Len 30 :- Total-count 12 hw-installed count 12 Mask-Len 31 :- Total-count 12 hw-installed count 12 Mask-Len 32 :- Total-count 74007 hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 ... 56 11 7 2048 12 Normal 0 1 112640 <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 5 0 0 0 0 1 9 0 0 0 0 2 10 0 0 0 0 0 11 0 0 0 0 0 12 1 2048 809 1239 11 13 1 2048 1759 289 11 14 1 2048 2047 1 11 15 1 2048 2047 1 11 16 1 2048 2047 1 11 17 1 2048 2036 12 0 18 1 2048 2036 12 0 19 1 2048 2036 12 0 20 1 2048 2036 12 0 21 1 2048 2036 12 0 22 1 2048 2036 12 0 23 1 2048 2036 12 0 24 1 2048 2036 12 0 25 1 2048 2036 12 0 26 1 2048 2047 1 11 27 1 2048 2047 1 11 28 1 2048 2047 1 11 29 1 2048 2047 1 11 30 1 2048 2047 1 11 31 1 2048 2047 1 11 32 1 2048 2047 1 11 33 35 71680 0 71676 1389 <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.
Verwenden Sie zum Beheben dieses Szenarios eine oder mehrere dieser Optionen in der Reihenfolge ihrer Priorität
- Prüfen Sie alternative SDM-Vorlagen:
- Dank umfangreicherer Vorlagen für FIB-/IP-Routen-Skalierung sind mehr Hardware-Tabellen für diese FIB insgesamt verfügbar. Dies kann die effektive Auslastung (verwendete Einträge / verfügbare Einträge) sowie die Gesamtskalierung verbessern.
- Umgekehrt reduzieren SDM-Vorlagen mit geringerer Skalierung für FIB-/IP-Routen die Gesamtmenge der für die FIB verfügbaren Hardwaretabellen.
- Vollständige Eliminierung einer oder mehrerer Präfixlängen (Masken) aus der Routing-Tabelle
- Routen zusammenfassen (Verringerung der Gesamtzahl der Präfixe)
Hinweis: Siehe "Kapitel: Konfigurieren von SDM-Vorlagen" im "Konfigurationsleitfaden zur Systemverwaltung" für Catalyst Switches der Serien 9500 und 9600, um mehr über SDM-Vorlagen zu erfahren.
Szenario: SGT/SXP-Zuordnungen | TrustSec-Skalierung
Zu erfassende Befehle für TAC
Die häufigsten Probleme mit Hardwareressourcen im Zusammenhang mit der IPv4-Nutzung werden in diesem Leitfaden mit entsprechenden Sanierungsschritten behandelt. Falls Ihr Problem jedoch nicht durch diesen Leitfaden behoben werden konnte, sammeln Sie die angezeigte Befehlsliste, und fügen Sie sie Ihrer TAC-Serviceanfrage bei.
show tech-support
show platform hardware fed active fwd-asic resource tcam utilization
show platform hardware fed active fwd-asic resource utilization
show platform hardware fed active fwd-asic resource rewrite utilization
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
show platform software fed active ip route summary
show platform software fed active hash l3unicast
show ip route
show ip route vrf *
Wenn Sie ein Problem mit diesem Dokument finden, verwenden Sie die Schaltfläche Feedback rechts in diesem Artikel. Geben Sie so viele Details wie möglich an, wenn Sie die Anfrage oder das Feedback zu diesem Dokument einreichen, das auch Informationen über den Abschnitt, den Bereich oder das Problem enthält, das Sie mit dem Dokument hatten, und was verbessert werden könnte.
Zugehörige Informationen
Technischer Support und Dokumentation für Cisco Systeme
besseres Verständnis der Hardwareressourcen von Catalyst Switches der Serie 9000
Datenblatt zu Cisco Catalyst 9200 Switches
Datenblatt zu Cisco Catalyst 9300 Switches
Cisco Catalyst Switches der Serie 9400 - Datenblätter
Cisco Catalyst Switches der Serie 9500 - Datenblätter
Revisionsverlauf
| Überarbeitung | Veröffentlichungsdatum | Kommentare |
|---|---|---|
2.0 |
01-Jun-2023 |
Link zu Video hinzugefügt: Fehlerbehebung bei Erschöpfung der Hardwareressourcen des Catalyst 9000-Switches mit FIB |
1.0 |
05-Aug-2022 |
Erstveröffentlichung |
Beiträge von Cisco Ingenieuren
- Ambrose Taylor
- Austin Anderson Ferguson
- Kristopher Gabrielsen
FeedbackCisco kontaktieren
- Eine Supportanfrage öffnen
- (Erfordert einen Cisco Servicevertrag)