Inhalt

Einleitung

Voraussetzungen

Anforderungen

Verwendete Komponenten

Hintergrundinformationen

Video

Terminologie

Allgemeine Hardware-Validierungsbefehle

IPv4-Skalierung - Syslogs

Anwendungsbeispiele

Anwendungsbeispiele (nicht HP 16.12.x)

Anwendungsbeispiele (nicht HP 17.x)

Anwendungsbeispiele (HP & 9600 17.x)

Fehlerbehebung

Skalierungslimit und Problembehebung (UADP 2.0-Switches)

Skalierungslimit und Problembehebung (UADP 3.0-Switches)

Szenario: SGT/SXP-Zuordnungen | TrustSec-Skalierung

Zu erfassende Befehle für TAC

Zugehörige Informationen

Einleitung

In diesem Dokument wird beschrieben, wie Sie die Hardwarenutzung der IPv4 Forwarding Information Base (FIB) auf Catalyst Switches der Serie 9000 ermitteln und überprüfen können.

Voraussetzungen

Anforderungen

Es gibt keine spezifischen Anforderungen für dieses Dokument.

Verwendete Komponenten

Die Informationen in diesem Dokument basierend auf folgenden Software- und Hardware-Versionen:

- Cisco Catalyst Switches der Serien 9200, 9300, 9400, 9500 (nicht High Performance) mit Cisco IOS® XE 16.x und 17.x

- Cisco Catalyst Switches der Serie 9500 (hohe Leistung) und 9600 mit Cisco IOS® XE 16.x und 17.x

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Hintergrundinformationen

Wenn Sie eine Fehlerbehebung für eine Funktion durchführen, die nicht wie erwartet funktioniert, sollten Sie als Referenzpunkt sicherstellen, dass die Hardware nicht größer ist als der Umfang des betreffenden Switches. Auch wenn die Größe dieser Hardwaretabellen je nach Switch variieren kann, sind die Methoden zur Verifizierung und Fehlerbehebung größtenteils identisch.

Diese Seite ist auch eine Referenzseite, auf der Sie Informationen zu verschiedenen Funktionen und zur Überprüfung der Hardware-Skalierung finden.

Beispiele für diese Softwareversionen und Gerätetypen:

- 16.x- und 17.x-Software-Züge, da sich die CLI-Ausgänge deutlich unterscheiden

- Spezifische Informationen für den 9500 (High Performance) und den 9600, da diese Modelle Hash und Ternary Content Addressable Memory (TCAM) anders zuweisen als andere Catalyst Switches der Serie 9000

Dieses Dokument unterstützt Sie bei folgenden Aspekten:

- Verständnis, welche Tabelle (Hash/TCAM) genutzt wird

- Verstehen, was die fragliche Tabelle verbraucht

- Verständnis, warum eine bestimmte Tabelle verwendet wurde (Hash versus TCAM)

- Protokolle oder Fehlermeldungen, die auf ein Ressourcenproblem hinweisen, verstehen

- Aktionen zur Behebung von Problemen bei der Zuweisung von Hardware-Ressourcen

Hinweis: Wenn Switches Virtual Routing and Forwarding (VRF) verwenden, muss die Gesamtnutzung die Nutzung in jeder VRF-Instanz beinhalten.

Video

Dieses Video behandelt die Behebung von Problemen mit FIB-Hardwareressourcen: Fehlerbehebung: Catalyst 9000 Switch FIB-Hardwareressourcenerschöpfung

Terminologie

ADJ

Adjacency (Tabelle)

Speichert die nächsten Hop-Informationen, die für das Umschreiben von Paketen verwendet werden

DI

Zielindex

Index, der auf die ausgehende Schnittstelle verweist

EM

Genaue Übereinstimmung

Ein Eintrag im Hash-Speicher, der 1:1 entspricht (Host-Route, direkt verbundener Host)

FIB

Datenbank für Weiterleitungsinformationen

Vereinfachte Tabelle mit Präfixen, die von den Tabellen Routing Information Base (RIB) und Address Resolution Protocol (ARP) mit einem Zeiger auf die ADJ-Tabelle hinzugefügt werden

FED

Forward Engine-Treiber

Die ASIC-Ebene (Application Specific Integrated Circuit) (Hardware)

FMAN-FP

Forward Manager - Weiterleitungsebene

FMAN-FP verwaltet Softwareobjekte, die FED-Informationen hinzufügen, löschen oder ändern.

LPM

Längste Präfixübereinstimmung

Jede Route, die /31 oder kürzer ist (/32 Routen sind vom EM-Typ)

RI

Index umschreiben

MAC-Adresse schreibt Informationen für die Layer-3-Weiterleitung an die nächste Hop-Adjacency um

RIPPE

Routing Information Base

Die Routing-Tabelle in "show ip route"

SDM

Datenbankmanager wechseln

Softwareprozess, der Switch-Hardware-Ressourcen verschiedenen Funktionen zuweist, die diese benötigen (MAC-Adressen, Routen, Zugriffslisteneinträge)

SI

Stationsindex

Stationsindex =  Paket-Umschreibungsinformationen (RI = Rewrite Index) und ausgehende Schnittstelleninformationen (DI = Destination Index)

TCAM

Ternärer Content-Addressable Memory

Ein Speichertyp, der Einträge mit drei verschiedenen Eingaben speichert und abfragt: 0, 1 und X. Dieser Speichertyp muss in Fällen verwendet werden, in denen mehrere Übereinstimmungen mit demselben Eintrag vorliegen können und der resultierende Hash für jeden Eintrag nicht eindeutig ist. Diese Tabelle enthält eine Maske oder einen "X"-Wert, mit dem sie erkennen kann, ob sie mit diesem Eintrag übereinstimmt oder nicht.

UADP

Cisco Unified Access™ Daten-Fläche

Die im Switch verwendete ASIC-Architektur

Direkt verbunden

Direkt verbundene Route

Ein lokal verbundenes Host-Präfix (an ARP angrenzend)

Indirekt verbunden

Indirekt verbundene Route

Eine Route, die über einen Remote-Next-Hop zu erreichen ist

SGT

SXP

CTS (Trustsec)

Allgemeine Hardware-Validierungsbefehle

Diese Befehle zeigen allgemeine Nutzungsstatistiken für verwendete Hash-, TCAM-, Schnittstellen- und Rewrite-Ressourcen an. Diese Ressourcen sind miteinander verknüpft, und die Erschöpfung einer der genannten Ressourcen kann sich auf die Fähigkeit auswirken, andere verfügbare Ressourcen voll auszuschöpfen.

Beispiel: Ein Switch kann über Hash/TCAM verfügen, es fehlen jedoch Adjacencies. Die Weiterleitung von Paketen an ein Zielpräfix kann beeinträchtigt werden, da der Switch keinen neuen Umschreibungseintrag programmieren kann.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Hinweis: Weitere Informationen zu diesen Befehlen finden Sie unter "Kapitel: SDM-Vorlagen konfigurieren" im "Systemmanagement-Konfigurationshandbuch".

IPv4-Skalierung - Syslogs

Dieses Szenario zeigt, wie die einzelnen Tabellen verwendet werden und was zu tun ist, wenn die eine oder andere Tabelle nicht ausreichend skalierbar ist. Darüber hinaus werden abhängige Ressourcen abgedeckt, die für die Weiterleitung an ein IP-Ziel erforderlich sind.

Symptom: Die Ressource übersteigt den Umfang

1. Probleme mit der Erreichbarkeit des Geräts oder des Präfix. Vorhandene Routen oder Geräte können zwar weiterhin erreichbar sein, neue oder aktualisierte Präfixe sind jedoch nicht erreichbar.

2. Protokollmeldungen weisen darauf hin, dass die Hardware keine neuen Objektaktualisierungen durchführen kann.

3. Die Objektebene, die Software in Hardware programmiert, wird überlastet.

4. Fehlende Einträge auf der betroffenen Hardware-Ebene (in diesem Fall ist die FIB die betroffene Ebene).

Wenn eine bestimmte IPv4-FIB oder Adjacency-Ressource ausgeht, werden vom System SYSLOG-Meldungen generiert.

IPv4-FIB-Protokollmeldung

Definition

Wiederherstellungsaktion

%FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: gefüttert: Hardwareressource für Fib-Eintrag konnte aufgrund ausgelaufener Hardwareressourcen nicht zugewiesen werden.

Für IPv4-FIB-Einträge reservierte Hardware ist nicht mehr ausreichend Speicherplatz (EM oder TCAM)

Fassen Sie Routen zusammen, oder ergreifen Sie eine andere Aktion, um die Größe der FIB-Einträge zu reduzieren (dies kann EM oder TCAM sein, je nachdem, welcher erschöpft ist).

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: gefüttert:Fehler beim Zuweisen der Hardwareressource für den Adj-Eintrag - rc:1

Die Adjacency-Tabelle ist nicht mehr verfügbar. Dies ist die Hardwaretabelle, in der die Next-Hop-MAC-Zieladressen gespeichert werden.

Reduzierung der Skalierungsanzahl der direkt verbundenen (ARP-benachbarten) Hosts

Anwendungsbeispiele

Anwendungsbeispiele (nicht HP 16.12.x)

Software

Hardware

16.12.5

Catalyst 9200 9300 9400 9500-Switches (nicht High Performance)

Geplante Ressourcennutzung

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

IP-Adresse für SVI VLAN 1 mit /24-Maske hinzufügen

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

3 EM-Präfixe hinzufügen (/32-Maske)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

Anwendungsbeispiele (nicht HP 17.x)

Software

Hardware

17,x

Catalyst 9200 9300 9400 9500-Switches (nicht High Performance)

Geplante Ressourcennutzung

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

IP-Adresse für SVI VLAN 1 mit /24-Maske hinzufügen

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

3 EM-Präfixe hinzufügen (/32-Maske)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

Anwendungsbeispiele (HP & 9600 17.x)

Software

Hardware

17,x

Catalyst 9500 (hohe Leistung), 9600 Switches

Hinweis: Für 9500 (hohe Leistung) und 9600 sind nur 17.x CLIs angegeben. Im vorherigen Abschnitt finden Sie Beispiele für 16.x.

Geplante Ressourcennutzung

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

Fehlerbehebung

Skalierungslimit und Problembehebung (UADP 2.0-Switches)

In diesem Abschnitt wird ein Anwendungsfall beschrieben, bei dem der TCAM für IPv4 erschöpft ist:

- Die in diesem Beispiel simulierten Präfixe sind /24

- Protokoll-BGP

- Plattform 9400

- Cisco IOS XE 17.3.2

Geplante Nutzung

Beim 9400 Sup-1 verbraucht jedes Präfix, das /31 oder kürzer ist, TCAM, nicht EM.

- Die maximale Anzahl von IPv4-Präfixen, die dem TCAM hinzugefügt werden können, beträgt 65535.

Hinweis: Die IP-Route-EM und der TCAM werden auch von Multiprotocol Label Switching (MPLS) verwendet, wobei die MPLS-Labels zuerst zu EM hinzugefügt werden und dann zum TCAM überlaufen, wenn das Limit erreicht wird. Wenn Ihr Gerät ein MPLS-Provider-Edge (PE) ist und VPNv4-Labels zuweist, wird dies von der Gesamtzahl abgezogen.

Hinweis: Es ist auch wichtig zu wissen, dass der EM-Speicher, wenn er zuerst voll ist, in den TCAM-Speicher überfließen kann. (Wenn der Switch über 49152 EM-Einträge skaliert werden kann, kann der TCAM verbundene und /32 Routen übernehmen). Umgekehrt ist dies jedoch nicht der Fall (wenn der TCAM voll ist, wird er nicht zum EM überlaufen).

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

80000 Präfixe über BGP einschleusen

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

Protokollmeldung zeigt an, dass FED keinen Eintrag vom Typ FIB programmieren kann

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Lösung

Die Präfixzusammenfassung ist erforderlich, um dieses Skalierungsproblem zu beheben. Die zusammengefasste Methode hängt vom verwendeten Protokoll, der Aneinanderreihung der Subnetze und der jeweiligen Umgebung ab.

- In diesem Beispiel ist BGP das Protokoll, und Zusammenfassungsverfahren finden Sie auf dieser Seite: IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter: Configuring BGP

- Weitere Techniken zur Zusammenfassung finden Sie im Abschnitt "Zugehörige Informationen" dieses Dokuments. (Alle angegebenen Links stammen von den 9500 Konfigurationsseiten. Bei Bedarf können Sie weitere Leitfäden zu den Plattformen konsultieren.)

Sie können in der Hardware installierte Präfixe auch nach Präfixlänge überprüfen, um festzustellen, wie viele von jeder Länge sind, und ggf. zusammenfassen.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

Skalierungslimit und Problembehebung (UADP 3.0-Switches)

Wie bereits im Dokument "Understanding Hardware Resources on Catalyst 9000 Switches" (Hardwareressourcen auf Catalyst 9000-Switches) erwähnt, verwenden UADP 3.0-basierte Switches einen optimierten FIB-Speicher, der sowohl Exact Match (EM)- als auch Longest Prefix Match (LPM)-Einträge kombiniert. Was als TCAM-Speicher aufgeführt ist, wird nur für Überläufe, Kollisionen und andere Ausnahmen verwendet.

Wenn Sie feststellen, dass TCAM stark genutzt wird und EM/LPM nicht wie genutzt wird (nicht in der Nähe oder bei Maximalwerten), kann dies auf ein Netzwerkdesign zurückzuführen sein, bei dem zu viele Präfixlängen verwendet werden. EM/LPM kann nur eine bestimmte Anzahl von Maskenlängen programmieren, die Anzahl ist jedoch nicht statisch. Die von EM/LPM programmierbare Anzahl von Masken variiert je nach SDM-Vorlage und hängt auch von der Routenskala Ihres Netzwerks ab.

Insgesamt ergibt sich für UADP 3.0 ein dynamisches Gleichgewicht zwischen SDM-Konfiguration, Routenskalierung (Anzahl der Routen) und Präfixlängenvarianz (Anzahl der eindeutigen Subnetzmasken). Wenn der IP-Routing-Tabelle-TCAM erschöpft ist, bevor die IP-Routing-Tabelle EM/LPM nahezu das Maximum erreicht, kann es aufgrund der SDM-Konfiguration, der Routenskalierung (Anzahl der Routen) und der Präfix-Längenvarianz (Anzahl der eindeutigen Subnetzmasken) zu einem Problem kommen.

Wenn eine FIB-Skalierungsgrenze auftritt, wird ein Syslog generiert, das anzeigt, dass die Hardware folgende Elemente nicht programmiert hat:

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Hinweis: Das Syslog weist nur auf einen generischen Fehler hin, nicht spezifisch auf EM/LPM, TCAM oder andere Fehler. Sie müssen zusätzliche Befehle ausführen, um festzustellen, welche Probleme auftreten.

9500-48Y4C (9500H / Hohe Leistung - UADP 3.0-basierter Switch)

Beispiel für den vor EM/LPM genutzten TCAM:

- Die angezeigte Ausgabe zeigt an, dass der IP Route Table (FIB)-TCAM voll ist, während dies bei EM/LPM nicht der Fall ist.

- Der Switch weist mehreren Instanzen von Tabellen fester Größe im EM/LPM-Speicher Präfixe und entsprechende Masken zu.

- Eine gegebene Tabelleninstanz stellt nur eine IPv4- oder IPv6-Präfixlänge dar. Die Maske wird nicht für jeden Präfixeintrag in der Hardware gespeichert, sondern nur für die gesamte Tabelleninstanz, was wertvollen Platz auf der Hardware spart.

- Die Zuordnung von Präfixmasken zu Hardwaretabellen ist dynamisch und für den Betrieb ist keine Eingabe erforderlich.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

In diesem Szenario können EM/LPM-Tabellen nicht voll ausgenutzt werden:

- Für jede neu zugewiesene Tabelle wird eine bestimmte Präfixmaskenlänge für diese Tabelle reserviert. Alle Einträge für diese Tabelle sind nun auf diese Maskenlänge beschränkt. Wenn Sie weniger als die maximale Anzahl von Einträgen für diese Tabelleninstanz haben, wird die effektive Auslastung um die Anzahl der Einträge reduziert, die in dieser Tabelleninstanz verbleiben. Sie können nicht für eine andere Maskenlänge zurückgewonnen werden.

- Wenn Sie diese suboptimale Auslastung über mehrere Maskenlängen hinweg wiederholen, wird die effektive Auslastung des EM/LPM-Speichers erheblich reduziert.

- Wenn EM/LPM-Tabellen nicht mehr für neue Maskenlängen verfügbar sind, werden stattdessen die Präfixe mit dieser Maske installiert und fließen in TCAM über. Begrenzter TCAM-Bereich ist schnell belegt.

- Die Anzahl der für EM/LPM verfügbaren Tabellen hängt von Ihrer SDM-Konfiguration ab.

Eine breite Verteilung der Maskenlängen in Kombination mit Masken mit einer geringen Anzahl an Präfixen führt zu Szenarien, in denen viele Tabellen zugewiesen und viele nicht ausgelastet sind. Dies führt dazu, dass die Fehlermeldung "Failed to allocation hardware resource for fib..." (Hardwareressource konnte nicht für fib... zugewiesen werden) angezeigt wird, bevor die optimale maximale Hardwarenutzung auf UADP 3.0-basierten Switches erreicht wird.

Mit zunehmender Anzahl von Tabelleninstanzen, die einer einzelnen Präfixlänge zugeordnet sind, stehen möglicherweise nicht genügend Tabellen für Präfixe anderer Längen zur Verfügung.

Eine suboptimale Nutzung kann auftreten, wenn die Anzahl der Einträge mit einer Präfixlänge die letzte Tabelle, zu der sie gehört, nicht vollständig ausnutzt.

Dieses Beispiel zeigt die 4500 eBGP-Präfixe, die auf einem 9500-48Y4C-Switch empfangen wurden.

- Jede Tabelle kann ca. 2048 Routen / Einträge enthalten.

- Die Hardware verfügt über Tische in zwei festen Größen, 2048 und 8192. Sie werden dynamisch basierend auf Routenskalierung, Präfixverwendung und verwendeter SDM-Vorlage zugewiesen.

- In diesem Beispiel werden drei Tabellen im Format 2048 als /32 gekennzeichnet, um 4500 Routen mit der Maskenlänge /32 aufzunehmen. Einige der Tabellen mit der Größe 2048 verfügen nur über zugewiesenen Speicherplatz für /32-IPv4-Routen.

Dies lässt sich über diese CLI beobachten:

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

Im nächsten Beispiel wird die minimale Anzahl an Präfixen eingespritzt, um zu erzwingen, dass für jede Maskenlänge von /11 bis /32 eine neue Tabelle verwendet wird.

Dies wird durch die Verwendung der SDM-Verteilungsvorlage für Cisco IOS XE 17.3 erreicht. Diese enthält 56 Tabellen, die dynamisch für FIB-Einträge zugewiesen werden können.

- /32-Länge auf bis zu 74000 Präfixe skaliert

- /12 - 300 Präfixe

- /11 - 1.250 Präfixe

- Die Maskenlängen von /13 bis /32 enthalten etwa 12 Präfixe. Bei geringerem Wert kann die Hardware stattdessen TCAM verwenden, um die Präfixe einer bestimmten Maskenlänge zu speichern.

Hinweis: Der Hardware-Algorithmus, der die Zuweisung von EM/LPM und TCAM regelt, ist komplex und gleicht die Benutzerkonfiguration und die Einschränkungen der Hardware aus. Die in diesem Dokument präsentierten Ergebnisse geben nicht vollständig wieder, wie sich ein System in einem Produktionsnetzwerk verhalten kann.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

Verwenden Sie zum Beheben dieses Szenarios eine oder mehrere dieser Optionen in der Reihenfolge ihrer Priorität

- Prüfen Sie alternative SDM-Vorlagen:

- Dank umfangreicherer Vorlagen für FIB-/IP-Routen-Skalierung sind mehr Hardware-Tabellen für diese FIB insgesamt verfügbar. Dies kann die effektive Auslastung (verwendete Einträge / verfügbare Einträge) sowie die Gesamtskalierung verbessern.

- Umgekehrt reduzieren SDM-Vorlagen mit geringerer Skalierung für FIB-/IP-Routen die Gesamtmenge der für die FIB verfügbaren Hardwaretabellen.

- Vollständige Eliminierung einer oder mehrerer Präfixlängen (Masken) aus der Routing-Tabelle

- Routen zusammenfassen (Verringerung der Gesamtzahl der Präfixe)

Hinweis: Siehe "Kapitel: Konfigurieren von SDM-Vorlagen" im "Konfigurationsleitfaden zur Systemverwaltung" für Catalyst Switches der Serien 9500 und 9600, um mehr über SDM-Vorlagen zu erfahren.

Szenario: SGT/SXP-Zuordnungen | TrustSec-Skalierung

Zu erfassende Befehle für TAC

Die häufigsten Probleme mit Hardwareressourcen im Zusammenhang mit der IPv4-Nutzung werden in diesem Leitfaden mit entsprechenden Sanierungsschritten behandelt. Falls Ihr Problem jedoch nicht durch diesen Leitfaden behoben werden konnte, sammeln Sie die angezeigte Befehlsliste, und fügen Sie sie Ihrer TAC-Serviceanfrage bei.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

Wenn Sie ein Problem mit diesem Dokument finden, verwenden Sie die Schaltfläche Feedback rechts in diesem Artikel. Geben Sie so viele Details wie möglich an, wenn Sie die Anfrage oder das Feedback zu diesem Dokument einreichen, das auch Informationen über den Abschnitt, den Bereich oder das Problem enthält, das Sie mit dem Dokument hatten, und was verbessert werden könnte.

Zugehörige Informationen

Technischer Support und Dokumentation für Cisco Systeme

besseres Verständnis der Hardwareressourcen der Catalyst Switches der Serie 9000

IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Kapitel: Konfigurieren von OSPF

IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Kapitel: Konfigurieren von EIGRP

IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Kapitel: Konfigurieren von BGP

Konfigurationsanleitung zur Systemverwaltung, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Kapitel: Konfigurieren von SDM-Vorlagen

Datenblatt zu Cisco Catalyst 9200 Switches

Datenblatt zu Cisco Catalyst 9300 Switches

Cisco Catalyst Switches der Serie 9400 - Datenblätter

Cisco Catalyst Switches der Serie 9500 - Datenblätter

Datenblatt zu Cisco Catalyst 9600 Switches

Whitepaper zur Cisco Catalyst 9500-Architektur