Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Achtergrondinformatie

Video

Terminologie

Algemene opdrachten voor hardwarevalidering

IPv4-schalingssysteem

Gebruiksvoorbeelden

Gebruiksvoorbeelden (niet-HP 16.12.x)

Gebruiksvoorbeelden (niet-HP 17.x)

Gebruiksvoorbeelden (HP en 9600 17.x)

Problemen oplossen

Schaalgrens en -herstel (UADP 2.0-switches)

Schaalgrens en -herstel (UADP 3.0 switches)

Scenario: SGT/SXP-toewijzingen | Trustsec-schaal

Te verzamelen opdrachten voor TAC

Gerelateerde informatie

Inleiding

Dit document beschrijft hoe u het hardwaregebruik van IPv4 Forwarding Information Base (FIB) op Catalyst 9000 Series switches kunt begrijpen en verifiëren.

Voorwaarden

Vereisten

Er zijn geen specifieke vereisten van toepassing op dit document.

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

- Cisco Catalyst 9200, 9300, 9400, 9500 (niet-hoogwaardige) Series switches op Cisco IOS® XE 16.x en 17.x-software

- Cisco Catalyst 9500 (hoogwaardige), 9600 Series switches op Cisco IOS® XE 16.x en 17.x-software

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Als u een probleem oplost dat niet werkt zoals verwacht, is een goed referentiepunt om te bevestigen dat de hardware niet groter is dan de omvang van de betreffende switch. Hoewel switches kunnen variëren in de omvang van deze hardwaretabellen, blijft de verificatie- en probleemoplossingsmethodologie grotendeels hetzelfde.

Deze pagina is ook een referentiepagina waar u informatie kunt vinden over verschillende functies en hoe u de hardwareschaal kunt controleren.

Er worden voorbeelden gegeven voor deze softwareversies en apparaattypen:

- 16.x en 17.x software treinen, omdat de CLI uitgangen aanzienlijk verschillen

- Specifieke informatie over de 9500 (High Performance) en 9600 aangezien Hash en Ternary Content Adressable Memory (TCAM) in deze modellen op een andere manier worden toegewezen dan andere Catalyst 9000 switches

Dit document helpt bij:

- Begrijp welke tabel (hash/TCAM) wordt gebruikt

- Begrijp wat de tabel in kwestie verbruikt

- Begrijp waarom een bepaalde tabel werd gebruikt (hash versus TCAM)

- Begrijp logboeken of foutenmeldingen die op een middelkwestie wijzen

- Maatregelen om problemen bij de toewijzing van hardwareresources op te lossen

Opmerking: wanneer switches Virtual Routing and Forwarding (VRF) gebruiken, moet het totale gebruik verbruik in elke VRF opnemen.

Video

Deze video gaat over het oplossen van problemen met FIB-hardwarebronnen: Probleemoplossing voor Catalyst 9000 Switch FIB Uitputting van hardwareresources

Terminologie

ADJ

Aangrenzing (tabel)

Slaat volgende hopinformatie op die voor pakketherschrijven wordt gebruikt

DI

Bestemming-index

Index die naar de uitgaande interface wijst

EM

Exacte overeenkomst

Een ingang in Hash geheugen die een 1:1 gelijke (gastheerroute, Direct Verbonden gastheer) is

FIB

Forwarding Information Base

Vereenvoudigde tabel met prefixes toegevoegd door de tabellen Routing Information Base (RIB) en Address Resolution Protocol (ARP) met een aanwijzer naar de ADJ-tabel

FED

voorwaartse motordriver

De Application Specific Integrated Circuit (ASIC) (hardware)-laag

FMAN-FP

Forwarding Manager - Forwarding Plane

FMAN-FP beheert softwareobjecten die FED-informatie toevoegen, verwijderen of aanpassen

LPM

Langste prefixovereenkomst

Elke route die /31 of korter is (0/32 routes zijn EM type)

RI

Index herschrijven

MAC-adres herschrijfinformatie voor Layer 3 doorsturen naar de volgende hop-nabijheid

RIB

Routing Information Base

De routeringstabel in "IP-route tonen"

SDM

Switch Database Manager

Softwareproces waarbij hardwarebronnen van de switch worden toegewezen aan verschillende functies die deze vereisen (MAC-adressen, routers, toegangslijsten)

SI

Station Index

Station Index =  pakket herschrijf informatie (RI = herschrijf index) & uitgaande interfaceinformatie (DI = bestemming index)

TCAM

Ternair content-adresseerbaar geheugen

Een type geheugen dat gegevens opslaat en opvraagt met drie verschillende ingangen: 0, 1 en X. Dit type geheugen moet worden gebruikt in gevallen waarin er meerdere overeenkomsten kunnen zijn met dezelfde ingang, en de resulterende Hash voor elk niet uniek zou zijn. Deze tabel bevat een masker of "X"-waarde die het mogelijk maakt te weten of het overeenkomt met dit item of niet overeenkomt.

UADP

Cisco Unified Access™ Gegevensvlak

De in de switch gebruikte ASIC-architectuur

Direct verbonden

Direct Connected Route

Een lokaal verbonden hostprefix (ARP-aangrenzend)

Indirect verbonden

Indirect verbonden router

Een route die via een afgelegen volgende hop te bereiken is

SGT

SXP

CTS (Trustsec)

Algemene opdrachten voor hardwarevalidering

Deze opdrachten tonen gebruiksstatistieken op hoog niveau voor Hash, TCAM, Interface en Herschrijven gebruikte bronnen. Deze middelen houden verband met elkaar, en de uitputting van een van de genoemde middelen kan van invloed zijn op het vermogen om andere beschikbare middelen volledig te gebruiken.

Voorbeeld: Een switch kan beschikbaar Hash / TCAM, maar heeft geen Adjacencies. De mogelijkheid om pakketten door te sturen kan worden beïnvloed aan een doelprefix omdat de switch geen nieuwe herschrijfoptie kan programmeren.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Opmerking: Zie "Hoofdstuk: SDM-sjablonen configureren" in de "Systeembeheerconfiguratiegids" voor meer informatie over deze opdrachten

IPv4-schalingssysteem

Dit scenario toont aan hoe elke tabel wordt gebruikt, en wat te doen als een of andere tabel op of buiten de schaal is. Het dekt ook afhankelijke bronnen die nodig zijn om door te sturen naar een IP-bestemming.

Symptoom: de bron is groter dan de schaal

1. Problemen met de bereikbaarheid van apparaten of prefixen. Terwijl de routes die bestaan of de apparaten bereikbaar kunnen blijven, zijn om het even welke nieuwe of bijgewerkte prefixes niet bereikbaar.

2. Logberichten geven aan dat de hardware geen nieuwe objectupdates kan uitvoeren

3. De objectlaag, die software in hardware programmeert, raakt verstopt

4. Afwezigheid van vermeldingen op de betrokken hardwarelaag (in dit geval is de FIB de getroffen laag).

Als een bepaalde IPv4 FIB- of Adjacency resource SYSLOG-bericht niet beschikbaar is, wordt deze door het systeem gegenereerd

IPv4 FIB-logbericht

Definitie

Terugvorderingsactie

%FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: fed:kan geen hardwarebron toewijzen voor fib-invoer vanwege uitputting van hardwareresources

Hardware gereserveerd voor IPv4 FIB-vermeldingen heeft geen ruimte meer (EM of TCAM)

Routes samenvatten of een andere actie ondernemen om de schaal van FIB ingangen te verminderen (dit kan EM of TCAM zijn, welke één uitgeput is).

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: gevoed:Toewijzen van hardwarebron voor adj-invoer mislukt - rc:1

De aanpassingstabel is leeg. Dit is de tabel in hardware waar de volgende hop bestemming MAC-adressen worden opgeslagen.

Verminder het schaalaantal direct verbonden (ARP-aangrenzende) hosts

Gebruiksvoorbeelden

Gebruiksvoorbeelden (niet-HP 16.12.x)

in Cisco IOS®-software

Hardware

16.12.5

Catalyst 9200/9300/9400/9500 (niet-hoogwaardige) switches

Gebruik van basislijn-bronnen

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

SVI VLAN 1 IP-adres met /24-masker toevoegen

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

Voeg 3 EM prefixes toe (0/32 masker)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

Gebruiksvoorbeelden (niet-HP 17.x)

in Cisco IOS®-software

Hardware

17,x

Catalyst 9200/9300/9400/9500 (niet-hoogwaardige) switches

Gebruik van basislijn-bronnen

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

SVI VLAN 1 IP-adres met /24-masker toevoegen

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

Voeg 3 EM prefixes toe (0/32 masker)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

Gebruiksvoorbeelden (HP en 9600 17.x)

in Cisco IOS®-software

Hardware

17,x

Catalyst 9500 (hoogwaardige), 9600 switches

Opmerking: voor de 9500(High Performance) en 9600 worden alleen 17.x CLI’s gegeven. Zie de vorige sectie voor 16.x voorbeelden.

Gebruik van basislijn-bronnen

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

Problemen oplossen

Schaalgrens en -herstel (UADP 2.0-switches)

Dit deel heeft betrekking op één gebruiksgeval waarin TCAM voor IPv4 is uitgeput:

- In dit voorbeeld worden voorvoegsels gesimuleerd met /24

- Protocol BGP

- Platform 9400

- Cisco IOS XE 17.3.2

Uitgangswaarde Gebruik

Met de 9400 Sup-1 is elke prefix die /31 of korter is, gebruikt TCAM, niet EM

- Het maximale aantal IPv4 prefixes dat aan TCAM kan worden toegevoegd, is 65535.

Opmerking: de IP-route EM en TCAM wordt ook gebruikt door Multiprotocol Label Switching (MPLS), waarbij MPLS-labels eerst aan EM worden toegevoegd en vervolgens overlopen naar TCAM als de limiet wordt bereikt. Als uw apparaat een MPLS Provider Edge (PE) is en VPNv4-labels toewijst, wordt dit afgetrokken van het totale aantal.

Opmerking: het is ook belangrijk om te weten dat als EM-geheugen eerst wordt opgevuld, het mag overstromen naar TCAM-geheugen. (Als de switch buiten 49152 EM-vermeldingen kan worden geschaald, kan TCAM worden gevuld met Connected en /32 routes). Echter, het omgekeerde gebeurt niet (als TCAM vult, overstroomt het niet naar EM)

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

80000 via BGP injecteren

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

Logbericht geeft aan dat de FED geen FIB-type kan programmeren

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Oplossing

Een samenvatting van het prefix is nodig om dit soort schaalprobleem op te lossen. De methode om samen te vatten is afhankelijk van het gebruikte protocol, hoe aangrenzend uw subnets zijn, en uw specifieke milieu.

- In dit voorbeeld is BGP het protocol en de samenvattingstechnieken kunnen op deze pagina worden gevonden: IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter: Config BGP

- Andere overzichtstechnieken kunt u vinden in het gedeelte Verwante informatie van dit document. (Alle links zijn afkomstig van de 9500 configuratiepagina's. Raadpleeg indien nodig andere platformgidsen).

U kunt ook de prefixes controleren die in de hardware is geïnstalleerd op basis van de lengte van het prefix om te bepalen hoeveel van elke lengte, en waar nodig samen te vatten.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

Schaalgrens en -herstel (UADP 3.0 switches)

Zoals wordt opgemerkt in het document "Understand Hardware Resources on Catalyst 9000 Switches " op UADP 3.0 gebaseerde switches maken gebruik van een geoptimaliseerd FIB-geheugen dat zowel Exact Match (EM)- als Langste Prefix Match (LPM)-vermeldingen combineert. Wat wordt vermeld als TCAM geheugen wordt slechts gebruikt voor overflow, botsingen, en andere uitzonderingen.

Als u opmerkt dat TCAM zeer wordt gebruikt en EM/LPM niet zo wordt gebruikt (niet in de buurt van of bij maximumwaarden), kan dit te wijten zijn aan een netwerkontwerp waar er te veel prefixlengtes worden gebruikt. EM/LPM kan alleen een specifiek aantal maskerlengten programmeren, maar het nummer is niet statisch. De hoeveelheid maskers die EM/LPM kan programmeren, varieert met SDM-sjabloon en varieert verder met de routesnelheid van uw netwerk.

Samenvattend, voor UADP 3.0 is er een dynamisch evenwicht tussen SDM-configuratie, routesnelheid (aantal routes) en prefixlengtevariantie (aantal unieke subnetmaskers). Als IP Route Table TCAM is uitgeput voordat IP Route Table EM/LPM bijna het maximum bereikt, is het mogelijk dat er een probleem is als gevolg van SDM-configuratie, routesnelheid (aantal routes) en prefixlengte variantie (aantal unieke subnetmasker).

Wanneer een FIB-schaallimiet optreedt, wordt een syslog gegenereerd die aangeeft dat de hardware niet heeft geprogrammeerd:

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Opmerking: De syslog geeft alleen een algemene fout aan, niet specifiek EM/LPM, TCAM of anderszins. U moet extra opdrachten uitvoeren om te zien wat een probleem heeft.

Catalyst 9500-48Y4C (9500H / hoogwaardige - op UADP 3.0 gebaseerde switch)

Voorbeeld van TCAM die vóór EM/LPM is gebruikt:

- De getoonde output geeft aan dat IP Route Table (FIB) TCAM vol is, terwijl EM/LPM niet vol is.

- Begrijp dat de switch prefixes en correspondentmaskers toewijst aan meerdere instanties van tabellen van vaste grootte in EM/LPM geheugen

- Een gegeven tabelinstantie vertegenwoordigt slechts één IPv4- of IPv6-prefixlengte. Het masker wordt niet opgeslagen voor elke prefixingang in hardware, alleen voor de tabelinstantie als geheel, die waardevolle hardwareruimte bespaart.

- De toewijzing van prefixmaskers aan hardwaretabellen is dynamisch en er is geen invoer vereist voor de werking ervan.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

In dit scenario kunnen EM/LPM-tabellen als volgt worden onderbenut:

- Voor elke nieuwe toegewezen tabel wordt een specifieke prefixmaskerlengte gewijd aan die tabel. Alle vermeldingen voor die tabel zijn nu beperkt tot die maskerlengte. Als u minder hebt dan het maximale aantal items voor die tabelinstantie, wordt het effectieve gebruik verminderd met het aantal items dat in die tabelinstantie blijft staan. Ze kunnen niet worden teruggewonnen voor een andere maskerlengte.

- Als u dit suboptimale gebruik over meerdere maskerlengtes herhaalt, wordt het effectieve gebruik van EM/LPM-geheugen aanzienlijk verminderd.

- Wanneer EM/LPM-tabellen niet meer beschikbaar zijn voor nieuwe maskerlengtes, worden die prefixes met dat masker in plaats daarvan geïnstalleerd en overlopen in TCAM. Beperkte TCAM-ruimte vult zich snel.

- De hoeveelheid tabellen die beschikbaar is voor EM/LPM varieert afhankelijk van uw SDM-configuratie.

Een brede verdeling van maskerlengtes, gecombineerd met maskers die een lage hoeveelheid prefixes hebben, leidt tot scenario's waar vele tabellen zijn toegewezen, en vele zijn onderbenut. Dit zorgt ervoor dat "Fout bij het toewijzen van hardwarebronnen voor fib..." fouten worden weergegeven voordat de ideale maximale hardwarebenutting wordt bereikt op switches die zijn gebaseerd op UADP 3.0.

Aangezien het aantal tabelinstanties dat is toegewezen aan één prefixlengte toeneemt, is het mogelijk dat er niet genoeg tabellen beschikbaar zijn voor prefixes van andere lengtes.

Suboptimaal gebruik kan voorkomen wanneer de hoeveelheid ingangen van een prefixlengte de laatste tabel waar het deel van uitmaakt niet volledig gebruikt.

Dit voorbeeld illustreert 4500 eBGP-prefixes op een 9500-48Y4C switch.

- Elke tabel kan ongeveer 2048 routes / ingangen hebben.

- De hardware heeft tafels van twee vaste maten, 2048 en 8192. Ze worden dynamisch toegewezen op basis van routesnelheid, prefixgebruik en SDM-sjabloon die wordt gebruikt

- Bij dit voorbeeld, drie 2048 grootte tabellen zijn gemarkeerd als /32 om 4500 routes van /32 maskerlengte te houden. Sommige tabellen met de afmetingen van 2048 hebben alleen ruimte voor /32 IPv4-routes.

Dit kan worden waargenomen via deze CLI:

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

In het volgende voorbeeld, wordt de minimumhoeveelheid prefixes geïnjecteerd om een nieuwe lijst te dwingen om voor elke maskerlengte van /11 tot /32 worden gebruikt.

Dit wordt bereikt door het gebruik van de "Distribution" SDM Template op Cisco IOS XE 17.3 - die 56 tabellen heeft die dynamisch kunnen worden toegewezen voor FIB-vermeldingen.

- /32 wordt de lengte opgeschaald naar 74000 prefixes

- 12/12 - 300 prefixes

- 1/11 - 1250 prefixes

- De maskerlengtes van /13 tot /32 bevatten ongeveer 12 prefixes. Minder, en de hardware kan in plaats daarvan kiezen om TCAM te gebruiken om die prefixes van een bepaalde maskerlengte op te slaan.

Opmerking: het hardware-algoritme dat de EM/LPM en TCAM-toewijzing regelt, is complex en balanceert zowel de gebruikersconfiguratie als de beperkingen van de hardware. De in dit document gepresenteerde resultaten zijn niet volledig representatief voor de manier waarop een systeem zich in een productienetwerk kan gedragen.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

Om dit scenario op te lossen, gebruikt u een of meer van deze opties in volgorde van prioriteit

- Onderzoek alternatieve SDM-sjablonen:

- Verhoogde FIB / IP-routesjablonen verhogen de totale hardwaretabellen beschikbaar voor dit FIB. Dit kan het effectieve gebruik (gebruikte items / beschikbare items) en de totale schaal verbeteren.

- Omgekeerd: lagere schaal SDM-sjablonen voor FIB / IP Route verminderen de totale hoeveelheid hardware tabellen beschikbaar voor de FIB.

- Vermijd een of meer prefixlengten (maskerlengtes) volledig uit de routetabel

- Routes samenvatten (totaalvolume van prefixes verminderen)

Opmerking: Zie "Hoofdstuk: Configureer SDM-sjablonen" in de "System Management Configuration Guide" voor Catalyst 9500 en Catalyst 9600 Series Switches voor meer informatie over SDM-sjablonen.

Scenario: SGT/SXP-toewijzingen | Trustsec-schaal

Te verzamelen opdrachten voor TAC

De meest voorkomende problemen met hardwareresources die verband houden met IPv4-gebruik worden in deze handleiding besproken, met de juiste stappen voor herstel. Als uw probleem echter niet met deze handleiding is opgelost, verzamelt u de getoonde opdrachtlijst en voegt u deze toe aan uw TAC-serviceverzoek.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

Als u een probleem met dit document vindt, gebruikt u de knop Feedback aan de rechterkant van dit artikel. Geef zoveel mogelijk details wanneer u de aanvraag of feedback op dit document indient, inclusief informatie over de sectie, het gebied of het probleem dat u met het document had en wat er verbeterd kan worden.

Gerelateerde informatie

Technische ondersteuning en documentatie – Cisco Systems

Inzicht in hardwarebronnen op Catalyst 9000 Switches

IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Hoofdstuk: OSPF configureren

IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Hoofdstuk: EIGRP configureren

IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Hoofdstuk: BGP configureren

Configuratiehandleiding voor systeembeheer, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Hoofdstuk: SDM-sjablonen configureren

Gegevensblad voor Cisco Catalyst 9200 Series switches

Gegevensblad voor Cisco Catalyst 9300 Series switches

Cisco Catalyst 9400 Series Switches - gegevensbladen

Cisco Catalyst 9500 Series Switches - gegevensbladen

Gegevensblad voor Cisco Catalyst 9600 Series switches

Cisco Catalyst 9500 Series witboek voor architectuur