Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Premesse

Video

Terminologia

Comandi generali di convalida hardware

Syslog scala IPv4

Esempi di utilizzo

Esempi di utilizzo (non HP 16.12.x)

Esempi di utilizzo (non HP 17.x)

Esempi di utilizzo (HP e 9600 17.x)

Risoluzione dei problemi

Limite scala e monitoraggio e aggiornamento (switch UADP 2.0)

Limite scala e monitoraggio e aggiornamento (switch UADP 3.0)

Scenario: mapping SGT/SXP | Scala Trustsec

Comandi da raccogliere per TAC

Informazioni correlate

Introduzione

In questo documento viene descritto come comprendere e verificare l'utilizzo dell'hardware IPv4 Forwarding Information Base (FIB) sugli switch Catalyst serie 9000.

Prerequisiti

Requisiti

Nessun requisito specifico previsto per questo documento.

Componenti usati

Le informazioni fornite in questo documento si basano sulle seguenti versioni software e hardware:

- Switch Cisco Catalyst serie 9200, 9300, 9400, 9500 (non ad alte prestazioni) su software Cisco IOS® XE 16.x e 17.x

- Cisco Catalyst serie 9500 (High Performance), switch 9600 su software Cisco IOS® XE 16.x e 17.x

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Premesse

Quando si risolve un problema relativo a una funzione che non funziona come previsto, un buon punto di riferimento è quello di verificare che l'hardware non superi le dimensioni dello switch in questione. Mentre le dimensioni di queste tabelle hardware possono variare, la metodologia di verifica e risoluzione dei problemi rimane pressoché la stessa.

Questa pagina è anche una pagina di riferimento in cui è possibile trovare informazioni su varie funzioni e su come controllare la scala hardware.

Di seguito sono riportati alcuni esempi per le seguenti versioni software e tipi di dispositivi:

- 16.x e 17.x, in quanto gli output CLI sono significativamente diversi

- Informazioni specifiche dei modelli 9500 (High Performance) e 9600 in quanto questi modelli allocano la memoria indirizzabile all'hash e al contenuto ternario (TCAM) in modo diverso rispetto agli altri switch Catalyst 9000

Questo documento aiuta a:

- Individuazione della tabella (hash/TCAM) utilizzata

- Comprendere cosa consuma la tabella in questione

- Comprendere il motivo per cui è stata utilizzata una determinata tabella (hash vs TCAM)

- Comprendere i registri o i messaggi di errore che indicano un problema a livello di risorse

- Azioni da eseguire per risolvere i problemi di allocazione delle risorse hardware

Nota: quando gli switch utilizzano VRF (Virtual Routing and Forwarding), l'utilizzo totale deve includere il consumo in ciascun VRF.

Video

In questo video viene illustrato come risolvere i problemi relativi alle risorse hardware FIB: Risoluzione dei problemi relativi all'esaurimento delle risorse hardware FIB dello switch Catalyst 9000

Terminologia

RETTIFICA

Adiacente (tabella)

Memorizza le informazioni sull'hop successivo utilizzate per la riscrittura dei pacchetti

ID

Indice destinazione

Indice che punta all'interfaccia in uscita

EM

Corrispondenza esatta

Una voce nella memoria hash corrispondente a 1:1 (percorso host, host connesso direttamente)

FIB

Base informazioni di inoltro

Tabella semplificata con prefissi aggiunti dalle tabelle RIB (Routing Information Base) e ARP (Address Resolution Protocol) con un puntatore alla tabella ADJ

FED

Driver motore di inoltro

Livello ASIC (Application Specific Integrated Circuit) (hardware)

FMAN-FP

Forward Manager - Piano di inoltro

FMAN-FP gestisce oggetti software che aggiungono, eliminano o modificano informazioni FED

LPM

Corrispondenza prefisso più lunga

Qualsiasi route che sia /31 o più breve (le route /32 sono di tipo EM)

RI

Riscrivi indice

Informazioni di riscrittura dell'indirizzo MAC per l'inoltro di livello 3 al adiacente hop successivo

NERVATURA

Base informazioni di routing

La tabella di routing mostrata in "show ip route"

SDM

Cambia gestione database

Processo software che alloca le risorse hardware dello switch a varie funzionalità che le richiedono (indirizzi MAC, percorsi, voci dell'elenco degli accessi)

SI

Indice stazione

Indice stazione =  informazioni sulla riscrittura dei pacchetti (RI = Rewrite Index) e informazioni sull'interfaccia in uscita (DI = Destination Index)

TCAM

Memoria ternaria indirizzabile al contenuto

Tipo di memoria che memorizza ed esegue query su voci con tre input diversi: 0, 1 e X. Questo tipo di memoria deve essere utilizzato nei casi in cui è possibile che vi siano più corrispondenze alla stessa voce e l'Hash risultante per ciascuna voce non è univoco. Questa tabella include una maschera o un valore "X" che consente di sapere se corrisponde o meno a questa voce.

UADP

Cisco Unified Access™ Piano dati

Architettura ASIC utilizzata nello switch

Connesso direttamente

Route con connessione diretta

Un prefisso host connesso localmente (ARP adiacente)

Connesso indirettamente

Route con connessione indiretta

Percorso da raggiungere tramite un hop successivo remoto

SGT

SXP

CTS (Trustsec)

Comandi generali di convalida hardware

Questi comandi mostrano statistiche di utilizzo di alto livello per le risorse Hash, TCAM, Interface e Rewrite utilizzate. Tali risorse sono correlate e l'esaurimento di una delle risorse citate può influire sulla capacità di utilizzare pienamente altre risorse disponibili.

Esempio: uno switch può avere Hash / TCAM disponibile, ma ha esaurito le adiacenze. La possibilità di inoltrare i pacchetti può essere influenzata dal prefisso di destinazione, in quanto lo switch non può programmare una nuova voce di riscrittura.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Nota: per ulteriori informazioni su questi comandi, vedere il "Capitolo: Configurazione dei modelli SDM" nella "Guida alla configurazione di System Management"

Syslog scala IPv4

In questo scenario viene illustrato l'utilizzo di ogni tabella e l'operazione da eseguire se una tabella o un'altra tabella è in scala o fuori scala. Copre inoltre le risorse dipendenti necessarie per l'inoltro a una destinazione IP.

Sintomo: la risorsa è oltre la scala

1. Problemi di raggiungibilità del dispositivo o del prefisso. Sebbene le route esistenti o i dispositivi possano rimanere raggiungibili, non è possibile raggiungere prefissi nuovi o aggiornati.

2. I messaggi di log indicano che l'hardware non è in grado di eseguire nuovi aggiornamenti degli oggetti

3. Livello oggetti, che congestiona il software dell'hardware

4. Voci assenti nel livello hardware interessato (in questo caso il FIB è il livello interessato).

Se si esaurisce un determinato messaggio FIB IPv4 o SYSLOG della risorsa adiacente, il sistema lo genera

Messaggio di log FIB IPv4

Definizione

Azione di ripristino

%FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: feed: impossibile allocare la risorsa hardware per la voce fib a causa dell'esaurimento delle risorse hardware

Spazio esaurito (EM o TCAM) nell'hardware riservato per le voci FIB IPv4

Riepilogare i percorsi o intraprendere altre azioni per ridurre la scala delle voci FIB (può essere EM o TCAM, a seconda di quale sia esaurito).

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: feed:Impossibile allocare la risorsa hardware per la voce adj - rc:1

Tabella Adiacente esaurita. Questa è la tabella nell'hardware in cui sono memorizzati gli indirizzi MAC di destinazione dell'hop successivo.

Ridurre il numero di scalabilità degli host direttamente connessi (ARP adiacenti)

Esempi di utilizzo

Esempi di utilizzo (non HP 16.12.x)

Software

Hardware

16.12.5

Catalyst 9200/9300/9400/9500 (non ad alte prestazioni) switch

Utilizzo risorse previsto

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

Aggiungere l'indirizzo IP Vlan 1 SVI con la maschera /24

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

Aggiungi 3 prefissi EM (maschera 1/32)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

Esempi di utilizzo (non HP 17.x)

Software

Hardware

17,x

Catalyst 9200/9300/9400/9500 (non ad alte prestazioni) switch

Utilizzo risorse previsto

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

Aggiungere l'indirizzo IP Vlan 1 SVI con la maschera /24

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

Aggiungi 3 prefissi EM (maschera 1/32)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

Esempi di utilizzo (HP e 9600 17.x)

Software

Hardware

17,x

Catalyst 9500 (alte prestazioni), switch 9600

Nota: per 9500 (High Performance) e 9600 sono fornite solo CLI 17.x. Consultare la sezione precedente per gli esempi 16.x.

Utilizzo risorse previsto

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

Risoluzione dei problemi

Limite scala e monitoraggio e aggiornamento (switch UADP 2.0)

In questa sezione viene descritto un caso di utilizzo in cui il TCAM è esaurito per IPv4:

- I prefissi simulati in questo esempio sono /24

- Protocollo BGP

- Platform 9400

- Cisco IOS XE 17.3.2

Utilizzo previsto

Con il modello 9400 Sup-1, qualsiasi prefisso /31 o più breve consuma TCAM, non EM

- Il numero massimo di prefissi IPv4 che possono essere aggiunti a TCAM è 65535.

Nota: IP Route EM e TCAM viene utilizzato anche da Multiprotocol Label Switching (MPLS) con etichette MPLS aggiunte prima a EM, quindi overflow su TCAM se il limite viene raggiunto. Se il dispositivo è un MPLS Provider Edge (PE) e alloca etichette VPNv4, questo viene sottratto dal numero totale.

Nota: è anche importante sapere che se la memoria EM si esaurisce prima, è consentito l'overflow nella memoria TCAM. (se lo switch supera le 49.152 voci EM, TCAM può riempire con route Connected e /32). Tuttavia, il contrario non si verifica (se TCAM si riempie, non si verifica un overflow in EM)

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

Inserimento di prefissi 80000 tramite BGP

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

Il messaggio di registro indica che FED non può programmare una voce di tipo FIB

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Soluzione

Per risolvere questo tipo di problema di scala, è necessario riepilogare i prefissi. Il metodo da riepilogare dipende dal protocollo utilizzato, dalla contiguità delle subnet e dall'ambiente specifico.

- Nell'esempio, il protocollo è BGP e le tecniche di riepilogo sono disponibili in questa pagina: IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (switch Catalyst 9500) - Capitolo: Configurazione di BGP

- Altre tecniche di riepilogo sono disponibili nella sezione Informazioni correlate di questo documento. (Tutti i link forniti provengono dalle pagine di configurazione 9500. Consultare altre guide della piattaforma, se necessario).

È inoltre possibile controllare i prefissi installati nell'hardware in base alla lunghezza del prefisso per determinare quanti di ogni lunghezza e riepilogarli se necessario.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

Limite scala e monitoraggio e aggiornamento (switch UADP 3.0)

Come indicato nel documento "Comprendere le risorse hardware sugli switch Catalyst 9000", gli switch basati su UADP 3.0 utilizzano una memoria FIB ottimizzata che combina le voci Exact Match (EM) e Longest Prefix Match (LPM). La memoria TCAM viene utilizzata solo per l'overflow, le collisioni e altre eccezioni.

Se si osserva che il TCAM è ampiamente utilizzato e EM/LPM non è altrettanto utilizzato (non vicino o con i valori massimi), ciò può essere dovuto a un progetto di rete in cui vengono utilizzate troppe lunghezze di prefisso. EM/LPM può programmare solo un numero specifico di lunghezze di maschera, ma il numero non è statico. La quantità di maschere che EM/LPM è in grado di programmare varia a seconda del modello SDM e varia ulteriormente in base alla scalabilità dei percorsi della rete.

In sintesi, per UADP 3.0 esiste un equilibrio dinamico tra la configurazione SDM, la scala delle route (numero di route) e la varianza della lunghezza del prefisso (numero di subnet mask univoche). Se il TCAM della tabella di routing IP è esaurito prima che EM/LPM della tabella di routing IP si avvicini al massimo, è possibile che si sia verificato un problema a causa della configurazione SDM, della scala di routing (numero di route) e della varianza della lunghezza del prefisso (numero di subnet mask univoche).

Quando si verifica un limite di scala FIB, viene generato un syslog che indica che l'hardware non è riuscito a programmare:

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Nota: il syslog indica solo un guasto generico, non in modo specifico EM/LPM, TCAM o altro. È necessario eseguire altri comandi per individuare la causa del problema.

9500-48Y4C (9500H / High Performance - switch basato su UADP 3.0)

Esempio di TCAM utilizzato prima di EM/LPM:

- L'output mostrato indica che il TCAM FIB (IP Route Table) è pieno, a differenza di EM/LPM.

- Lo switch alloca prefissi e maschere corrispondenti a più istanze di tabelle a dimensione fissa nella memoria EM/LPM

- Un'istanza di tabella specificata rappresenta solo una lunghezza di prefisso IPv4 o IPv6. La maschera non viene salvata per ogni voce di prefisso nell'hardware, ma solo per l'istanza di tabella nel suo insieme, il che consente di risparmiare spazio prezioso sull'hardware.

- L'allocazione delle maschere di prefisso alle tabelle hardware è dinamica e non è necessario alcun input per il suo funzionamento.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

In questo scenario, le tabelle EM/LPM possono essere sottoutilizzate:

- Per ogni nuova tabella allocata, a tale tabella viene dedicata una lunghezza di maschera prefisso specifica. Tutte le voci della tabella sono ora limitate alla lunghezza della maschera. Se la quantità di voci per l'istanza di tabella è inferiore al massimo, l'utilizzo effettivo viene ridotto della quantità di voci rimanenti nell'istanza di tabella. Non possono essere recuperati per un'altra lunghezza di maschera.

- Se si ripete questo utilizzo non ottimale su più lunghezze di maschera, l'utilizzo efficace della memoria EM/LPM viene ridotto in modo significativo.

- Quando le tabelle EM/LPM non sono più disponibili per le nuove lunghezze della maschera, i prefissi con quella maschera vengono installati e si riversano in TCAM. Lo spazio TCAM è limitato e si riempie rapidamente.

- La quantità di tabelle disponibili per EM/LPM varia in base alla configurazione SDM.

Un'ampia distribuzione delle lunghezze delle maschere, combinata con maschere che hanno una quantità ridotta di prefissi, porta a scenari in cui molte tabelle sono allocate e molte sono sottoutilizzate. Di conseguenza, prima di raggiungere l'utilizzo ottimale dell'hardware sugli switch basati su UADP 3.0, viene visualizzato il messaggio di errore "Failed to allocate hardware resource for fib..." (Impossibile allocare le risorse hardware per la fib..).

Con l'aumento del numero di istanze di tabella allocate a una singola lunghezza di prefisso, è possibile che non vi siano tabelle sufficienti per prefissi di altre lunghezze.

L'utilizzo non ottimale può verificarsi quando la quantità di voci di una lunghezza di prefisso non utilizza completamente l'ultima tabella di cui fa parte.

Nell'esempio viene mostrato come apprendere i prefissi 4500 eBGP su uno switch 9500-48Y4C.

- Ogni tabella può contenere circa 2048 route/voci.

- L'hardware dispone di tabelle di due dimensioni fisse, 2048 e 8192. Vengono allocati in modo dinamico in base alla scala del percorso, all'utilizzo del prefisso e al modello SDM utilizzato

- In questo esempio, tre tabelle di dimensioni 2048 vengono contrassegnate come /32 per contenere 4500 route di lunghezza di maschera /32. In alcune tabelle con dimensioni 2048 è allocato spazio solo per route IPv4 /32.

Questa condizione può essere rilevata tramite la CLI seguente:

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

Nell'esempio seguente viene inserito il numero minimo di prefissi per forzare l'utilizzo di una nuova tabella per ogni lunghezza della maschera da /11 a /32.

Ciò si ottiene tramite l'uso del modello SDM "Distribution" su Cisco IOS XE 17.3, che ha 56 tabelle che possono essere allocate dinamicamente per le voci FIB.

- /32 lunghezza è scalata fino a 74000 prefissi

- /12 - 300 prefissi

- /11 - 1250 prefissi

- Le lunghezze della maschera da /13 a /32 contengono circa 12 prefissi. e l'hardware può scegliere di utilizzare TCAM per memorizzare i prefissi di una determinata lunghezza di maschera.

Nota: l'algoritmo hardware che gestisce l'allocazione di EM/LPM e TCAM è complesso e consente di bilanciare sia la configurazione utente che i limiti dell'hardware. I risultati presentati in questo documento non sono pienamente rappresentativi del comportamento di un sistema in una rete di produzione.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

Per risolvere questo scenario, utilizzare una o più opzioni in ordine di priorità

- Esaminate i modelli SDM alternativi:

- I modelli di scalabilità delle route FIB/IP aumentano le tabelle hardware totali disponibili per questo FIB. Ciò può migliorare l'utilizzo effettivo (voci utilizzate / voci disponibili) così come la scala totale.

- Viceversa, i modelli SDM di scala inferiore per la route FIB / IP riducono la quantità totale di tabelle hardware disponibili per la FIB.

- Eliminare una o più lunghezze di prefisso (maschera) dalla tabella di route

- Riepiloga route (riduce il volume totale di prefissi)

Nota: per ulteriori informazioni sui modelli SDM, vedere il "Capitolo: configurazione dei modelli SDM" nella "Guida alla configurazione della gestione del sistema" per gli switch Catalyst serie 9500 e Catalyst serie 9600.

Scenario: mapping SGT/SXP | Scala Trustsec

Comandi da raccogliere per TAC

In questa guida vengono descritti i problemi più comuni relativi alle risorse hardware correlate all'utilizzo del protocollo IPv4, con le procedure appropriate per risolverli. Tuttavia, se la presente guida non risolve il problema, raccogliere l'elenco di comandi visualizzato e allegarlo alla richiesta di servizio TAC.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

Se riscontri un problema con questo documento, utilizza il pulsante Feedback nel riquadro destro di questo articolo. Fornire il maggior numero di dettagli possibile quando si invia la richiesta o il feedback su questo documento, che include informazioni sulla sezione, l'area o il problema riscontrato nella documentazione e sui possibili miglioramenti.

Informazioni correlate

Documentazione e supporto tecnico – Cisco Systems

Conoscenza delle risorse hardware sugli switch Catalyst 9000

Guida alla configurazione del routing IP, Cisco IOS XE Amsterdam 17.3.x (switch Catalyst 9500) - Capitolo: configurazione di OSPF

Guida alla configurazione del routing IP, Cisco IOS XE Amsterdam 17.3.x (switch Catalyst 9500) - Capitolo: configurazione del protocollo EIGRP

Guida alla configurazione del routing IP, Cisco IOS XE Amsterdam 17.3.x (switch Catalyst 9500) - Capitolo: configurazione di BGP

Guida alla configurazione della gestione del sistema, Cisco IOS XE Amsterdam 17.3.x (switch Catalyst 9500) - Capitolo: configurazione dei modelli SDM

Scheda tecnica degli switch Cisco serie 9200

Scheda tecnica degli switch Cisco serie 9300

Switch Cisco Catalyst serie 9400 - Schede tecniche

Switch Cisco Catalyst serie 9500 - Schede tecniche

Scheda tecnica degli switch Cisco serie 9600

White paper sull'architettura Cisco Catalyst 9500