Contenido

Introducción

Prerequisites

Requirements

Componentes Utilizados

Antecedentes

Video

Terminology

Comandos generales de validación de hardware

Registros del sistema de escala IPv4

Ejemplos de uso

Ejemplos de uso (distinto de HP 16.12.x)

Ejemplos de uso (distinto de HP 17.x)

Ejemplos de uso (HP y 9600 17.x)

Troubleshoot

Límite de escala y remediación (switches UADP 2.0)

Límite de escala y remediación (switches UADP 3.0)

Situación: asignaciones SGT/SXP | Escala Trustsec

Comandos que se deben recopilar para TAC

Información Relacionada

Introducción

Este documento describe cómo comprender y verificar el uso de hardware de Base de información de reenvío (FIB) IPv4 en los switches Catalyst de la serie 9000.

Prerequisites

Requirements

No hay requisitos específicos para este documento.

Componentes Utilizados

La información que contiene este documento se basa en las siguientes versiones de software y hardware.

- Switches Catalyst de Cisco serie 9200, 9300, 9400, 9500 (no alto rendimiento) en el software Cisco IOS® XE 16.x y 17.x

- Switches Catalyst de Cisco serie 9500 (alto rendimiento) y 9600 en el software Cisco IOS® XE 16.x y 17.x

La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Antecedentes

Cuando se resuelve un problema de una función que no funciona como se esperaba, un buen punto de referencia es confirmar que el hardware no está más allá de la escala del switch en cuestión. Aunque el tamaño de estos cuadros de hardware de los switches puede variar, la metodología de verificación y solución de problemas sigue siendo prácticamente la misma.

Esta página también es una página de referencia donde puede encontrar información sobre diversas funciones y cómo comprobar la escalabilidad del hardware.

Se proporcionan ejemplos para estas versiones de software y tipos de dispositivos:

- Entrenamientos de software 16.x y 17.x, ya que las salidas CLI son significativamente diferentes

- Información específica para los modelos 9500 (alto rendimiento) y 9600, ya que estos modelos asignan memoria de hash y de contenido ternario direccionable (TCAM) de forma diferente que otros switches Catalyst 9000

Este documento ayuda con:

- Comprender qué tabla (hash/TCAM) se consume

- Comprender qué consume la tabla en cuestión

- Comprender por qué se utilizó una tabla determinada (hash frente a TCAM)

- Conocer los registros o mensajes de error que indican un problema de recurso

- Acciones que se deben realizar para resolver problemas de asignación de recursos de hardware

Nota: Cuando los switches utilizan Virtual Routing and Forwarding (VRF)s, el uso total debe incluir el consumo en cada VRF.

Video

Este video cubre la resolución de problemas de recursos de hardware FIB: Resolución de problemas de agotamiento de recursos de hardware FIB del switch Catalyst 9000

Terminology

ADJ

Adyacencia (tabla)

Almacena la información de siguiente salto utilizada para la reescritura de paquetes

DI

Índice de destino

Índice que señala a la interfaz saliente

EM

Coincidencia exacta

Entrada de la memoria Hash que coincide 1:1 (ruta de host, host conectado directamente)

FIB

Base de información de reenvío

Tabla simplificada con prefijos agregados por las tablas de Base de información de routing (RIB) y Protocolo de resolución de direcciones (ARP) con un puntero a la tabla ADJ

FED

Controlador de motor directo

La capa de circuito integrado específico de la aplicación (ASIC) (hardware)

FMAN-FP

Administrador de reenvíos - Plano de reenvío

FMAN-FP gestiona objetos de software que añaden, eliminan o modifican información FED

LPM

Coincidencia de prefijo más larga

Cualquier ruta que sea /31 o más corta (las rutas /32 son de tipo EM)

RI

Reescribir índice

Información de reescritura de dirección MAC para el reenvío de capa 3 a la adyacencia de salto siguiente

COSTILLA

Base de información de routing

La tabla de ruteo que se ve en "show ip route"

SDM

Administrador de base de datos de switch

Proceso de software que asigna los recursos de hardware del switch a diversas funciones que los requieren (direcciones MAC, rutas, entradas de lista de acceso)

SI

Índice de estación

Índice de estación =  información de reescritura de paquetes (RI = índice de reescritura) e información de interfaz saliente (DI = índice de destino)

TCAM

Memoria direccionable por contenido ternario

Tipo de memoria que almacena y consulta entradas con tres entradas diferentes: 0, 1 y X. Este tipo de memoria se debe utilizar en los casos en los que puede haber varias coincidencias con la misma entrada, y el valor de hash resultante para cada una no sería único. Esta tabla incluye una máscara o un valor "X" que le permite saber si coincide o no con esta entrada.

UADP

Cisco Unified Access™ Plano de Datos

La arquitectura ASIC utilizada en el switch

Conexión directa

Ruta conectada directamente

Prefijo de host conectado localmente (ARP adyacente)

Conectado indirectamente

Ruta conectada indirectamente

Una ruta que se realiza a través de un salto siguiente remoto para alcanzar

SGT

SXP

CTS (Trustsec)

Comandos generales de validación de hardware

Estos comandos muestran estadísticas de uso de alto nivel para los recursos Hash, TCAM, Interface y Rewrite utilizados. Estos recursos están relacionados, y el agotamiento de uno de los recursos mencionados puede afectar a la capacidad de utilizar plenamente otros recursos disponibles.

Ejemplo: Un switch puede tener disponible Hash / TCAM, pero se quedó sin adyacencias. La capacidad de reenviar paquetes puede verse afectada a un prefijo de destino porque el switch no puede programar una nueva entrada de reescritura.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Nota: Consulte el "Capítulo: Configuración de plantillas de SDM" de la "Guía de configuración de administración del sistema" para obtener más detalles sobre estos comandos

Registros del sistema de escala IPv4

Este escenario muestra cómo se utiliza cada tabla y qué hacer si una u otra tabla está a escala o fuera de ella. También cubre los recursos dependientes necesarios para reenviar a un destino IP.

Síntoma: el recurso está fuera de escala

1. Problemas de disponibilidad de dispositivos o prefijos. Aunque las rutas que existen o los dispositivos pueden seguir siendo accesibles, no se puede alcanzar ningún prefijo nuevo o actualizado.

2. Los mensajes de registro indican que el hardware no puede aceptar nuevas actualizaciones de objetos

3. La capa de objeto, que programa el software en el hardware, se congela

4. Entradas ausentes en la capa de hardware afectada (en este caso, la FIB es la capa afectada).

Si se queda sin un FIB IPv4 determinado o un mensaje SYSLOG de recurso de adyacencia son generados por el sistema

Mensaje de registro FIB IPv4

Definición

Acción de recuperación

%FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: fed:Error al asignar el recurso de hardware para la entrada fib debido al agotamiento de los recursos de hardware

El hardware reservado para las entradas FIB IPv4 se ha quedado sin espacio (EM o TCAM)

Resuma las rutas o realice alguna otra acción para reducir la escala de las entradas de FIB (puede ser EM o TCAM, cualquiera que se haya agotado).

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:Error al asignar el recurso de hardware para la entrada adj - rc:1

La tabla de adyacencia está agotada. Esta es la tabla en el hardware donde se almacenan las direcciones MAC de destino del siguiente salto.

Reducir el número de ampliación de hosts conectados directamente (ARP adyacente)

Ejemplos de uso

Ejemplos de uso (distinto de HP 16.12.x)

Software

Hardware

16.12.5

Switches Catalyst 9200 9300 9400 9500 (no de alto rendimiento)

Uso de recursos previsto

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

Agregar una dirección IP de SVI Vlan 1 con /24 mask

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

Agregar 3 prefijos EM (máscara /32)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

Ejemplos de uso (distinto de HP 17.x)

Software

Hardware

17,x

Switches Catalyst 9200 9300 9400 9500 (no de alto rendimiento)

Uso de recursos previsto

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

Agregar una dirección IP de SVI Vlan 1 con /24 mask

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

Agregar 3 prefijos EM (máscara /32)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

Ejemplos de uso (HP y 9600 17.x)

Software

Hardware

17,x

Catalyst 9500 (alto rendimiento), switches 9600

Nota: para 9500 (alto rendimiento) y 9600, solo se proporcionan 17.x CLI. Consulte la sección anterior para ver ejemplos de la versión 16.x.

Uso de recursos previsto

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

Troubleshoot

Límite de escala y remediación (switches UADP 2.0)

En esta sección se describe un caso práctico en el que se agota TCAM para IPv4:

- Los prefijos simulados en este ejemplo son /24

- Protocolo BGP

- Plataforma 9400

- Cisco IOS XE 17.3.2

Uso previsto

Con el 9400 Sup-1, cualquier prefijo que sea /31 o inferior consume TCAM, no EM

- El número máximo de prefijos IPv4 que se pueden agregar a TCAM es 65535.

Nota: IP Route EM and TCAM también es utilizado por Multiprotocol Label Switching (MPLS) con etiquetas MPLS agregadas a EM primero, luego se desbordan a TCAM si se alcanza el límite. Si el dispositivo es un extremo del proveedor MPLS (PE) y asigna etiquetas VPNv4, se restará del número total.

Nota: También es importante saber que si la memoria EM se llena primero, se permite que se desborde en la memoria TCAM. (Si el switch se amplía más allá de 49152 entradas de EM, TCAM puede llenar con rutas conectadas y /32). Sin embargo, no ocurre lo contrario (si TCAM se llena, no se desborda al EM)

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

Inyecte 80000 Prefijos a través de BGP

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

El mensaje de registro indica que FED no puede programar una entrada de tipo FIB

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Solución

El resumen de prefijo es necesario para solucionar este tipo de problema de escala. El método que se debe resumir depende del protocolo utilizado, de la contigüidad de las subredes y del entorno específico.

- En este ejemplo, BGP es el protocolo y las técnicas de resumen que se pueden encontrar en esta página: Guía de Configuración de IP Routing, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuración de BGP

- Puede encontrar otras técnicas de resumen en la sección Información Relacionada de este documento. (Todos los links provienen de las páginas de configuración de 9500. Consulte otras guías de plataformas según sea necesario).

También puede verificar los prefijos instalados en el hardware por longitud de prefijo para ayudar a determinar cuántos de cada longitud, y resumir cuando sea necesario.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

Límite de escala y remediación (switches UADP 3.0)

Como se indica en el documento "Comprensión de los recursos de hardware en los switches Catalyst 9000", los switches basados en UADP 3.0 utilizan una memoria FIB optimizada que combina entradas de coincidencia exacta (EM) y de coincidencia de prefijo más largo (LPM). Lo que se enumera como memoria TCAM sólo se utiliza para desbordamientos, colisiones y otras excepciones.

Si observa que TCAM está muy utilizado y EM/LPM no lo está (no está cerca o a valores máximos), esto puede deberse a un diseño de red en el que se utilizan demasiadas longitudes de prefijo. EM/LPM sólo puede programar un número específico de longitudes de máscara, pero el número no es estático. La cantidad de máscaras que EM/LPM puede programar varía con la plantilla SDM y varía aún más con la escala de ruta de la red.

En resumen, para UADP 3.0 existe un equilibrio dinámico entre la configuración de SDM, la escala de ruta (número de rutas) y la varianza de la longitud del prefijo (número de máscaras de subred únicas). Si se agota el TCAM de la tabla de rutas IP antes de que la EM/LPM de la tabla de rutas IP esté cerca del máximo, es posible que haya un problema como resultado de la configuración de SDM, la escala de rutas (número de rutas) y la varianza de la longitud del prefijo (número de máscaras de subred únicas).

Cuando se produce un límite de escala FIB, se genera un syslog que indica que el hardware no ha podido programar:

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Nota: El syslog sólo indica una falla genérica, no específicamente EM/LPM, TCAM o de otra manera. Necesita ejecutar comandos adicionales para ver cuál tiene un problema.

9500-48Y4C (9500H / alto rendimiento - switch basado en UADP 3.0)

Ejemplo de TCAM usado antes de EM/LPM:

- La salida mostrada indica que el TCAM de la tabla de rutas IP (FIB) está lleno, mientras que el EM/LPM no lo está.

- Comprender que el switch asigna prefijos y máscaras correspondientes a múltiples instancias de tablas de tamaño fijo en la memoria EM/LPM

- Una instancia de tabla determinada representa sólo una longitud de prefijo IPv4 o IPv6. La máscara no se guarda para cada entrada de prefijo en el hardware, sólo para la instancia de la tabla como un todo, lo que ahorra un valioso espacio de hardware.

- La asignación de máscaras de prefijo a tablas de hardware es dinámica y no se requiere ninguna entrada para que funcione.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

En esta situación, las tablas de EM/LPM se pueden infrautilizar:

- Para cada nueva tabla asignada, se dedica una longitud de máscara de prefijo específica a esa tabla. Todas las entradas de esa tabla están restringidas a esa longitud de máscara. Si tiene menos de la cantidad máxima de entradas para esa instancia de tabla, la utilización efectiva se reduce en la cantidad de entradas que permanecen en esa instancia de tabla. No se pueden reclamar para alguna otra longitud de máscara.

- Si repite esta utilización subóptima a través de múltiples longitudes de máscara, la utilización efectiva de la memoria EM/LPM se reduce significativamente.

- Cuando las tablas EM/LPM ya no están disponibles para las nuevas longitudes de máscara, los prefijos con esa máscara se instalan y se desbordan en TCAM. El espacio limitado de TCAM se llena rápidamente.

- La cantidad de tablas disponibles para EM/LPM varía en función de la configuración de SDM.

Una amplia distribución de longitudes de máscara, combinada con máscaras que tienen una cantidad baja de prefijos, conduce a escenarios donde muchas tablas están asignadas y muchas están infrautilizadas. Esto hace que aparezcan los errores "Failed to assign hardware resource for fib..." antes de alcanzar la utilización máxima de hardware ideal en los switches basados en UADP 3.0.

A medida que aumenta el número de instancias de tabla asignadas a una sola longitud de prefijo, existe la posibilidad de que no haya suficientes tablas disponibles para prefijos de otras longitudes.

El uso subóptimo puede ocurrir cuando la cantidad de entradas de una longitud de prefijo no utiliza completamente la última tabla de la que forma parte.

Este ejemplo ilustra 4500 prefijos eBGP aprendidos en un switch 9500-48Y4C.

- Cada tabla puede tener alrededor de 2048 rutas/entradas.

- El hardware tiene tablas de dos tamaños fijos, 2048 y 8192. Se asignan dinámicamente en función de la escala de ruta, el uso de prefijos y la plantilla SDM utilizada

- Para este ejemplo, tres tablas de tamaño 2048 se marcan como /32 para contener 4500 rutas de longitud de máscara /32. Algunas de las 2048 tablas de tamaño tienen espacio para /32 rutas IPv4 asignadas solamente.

Esto se puede observar a través de esta CLI:

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

En el siguiente ejemplo, se inserta la cantidad mínima de prefijos para forzar el uso de una nueva tabla para cada longitud de máscara de /11 a /32.

Esto se logra mediante el uso de la plantilla SDM de "distribución" en Cisco IOS XE 17.3, que tiene 56 tablas que se pueden asignar dinámicamente para las entradas de FIB.

- /32 longitud se escala hasta 74000 prefijos

- /12 - 300 prefijos

- /11 - 1250 prefijos

- Las longitudes de máscara de /13 a /32 contienen alrededor de 12 prefijos. Menos, y el hardware puede elegir utilizar TCAM para almacenar los prefijos de una longitud de máscara determinada.

Nota: El algoritmo de hardware que gobierna la asignación de EM/LPM y TCAM es complejo, lo que equilibra tanto la configuración del usuario como las limitaciones del hardware. Los resultados presentados en este documento no son totalmente representativos de cómo un sistema puede comportarse en una red de producción.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

Para resolver este escenario, utilice una o más de estas opciones en orden de prioridad

- Investigar plantillas de SDM alternativas:

- Las plantillas de ampliación de rutas FIB/IP aumentadas aumentan las tablas de hardware totales disponibles para esta FIB. Esto puede mejorar la utilización efectiva (entradas usadas/entradas disponibles) así como la escala total.

- Por el contrario, las plantillas SDM de menor escala para la ruta FIB/IP reducen la cantidad total de tablas de hardware disponibles para la FIB.

- Elimine por completo una o más longitudes de prefijo (máscara) de la tabla de rutas

- Resumir rutas (reducir el volumen total de prefijos)

Nota: Consulte el "Capítulo: Configuración de plantillas SDM" en la "Guía de configuración de administración del sistema" para switches Catalyst serie 9500 y 9600 para obtener más información sobre las plantillas SDM.

Situación: asignaciones SGT/SXP | Escala Trustsec

Comandos que se deben recopilar para TAC

Los problemas de recursos de hardware más comunes relacionados con la utilización de IPv4 se tratan en esta guía, con los pasos de remediación adecuados. Sin embargo, en caso de que esta guía no haya resuelto su problema, recopile la lista de comandos mostrada y adjúntela a su solicitud de servicio TAC.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

Si encuentra algún problema con este documento, utilice el botón Feedback ubicado en el panel derecho de este artículo. Proporcione la mayor cantidad de detalles posible cuando envíe la solicitud o comentarios sobre este documento, que incluye información sobre la sección, área o problema que tuvo con el documento y lo que se podría mejorar.

Información Relacionada

Soporte Técnico y Documentación - Cisco Systems

Conozca los recursos de hardware de los switches Catalyst 9000

Guía de Configuración de IP Routing, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuración de OSPF

Guía de Configuración de IP Routing, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuración de EIGRP

Guía de Configuración de IP Routing, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuración de BGP

Guía de Configuración de Administración del Sistema, Cisco IOS XE Amsterdam 17.3.x (Switches Catalyst 9500) - Capítulo: Configuración de Plantillas SDM

Ficha técnica de los switches de Cisco Catalyst de la serie 9200

Ficha técnica de los switches de Cisco Catalyst de la serie 9300

Hojas de datos de los switches Catalyst de Cisco serie 9400

Hojas de datos de los switches Catalyst de Cisco serie 9500

Ficha técnica de los switches de Cisco Catalyst de la serie 9600

Informe técnico sobre la arquitectura de Cisco Catalyst 9500