Contents

Introdução

Pré-requisitos

Requisitos

Componentes Utilizados

Informações de Apoio

Vídeo

Terminologia

Comandos gerais de validação de hardware

Syslogs de escala IPv4

Exemplos de uso

Exemplos de uso (não-HP 16.12.x)

Exemplos de uso (não-HP 17.x)

Exemplos de uso (HP & 9600 17.x)

Troubleshooting

Limite de escala e correção (switches UADP 2.0)

Limite de escala e correção (switches UADP 3.0)

Cenário: mapeamentos de SGT / SXP | Escala Trustsec

Comandos a serem coletados para TAC

Informações Relacionadas

Introdução

Este documento descreve como entender e verificar o uso de hardware da Base de Informações de Encaminhamento (FIB - Forwarding Information Base) IPv4 nos switches da série Catalyst 9000.

Pré-requisitos

Requisitos

Não existem requisitos específicos para este documento.

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

- Switches Cisco Catalyst das séries 9200, 9300, 9400 e 9500 (sem alto desempenho) no software Cisco IOS® XE 16.x e 17.x

- Switches Cisco Catalyst 9500 (alto desempenho), 9600 Series no software Cisco IOS® XE 16.x e 17.x

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

Quando você soluciona problemas de um recurso que não funciona como esperado, um bom ponto de referência é confirmar se o hardware não está além da escala do switch em questão. Embora os switches possam variar no tamanho dessas tabelas de hardware, a metodologia de verificação e solução de problemas permanece praticamente a mesma.

Esta página também é uma página de referência onde você pode encontrar informações sobre vários recursos e como verificar a escala do hardware.

Exemplos são fornecidos para estas versões de software e tipos de dispositivo:

- Trilhas de software 16.x e 17.x, pois as saídas de CLI são significativamente diferentes

- Informações específicas do 9500 (alto desempenho) e do 9600, pois esses modelos alocam Hash e TCAM (memória endereçável de conteúdo ternário) de forma diferente de outros switches Catalyst 9000

Este documento ajuda com:

- Entender qual tabela (hash/TCAM) é consumida

- Entender o que consome a tabela em questão

- Entender por que uma determinada tabela foi usada (hash versus TCAM)

- Entender logs ou mensagens de erro que indicam um problema de recurso

- Ações a serem tomadas para resolver problemas de alocação de recursos de hardware

Observação: quando os switches usam Virtual Routing and Forwarding (VRF)s, o uso total precisa incluir o consumo em cada VRF.

Vídeo

Este vídeo aborda a solução de problemas de recursos de hardware FIB: Solução de problemas de esgotamento de recursos de hardware FIB do switch Catalyst 9000

Terminologia

AJUSTE

Adjacência (tabela)

Armazena informações do próximo salto usadas para regravação de pacotes

DI

Índice de destino

Índice que aponta para a interface de saída

EM

Correspondência Exata

Uma entrada na memória Hash que corresponde a 1:1 (rota de host, host diretamente conectado)

FIB

Base de informações de encaminhamento

Tabela simplificada com prefixos adicionados pelas tabelas Routing Information Base (RIB) e Address Resolution Protocol (ARP) com um ponteiro para a tabela ADJ

FED

Driver do mecanismo de encaminhamento

A camada de Circuito Integrado Específico da Aplicação (ASIC - Application Specific Integrated Circuit) (hardware)

FMAN-FP

Gerente de encaminhamento - Plano de encaminhamento

O FMAN-FP gerencia objetos de software que adicionam, excluem ou modificam informações do FED

LPM

Correspondência de prefixo mais longa

Qualquer rota que seja /31 ou menor (/32 rotas são do tipo EM)

RI

Reescrever Índice

Informações de regravação de endereço MAC para encaminhamento de camada 3 para a adjacência do próximo salto

COSTELA

Base de Informações de Roteamento

A tabela de roteamento vista em "show ip route"

SDM

Alternar Gerenciador de Banco de Dados

Processo de software que aloca os recursos de hardware do switch para vários recursos que os exigem (endereços MAC, rotas, entradas da lista de acesso)

SI

Índice da estação

Índice da estação =  informação de reescrita de pacote (RI = índice de reescrita) e informação de interface de saída (DI = índice de destino)

TCAM

Memória endereçável de conteúdo ternária

Um tipo de memória que armazena e consulta entradas com três entradas diferentes: 0, 1 e X. Esse tipo de memória deve ser usado em casos em que pode haver várias correspondências para a mesma entrada, e o Hash resultante para cada uma não seria exclusivo. Essa tabela inclui uma máscara ou um valor "X" que permite saber se corresponde ou não a essa entrada.

UADP

Cisco Unified Access™ Plano dos dados

A arquitetura ASIC usada no switch

Diretamente conectado

Rota diretamente conectada

Um prefixo de host conectado localmente (ARP adjacente)

Indiretamente conectado

Rota conectada indiretamente

Uma rota que é através de um próximo salto remoto para alcançar

SGT

SXP

CTS (TrustSec)

Comandos gerais de validação de hardware

Esses comandos mostram estatísticas de uso de alto nível para os recursos Hash, TCAM, Interface e Rewrite usados. Esses recursos estão relacionados e o esgotamento de um dos recursos mencionados pode afetar a capacidade de usar totalmente outros recursos disponíveis.

Exemplo: um switch pode ter Hash / TCAM disponíveis, mas ficou sem Adjacências. A capacidade de encaminhar pacotes pode ser afetada a um prefixo de destino porque o switch não pode programar uma nova entrada de regravação.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Observação: Consulte o "Capítulo: Configurando modelos de SDM" no "Guia de configuração de gerenciamento de sistema" para obter mais detalhes sobre esses comandos

Syslogs de escala IPv4

Este cenário demonstra como cada tabela é usada e o que fazer se uma tabela ou outra estiver em escala ou além dela. Ele também cobre os recursos dependentes necessários para encaminhar a um destino IP.

Sintoma: O recurso está além da escala

1. Problemas de alcance de dispositivo ou prefixo. Embora as rotas que existem ou os dispositivos possam permanecer acessíveis, qualquer prefixo novo ou atualizado não é alcançável.

2. Mensagens de log indicam que o hardware não pode fazer novas atualizações de objeto

3. A camada de objeto, que programa o software no hardware, fica congestionada

4. Entradas ausentes na camada de hardware afetada (nesse caso, a FIB é a camada afetada).

Se você ficar sem uma mensagem de SYSLOG de recurso de adjacência ou FIB IPv4 específica, ela será gerada pelo sistema

Mensagem de log FIB IPv4

Definição

Ação de Recuperação

%FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: fed:Falha ao alocar o recurso de hardware para a entrada fib devido à exaustão do recurso de hardware

O hardware reservado para entradas FIB IPv4 ficou sem espaço (EM ou TCAM)

Sumarize rotas ou tome alguma outra ação para reduzir a escala de entradas FIB (pode ser EM ou TCAM, o que for esgotado).

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: alimentado:Falha ao alocar recurso de hardware para entrada de ajuste - rc:1

A tabela Adjacency está esgotada. Esta é a tabela no hardware onde os endereços MAC de destino do próximo salto são armazenados.

Reduzir o número de escala de hosts conectados diretamente (adjacentes ao ARP)

Exemplos de uso

Exemplos de uso (não-HP 16.12.x)

Software

Hardware

16.12.5

Switches Catalyst 9200 9300 9400 9500 (sem alto desempenho)

Uso do Recurso de Linha de Base

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

Adicione o endereço IP da VLAN 1 do SVI com a máscara /24

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

Adicionar 3 prefixos EM (/32 mask)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

Exemplos de uso (não-HP 17.x)

Software

Hardware

17.x

Switches Catalyst 9200 9300 9400 9500 (sem alto desempenho)

Uso do Recurso de Linha de Base

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

Adicione o endereço IP da VLAN 1 do SVI com a máscara /24

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

Adicionar 3 prefixos EM (/32 mask)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

Exemplos de uso (HP & 9600 17.x)

Software

Hardware

17.x

Switches Catalyst 9500 (alto desempenho), 9600

Observação: para 9500 (alto desempenho) e 9600, somente CLIs 17.x são fornecidas. Consulte a seção anterior para obter exemplos do 16.x.

Uso do Recurso de Linha de Base

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

Troubleshooting

Limite de escala e correção (switches UADP 2.0)

Esta seção aborda um caso de uso em que o TCAM está esgotado para IPv4:

- Os prefixos simulados neste exemplo são /24

- Protocolo BGP

- Plataforma 9400

- Cisco IOS XE 17.3.2

Uso da linha de base

Com o 9400 Sup-1, qualquer prefixo que seja /31 ou menor consome TCAM, não EM

- O número máximo de prefixos IPv4 que podem ser adicionados ao TCAM é 65535.

Observação: a rota IP EM e TCAM também é usada pela Multiprotocol Label Switching (MPLS) com rótulos MPLS adicionados à EM primeiro, depois estouram para a TCAM se o limite for atingido. Se o seu dispositivo for um PE (Provider Edge, borda do provedor MPLS) e alocar rótulos VPNv4, isso será subtraído do número total.

Observação: também é importante saber que, se a memória EM for preenchida primeiro, ela poderá transbordar para a memória TCAM. (Se o switch for dimensionado além de 49152 entradas EM, o TCAM poderá ser preenchido com rotas Conectadas e /32). No entanto, o inverso não acontece (se a TCAM for preenchida, ela não sobrecarregará a EM)

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

Injetar prefixos de 80000 via BGP

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

A mensagem de log indica que o FED não pode programar uma entrada do tipo FIB

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Solução

O resumo do prefixo é necessário para corrigir esse tipo de problema de escala. O método para resumir depende do protocolo usado, da contíguidade das sub-redes e do seu ambiente específico.

- Neste exemplo, o BGP é o protocolo e as técnicas de sumarização podem ser encontradas nesta página: Guia de Configuração de Roteamento IP, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configurando o BGP

- Outras técnicas de resumo podem ser encontradas na seção Informações Relacionadas deste documento. (Todos os links fornecidos são das páginas de configuração do 9500. Consulte outros guias de plataforma conforme necessário).

Você também pode verificar os prefixos instalados no hardware pelo comprimento do prefixo para ajudar a determinar quantos de cada comprimento e resumir quando necessário.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

Limite de escala e correção (switches UADP 3.0)

Como observado no documento "Compreender os recursos de hardware nos switches Catalyst 9000"Os switches baseados em UADP 3.0 usam uma memória FIB otimizada que combina entradas de correspondência exata (EM) e correspondência de prefixo mais longo (LPM). O que está listado como memória TCAM é usado somente para estouro, colisões e outras exceções.

Se você observar que a TCAM é altamente utilizada e a EM/LPM não é tão utilizada (nem próximo nem em valores máximos), isso pode ser devido a um projeto de rede em que há muitos comprimentos de prefixo usados. EM/LPM só pode programar um número específico de comprimentos de máscara, mas o número não é estático. A quantidade de máscaras que o EM/LPM pode programar varia de acordo com o modelo de SDM e ainda mais de acordo com a escala da rota da sua rede.

Em resumo, para o UADP 3.0 há um equilíbrio dinâmico entre a configuração de SDM, a escala da rota (número de rotas) e a variação do comprimento do prefixo (número de máscaras de sub-rede exclusivas). Se a TCAM da tabela de rota IP estiver esgotada antes que a tabela de rota IP EM/LPM esteja perto do máximo, é possível que haja um problema como resultado da configuração de SDM, escala de rota (número de rotas) e variação do comprimento do prefixo (número de máscaras de sub-rede exclusivas).

Quando ocorre um limite de escala FIB, é gerado um syslog que indica que o hardware falhou na programação:

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Observação: o syslog indica apenas uma falha genérica, não especificamente EM/LPM, TCAM ou outra. Você precisa executar comandos adicionais para ver qual apresenta um problema.

9500-48Y4C (9500H / Alto desempenho - switch baseado em UADP 3.0)

Exemplo de TCAM usado antes de EM/LPM:

- A saída mostrada indica que a TCAM da FIB (IP Route Table) está cheia, enquanto a EM/LPM não está.

- Entender que o switch aloca prefixos e máscaras de correspondente para várias instâncias de tabelas de tamanho fixo na memória EM/LPM

- Uma determinada instância de tabela representa apenas um comprimento de prefixo IPv4 ou IPv6. A máscara não é salva para cada entrada de prefixo no hardware, apenas para a instância de tabela como um todo, o que economiza um espaço de hardware valioso.

- A alocação de máscaras de prefixo para tabelas de hardware é dinâmica e nenhuma entrada é necessária para que ela funcione.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

Neste cenário, as tabelas EM/LPM podem ser subutilizadas:

- Para cada nova tabela alocada, um comprimento de máscara de prefixo específico é dedicado a essa tabela. Todas as entradas dessa tabela agora estão restritas a esse comprimento de máscara. Se você tiver menos que a quantidade máxima de entradas para essa instância da tabela, a utilização efetiva será reduzida pela quantidade de entradas que permanecem nessa instância da tabela. Eles não podem ser recuperados por algum outro comprimento de máscara.

- Se você repetir essa utilização abaixo do ideal em vários comprimentos de máscara, a utilização efetiva da memória EM/LPM será reduzida significativamente.

- Quando as tabelas EM/LPM não estão mais disponíveis para novos comprimentos de máscara, os prefixos com essa máscara são instalados e sobrecarregam o TCAM. O espaço limitado de TCAM é preenchido rapidamente.

- A quantidade de tabelas disponíveis para EM/LPM varia de acordo com sua configuração de SDM.

Uma ampla distribuição de comprimentos de máscara, combinada com máscaras que têm uma quantidade baixa de prefixos, leva a cenários em que muitas tabelas são alocadas e muitas são subutilizadas. Isso faz com que os erros "Falha ao alocar recurso de hardware para fib..." apareçam antes que a utilização máxima ideal de hardware seja atingida em switches baseados em UADP 3.0.

À medida que o número de instâncias de tabela alocadas para um único comprimento de prefixo aumenta, há o potencial de não haver tabelas suficientes disponíveis para prefixos de outros comprimentos.

O uso abaixo do ideal pode ocorrer quando a quantidade de entradas de um comprimento de prefixo não utiliza totalmente a última tabela da qual faz parte.

Este exemplo ilustra os prefixos de eBGP 4500 aprendidos em um switch 9500-48Y4C.

- Cada tabela pode ter cerca de 2048 rotas/entradas.

- O hardware tem tabelas de dois tamanhos fixos, 2048 e 8192. Eles são alocados dinamicamente com base na escala da rota, no uso do prefixo e no modelo SDM usado

- Para este exemplo, três tabelas de tamanho 2048 são marcadas como /32 para conter 4500 rotas de tamanho de máscara /32. Algumas das tabelas de tamanho 2048 têm espaço apenas para rotas /32 IPv4 alocadas.

Isso pode ser observado através deste CLI:

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

No próximo exemplo, a quantidade mínima de prefixos é injetada para forçar uma nova tabela a ser usada para cada comprimento de máscara de /11 a /32.

Isso é obtido através do uso do Modelo SDM de "Distribuição" no Cisco IOS XE 17.3 - que tem 56 tabelas que podem ser dinamicamente alocadas para entradas FIB.

- O comprimento de /32 é dimensionado para até 74000 prefixos

- /12 - 300 prefixos

- /11 - 1250 prefixos

- Os comprimentos de máscara de /13 a /32 contêm cerca de 12 prefixos. A menos, e o hardware pode optar por usar TCAM para armazenar esses prefixos de um determinado comprimento de máscara.

Observação: o algoritmo de hardware que governa a alocação de EM/LPM e TCAM é complexo, o que equilibra a configuração do usuário e as limitações do hardware. Os resultados apresentados neste documento não representam completamente como um sistema pode se comportar em uma rede de produção.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

Para resolver esse cenário, use uma ou mais dessas opções em ordem de prioridade

- Investigar modelos SDM alternativos:

- O aumento dos modelos de escala de rotas FIB/IP aumenta o total de tabelas de hardware disponíveis para essa FIB. Isso pode melhorar a utilização efetiva (entradas usadas / entradas disponíveis), bem como a escala total.

- Por outro lado, modelos de SDM de menor escala para FIB / IP Route reduzem a quantidade total de tabelas de hardware disponíveis para a FIB.

- Eliminar totalmente um ou mais comprimentos de prefixo (máscara) da tabela de rotas

- Resumir rotas (reduzir o volume total de prefixos)

Observação: Consulte o "Capítulo: Configurando Modelos SDM" no "Guia de Configuração de Gerenciamento de Sistema" para Catalyst 9500 e Catalyst 9600 Series Switches para saber mais sobre modelos SDM.

Cenário: mapeamentos de SGT / SXP | Escala Trustsec

Comandos a serem coletados para TAC

Os problemas de recursos de hardware mais comuns relacionados à utilização de IPv4 são abordados neste guia, com as etapas de correção apropriadas. No entanto, caso este guia não resolva o problema, colete a lista de comandos mostrada e anexe-a à sua solicitação de serviço do TAC.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

Se você encontrar um problema com este documento, use o botão Feedback localizado no painel direito deste artigo. Forneça o máximo possível de detalhes ao enviar a solicitação ou o feedback sobre este documento, que inclui informações sobre a seção, área ou problema que você teve com o documento e o que pode ser melhorado.

Informações Relacionadas

Suporte Técnico e Documentação - Cisco Systems

Entender os recursos de hardware nos switches Catalyst 9000

Guia de Configuração de Roteamento IP, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuração do OSPF

Guia de Configuração de Roteamento IP, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuração do EIGRP

Guia de Configuração de Roteamento IP, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuração do BGP

Guia de configuração de gerenciamento de sistema, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Capítulo: Configuração de modelos SDM

Data sheet dos switches Cisco Catalyst 9200 Series

Data sheet dos switches Cisco Catalyst 9300 Series

Dados técnicos dos switches Cisco Catalyst 9400 Series

Dados técnicos dos switches Cisco Catalyst 9500 Series

Data sheet dos switches Cisco Catalyst 9600 Series

White paper sobre a arquitetura do Cisco Catalyst 9500