目录

简介

先决条件

要求

使用的组件

背景信息

视频

术语

通用硬件验证命令

IPv4扩展系统日志

使用示例

使用示例（非HP 16.12.x）

使用示例（非HP 17.x）

使用示例（HP和9600 17.x）

故障排除

扩展限制和修复（UADP 2.0交换机）

扩展限制和修复（UADP 3.0交换机）

场景：SGT/SXP映射 | Trustsec扩展

为TAC收集的命令

相关信息

简介

本文档介绍如何了解和验证Catalyst 9000系列交换机上的IPv4转发信息库(FIB)硬件使用情况。

先决条件

要求

本文档没有任何特定的要求。

使用的组件

本文档中的信息基于以下软件和硬件版本：

- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9200、9300、9400、9500（非高性能）系列交换机

- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9500（高性能）、9600系列交换机

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

当您对未按预期运行的功能进行故障排除时，一个很好的参考点是确认硬件未超出相关交换机的规模。虽然交换机可能因这些硬件表的大小而异，但验证和故障排除方法大体相同。

此页面也是一个参考页面，您可以在其中找到有关各种功能以及如何检查硬件规模的信息。

下面提供了这些软件版本和设备类型的示例：

- 16.x和17.x软件系列，因为CLI输出明显不同

- 特定于9500（高性能）和9600的信息，因为这些型号分配散列和三重内容可寻址存储器(TCAM)的方式与其他Catalyst 9000交换机不同

本文档可帮助您：

- 了解消耗了哪个表（散列/TCAM）

- 了解消耗有问题的表的原因

- 了解使用特定表的原因（散列与TCAM）

- 了解指示资源问题的日志或错误消息

- 解决硬件资源分配问题需要执行的操作

注意：当交换机使用虚拟路由和转发(VRF)时，总使用率需要包括每个VRF中的消耗量。

视频

此视频涵盖FIB硬件资源问题的故障排除：Catalyst 9000交换机FIB硬件资源耗尽故障排除

术语

ADJ

邻接（表）

存储用于数据包重写的下一跳信息

DI

目标索引

指向出站接口的索引

EM

精确匹配

哈希内存中的条目是1:1匹配（主机路由、直连主机）

FIB

转发信息库

带有前缀的简化表，由路由信息库(RIB)和地址解析协议(ARP)表添加，带指向ADJ表的指针

美联储

转发引擎驱动程序

专用集成电路(ASIC)（硬件）层

FMAN-FP

转发管理器 — 转发平面

FMAN-FP管理添加、删除或修改FED信息的软件对象

LPM

最长前缀匹配

任何是/31或更短的路由（/32路由是EM类型）

RI

重写索引

第3层转发到下一跳邻接的MAC地址重写信息

RIB

路由信息库

show ip route"中显示的路由表

SDM

交换机数据库管理器

将交换机硬件资源分配给需要这些资源的各种功能（MAC地址、路由、访问列表条目）的软件过程

SI

站点索引

站点索引 =  数据包重写信息（RI =重写索引）和出站接口信息（DI =目标索引）

TCAM

三重内容可寻址存储器

一种存储器，它使用三种不同的输入来存储和查询条目：0、1和X。当同一个条目可能有多个匹配项时，必须使用此类内存，并且每个匹配项的结果哈希值不会是唯一的。此表包含一个掩码或“X”值，使其可以知道它是否与此条目匹配。

UADP

思科统一接入™ 数据层面

交换机中使用的ASIC架构

直接连接

直接连接的路由

本地连接的主机前缀（ARP邻接）

间接连接

间接连接的路由

通过远程下一跳到达的路由

SGT

SXP

CTS(Trustsec)

通用硬件验证命令

这些命令显示所使用散列、TCAM、接口和重写资源的高级使用统计信息。这些资源是相关的，如果耗尽上述资源之一，可能会影响充分利用其他可用资源的能力。

示例：交换机可以有可用的Hash / TCAM，但邻接关系已用尽。转发数据包的能力可能会影响为目标前缀，因为交换机无法对新的重写条目进行编程。

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

注意：有关这些命令的详细信息，请参阅《系统管理配置指南》中的“章节：配置SDM模板”

IPv4扩展系统日志

此场景演示了如何使用每个表，以及在一个或另一个表达到或超过规模时如何操作。它还包含转发到IP目标所需的相关资源。

症状：资源超出规模

1. 设备或前缀连通性问题。虽然现有路由或设备仍可访问，但无法访问任何新的或更新的前缀。

2. 日志消息指示硬件无法接收新的对象更新

3. 将软件编程到硬件中的对象层变得拥塞

4. 受影响硬件层没有条目（在本例中，FIB是受影响层）。

如果特定IPv4 FIB或邻接资源耗尽，则由系统生成SYSLOG消息

IPv4 FIB日志消息

定义

恢复操作

%FED_L3_ERRMSG-3-RSRC_ERR：交换机1 R0/0: fed：由于硬件资源耗尽，为fib条目分配硬件资源失败

为IPv4 FIB条目保留的硬件空间已用尽（EM或TCAM）

总结路由或采取某些其他操作以减少FIB条目的规模（这可以是EM或TCAM，无论哪个条目已耗尽）。

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:为adj条目分配硬件资源失败 — rc:1

邻接表已用尽。这是硬件中存储下一跳目的MAC地址的表。

减少直连（ARP相邻）主机的扩展数量

使用示例

使用示例（非HP 16.12.x）

软件

Hardware

16.12.5

Catalyst 9200 9300 9400 9500（非高性能）交换机

基线资源使用情况

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

使用/24掩码添加SVI Vlan 1 IP地址

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

添加3个EM前缀（/32掩码）

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

使用示例（非HP 17.x）

软件

Hardware

17.x

Catalyst 9200 9300 9400 9500（非高性能）交换机

基线资源使用情况

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

使用/24掩码添加SVI Vlan 1 IP地址

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

添加3个EM前缀（/32掩码）

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

使用示例（HP和9600 17.x）

软件

Hardware

17.x

Catalyst 9500（高性能）、9600交换机

注：对于9500（高性能）和9600，仅提供17.x CLI。有关16.x示例，请参阅上一节。

基线资源使用情况

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

故障排除

扩展限制和修复（UADP 2.0交换机）

本节介绍一种对IPv4耗尽TCAM的使用案例：

- 本示例中模拟的前缀为/24

- 协议BGP

- 平台9400

- 思科IOS XE 17.3.2

基线使用情况

对于9400 Sup-1，任何长度等于或小于/31的前缀都使用TCAM，而不是EM

- 可添加到TCAM的IPv4前缀的最大数量为65535。

注意：IP路由EM和TCAM也由多协议标签交换(MPLS)使用，首先将MPLS标签添加到EM，然后在达到限制时溢出到TCAM。如果您的设备是MPLS提供商边缘(PE)并分配了VPNv4标签，则从总数中减去该标签。

注意：同样重要的是要知道，如果EM内存先被填满，则允许其溢出到TCAM内存中。(如果交换机扩展到49152个EM条目之外，TCAM可以填入Connected和/32路由)。但是，相反的情况不会发生（如果TCAM已满，它不会溢出到EM）

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

通过80000插入前缀

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

日志消息表明FED无法对FIB类型条目进行编程

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

解决方案

要解决此类扩展问题，需要前缀汇总。总结的方法取决于使用的协议、子网的连续程度以及您的特定环境。

- 在本例中，BGP是协议，可以在本页找到汇总技术：IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置BGP

- 其他总结技术可以在本文档的相关信息部分找到。(提供的所有链接均来自9500配置页面。请根据需要参阅其他平台指南)。

您还可以按前缀长度检查硬件中安装的前缀，以帮助确定每个长度的个数，并在必要时进行汇总。

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

扩展限制和修复（UADP 3.0交换机）

如Understand Hardware Resources on Catalyst 9000 Switches（了解Catalyst 9000交换机上的硬件资源）文档中所述，基于UADP 3.0的交换机使用结合了Exact Match(EM)和Longest Prefix Match(LPM)条目的优化FIB内存。列出的TCAM内存仅用于溢出、冲突和其他异常。

如果您发现TCAM被高度利用，而EM/LPM未被充分利用（不接近或达到最大值），这可能是由于网络设计中使用了太多前缀长度造成的。EM/LPM只能编程特定数量的掩码长度，但该数量不是静态的。EM/LPM可以编程的掩码数量因SDM模板而异，并且会随着网络的路由规模而进一步变化。

总之，对于UADP 3.0,SDM配置、路由扩展（路由数量）和前缀长度差异（唯一子网掩码数量）之间存在动态平衡。如果IP路由表TCAM在IP路由表EM/LPM接近最大值之前耗尽，则可能由于SDM配置、路由扩展（路由数）和前缀长度差异（唯一子网掩码数）而出现问题。

当发生FIB扩展限制时，会生成系统日志，指示硬件无法编程：

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

注意：系统日志仅指示一般故障，不具体是EM/LPM、TCAM或其他故障。您需要运行其他命令来查看哪个命令存在问题。

9500-48Y4C(9500H/高性能 — 基于UADP 3.0的交换机)

EM/LPM之前使用的TCAM示例：

- 图中所示的输出表示IP路由表(FIB)TCAM已满，而EM/LPM未满。

- 了解交换机将前缀和对应掩码分配给EM/LPM内存中固定大小表的多个实例

- 给定表实例仅代表一个IPv4或IPv6前缀长度。掩码不会针对硬件中的每个前缀条目进行保存，仅针对整个表实例，从而节省了宝贵的硬件空间。

- 将前缀掩码分配到硬件表是动态的，不需要输入即可运行。

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

在这种情况下，EM/LPM表可能未得到充分利用：

- 对于每个分配的新表，专用于该表的特定前缀掩码长度。现在该表的所有条目都被限制在该掩码长度内。如果表实例的条目数小于最大值，则有效利用率将减去该表实例中剩余的条目数。它们不能回收某个其他掩码长度。

- 如果跨多个掩码长度重复这种次优利用率，EM/LPM内存的有效利用率会显着降低。

- 当EM/LPM表不再可用于新的掩码长度时，将改为安装带有该掩码的前缀，并将其溢出到TCAM中。有限的TCAM空间很快就会填满。

- EM/LPM可用的表数量因SDM配置而异。

掩码长度的广泛分布，加上前缀数量较少的掩码，导致许多表被分配，许多表未得到充分使用的情况。这会导致在基于UADP 3.0的交换机上达到理想的最大硬件利用率之前出现“为fib分配硬件资源失败..”错误。

随着分配给单个前缀长度的表实例数量的增加，可能会没有足够的表用于其他长度的前缀。

如果前缀长度的条目数量未充分利用它所属的最后一个表，则可能会出现次优使用。

本示例说明在9500-48Y4C交换机上学习的4500 eBGP前缀。

- 每个表可以包含大约2048个路由/条目。

- 硬件具有两种固定大小的表：2048和8192。它们根据路由规模、前缀使用量和所使用的SDM模板动态分配

- 在本示例中，三个大小为2048的表标记为/32，以保存4500条掩码长度为/32的路由。一些大小为2048的表仅分配了用于/32 IPv4路由的空间。

可通过以下CLI观察此情况：

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

在下一个示例中，插入最小数量的前缀，以强制在/11到/32的每个掩码长度中使用一个新表。

这是通过在Cisco IOS XE 17.3上使用“分发”SDM模板来实现的，该模板具有56个表，可动态分配给FIB条目。

- /32长度扩展到74000个前缀

- /12 - 300前缀

- /11 - 1250前缀

- 从/13到/32的掩码长度包含约12个前缀。如果小于此值，硬件可以选择使用TCAM存储给定掩码长度的前缀。

注：管理EM/LPM和TCAM分配的硬件算法很复杂，它平衡了用户配置和硬件限制。本文档中介绍的结果并不能完全代表系统在生产网络中的行为方式。

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

要解决此情况，请按优先级顺序使用这些选项中的一个或多个选项

- 检查备用SDM模板：

- 增加的FIB/IP路由扩展模板增加了可用于此FIB的总硬件表。这样可以提高有效利用率（已使用的条目/可用条目）和总规模。

- 相反，FIB/IP Route的较小规模SDM模板可减少可用于FIB的硬件表总数。

- 从路由表中完全消除一个或多个前缀（掩码）长度

- 总结路由（减少前缀的总量）

注意：请参阅Catalyst 9500和Catalyst 9600系列交换机的“系统管理配置指南”中的“章节：配置SDM模板”了解有关SDM模板的更多信息。

场景：SGT/SXP映射 | Trustsec扩展

为TAC收集的命令

与IPv4利用率相关的最常见硬件资源问题将在本指南中介绍，并提供相应的补救步骤。但是，如果本指南未能解决您的问题，请收集显示的命令列表，并将其附加到TAC服务请求中。

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

如果您发现本文档存在问题，请使用本文右面板上的Feedback按钮。 当您提交针对此文档的请求或反馈时，请尽可能详细地提供这些信息，包括您与文档有关的部分、区域或问题，以及可以改进的内容。

相关信息

技术支持和文档 - Cisco Systems

了解Catalyst 9000交换机上的硬件资源

IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置OSPF

IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置EIGRP

IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置BGP

系统管理配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置SDM模板

Cisco Catalyst 9200 系列交换机产品手册

Cisco Catalyst 9300 系列交换机产品手册

Cisco Catalyst 9400系列交换机产品手册

Cisco Catalyst 9500系列交换机产品手册

Cisco Catalyst 9600 系列交换机产品手册

Cisco Catalyst 9500 体系结构白皮书