了解 Catalyst 9000 交换机的硬件资源
简介
本文档介绍如何了解 Catalyst 9000 系列交换机上的硬件资源并排除相关故障。
先决条件
要求
本文档没有任何特定的要求。
使用的组件
本文档中的信息基于以下软件和硬件版本：
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9200、9300、9400、9500非HP系列交换机
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9500HP、9600系列交换机
本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。
背景信息
- Catalyst 9000系列交换机的各种功能消耗有限的硬件资源。这些资源的存在是为了提高这些功能的性能，并提供交换机预期的预期高转发速率。
- 这些表的大小因交换机型号而异，但基本的故障排除方法保持不变。
- 通常，LAN交换中的主要有限硬件资源称为TCAM(TCAM是一种内存技术，特别适用于存储最长前缀匹配(LPM)信息，用于快速查找或其他类型的OR逻辑查找)。
- 在Catalyst 9000系列交换机中，除了TCAM之外，还使用多种内存类型，这适合特定功能的特定需求（HASH是另一种简化内存）。MAC地址表就是这种内存类型的示例)。
当您对不按预期运行的功能进行故障排除时，一个好的起点是确认硬件未超出所讨论交换机的规模。虽然交换机的这些表大小各异，但验证和故障排除方法大体相同。
术语
| EM |
精确匹配 |
哈希内存中的条目是1:1匹配（主机路由、直连主机） |
| LPM |
最长前缀匹配 |
任何是/31或更短的路由（/32路由是EM类型） |
| TCAM |
三重内容可寻址存储器 |
一种存储器，它使用三种不同的输入来存储和查询条目：0、1和X。当同一条目可能有多个匹配项时，必须使用此类型的内存，并且每个匹配项的结果散列值不会是唯一的。此表包含一个掩码或X值，通过该值，它可了解是否与此条目匹配或不匹配。 |
| 渠道客户经理 |
内容可寻址存储器 |
硬件内存通用术语（散列/TCAM） |
| RIB |
路由信息库 |
show ip route中显示的路由表。 |
| FIB |
转发信息库 |
带有由RIB和ARP表添加前缀的简化表，带有指向ADJ表的指针。 |
| 直连 |
直接连接的路由 |
本地连接的主机前缀（ARP邻接）。 |
| 间接连接 |
间接连接的路由 |
通过远程下一跳到达的路由。 |
| ADJ |
邻接（表） |
存储用于数据包重写的下一跳信息。 |
| EM |
精确匹配 |
连接的主机，间接/32主机前缀 |
| TCAM |
三重内容可寻址存储器 |
间接前缀/31或更短 |
| 美联储 |
转发引擎驱动程序 |
ASIC（硬件）层 |
| FMAN-FP |
转发管理器 — 转发平面 |
FMAN-FP管理添加、删除或修改FED信息的软件对象。 |
| SI |
站点索引 |
站点索引=数据包重写信息（RI =重写索引）和出站接口信息（DI =目标索引） |
| RI |
重写索引 |
第3层转发到下一跳邻接的MAC地址重写信息。 |
| DI |
目标索引 |
指向出站接口的索引。 |
| UADP |
思科统一接入™数据平面 |
交换机中使用的ASIC架构。 |
ASIC版本信息（UADP 2.0与3.0）
Catalyst 9000系列ASIC 2.0和3.0版本之间的主要区别在于如何填充或使用FIB硬件。
在UADP 3.0中，使用称为EM/LPM的内存：
- 主机路由（/32掩码长度）和直连（ARP邻接）
- /31或更短的前缀（需要掩码比较才能做出转发决策。）
在UADP 3.0 TCAM中，它仍然适用于FIB，但仅用于无法使用EM/LPM的特殊情况或例外。
- 例如，如果IP地址空间不连续或使用了多个地址空间，并且无法合并到EM/LPM中。
在UADP 2.0中，内存分为两个部分EM和TCAM:
- EM用于/32主机路由和直连（ARP相邻）主机。
- TCAM用于需要比较前缀掩码的/31或更短的前缀。
比较两种ASIC类型之间的以下输出：
在本例中，9500-12Q具有明显更多的TCAM空间。但是，9500-48Y4C(9500H)的EM/LPM规模更大。
- LPM — 同样的逻辑同样适用于9500-12Q的TCAM，但并未特别指出。
- 9500H上的EM/LPM表示此共享内存空间用于精确匹配(EM)和LPM（基于前缀）条目。系统使用优化的内存系统来实现可扩展性、性能和灵活性。
- 9500H上的TCAM显着减少是为了存储特殊条目，尤其是散列冲突（当无法生成特定条目的唯一散列时）。
9500-48Y4C（9500H/高性能 — 基于UADP 3.0的交换机）：
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 3 0.01% 2 0 1 0 <-- LPM matches now stored here
IP Route Table TCAM I 1536 15 0.02% 6 6 2 1 <-- Used for exception cases
9500-12Q（基于UADP 2.0的交换机）：
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- LPM matches are stored here in 2.0
通用硬件验证命令
这些命令显示所使用散列、TCAM、接口、重写资源的高级使用统计信息。
- 这些资源是相关的，耗尽从属资源可能会影响完全使用其他可用资源的能力。
- 在17.x系列中更改这些命令的输出，可以更轻松地读取硬件和诊断特定问题。
示例：交换机可以有可用的Hash/TCAM，但邻接关系会用完。
- 数据包转发能力可能会影响到某个目标前缀，这不是因为硬件无法对FIB进行编程，而是因为硬件无法对新重写条目进行编程。
show platform hardware fedactive fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fedactive fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fedactive fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ### New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4 show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Cisco IOS XE 17.x通用硬件验证命令
如果您有硬件扩展问题，首先要评估的是show platform hardware fed active fwd-asic resource tcam utilization命令。（它按ASIC显示信息）。
代码：
- EM - Exact_Match < — 请参阅术语表了解定义
- I — 输入，O — 输出，IO — 输入和输出， < — 如果资源是定向的，则说明它
- 不适用< — 如果方向不适用
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable <-- Key for table abbreviations
CAM Utilization for ASIC [0] <-- Content Addressable Memory for ASIC 0
Table Subtype Dir Max Used %Used V4 V6 MPLS Other <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table EM I 65536 18 0.03% 0 0 0 18
Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21
L3 Multicast EM I 16384 0 0.00% 0 0 0 0
L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0
L2 Multicast EM I 16384 0 0.00% 0 0 0 0
L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- Data from RIB/FIB populated here
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- Data from RIB/FIB populated here
QOS ACL TCAM IO 18432 85 0.46% 28 38 0 19
Security ACL TCAM IO 18432 129 0.70% 26 58 0 45
Netflow ACL TCAM I 1024 6 0.59% 2 2 0 2
PBR ACL TCAM I 2048 22 1.07% 16 6 0 0 <-- Data for PBR & NAT populated here
Netflow ACL TCAM O 2048 6 0.29% 2 2 0 2
Flow SPAN ACL TCAM IO 1024 13 1.27% 3 6 0 4
Control Plane TCAM I 512 276 53.91% 126 106 0 44
Tunnel Termination TCAM I 1024 18 1.76% 8 10 0 0
Lisp Inst Mapping TCAM I 2048 1 0.05% 0 0 0 1
Security Association TCAM I 512 4 0.78% 2 2 0 0
CTS Cell Matrix/VPN
Label EM O 8192 0 0.00% 0 0 0 0 <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label TCAM O 512 1 0.20% 0 0 0 1
Client Table EM I 4096 0 0.00% 0 0 0 0
Client Table TCAM I 256 0 0.00% 0 0 0 0
Input Group LE TCAM I 1024 0 0.00% 0 0 0 0
Output Group LE TCAM O 1024 0 0.00% 0 0 0 0
Macsec SPD TCAM I 1024 2 0.20% 0 0 0 2
CAM Utilization for ASIC [1]
<...snip...>
如果命令show platform hardware fed active fwd-asic resource tcam utilization中的硬件扩展正常，请检查其他相关资源。
Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name Allocated Free <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI 61 41805 <-- DI = Destination Index
RSC_RI 3 57317 <-- RI = Rewrite Index
RSC_RI_REP 10 49143 <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI 519 64849 <-- SI = Station Index
<...snip...>
Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization Resource Info for ASIC Instance: 0 Rewrite Data Allocated Free <-- Rewrite specific hardware resources ------------------------------------------------------- PHF_EGRESS_destMacAddress 0 32000 <-- Destination MAC (Layer 3 next hop MAC rewrite) IPV4_TUNNEL_SRC_IP_ADDR 0 16 <-- IPv4 Tunnel Source IP IPV4_TUNNEL_DEST_IP_ADDR 0 256 <-- IPv4 Tunnel Destination IP IPV4_GRE_TUNNEL_DEST_IP_ADDR 0 1024 <-- GRE specific tunnel Destination IP GRE_HEADER 0 684 GRE_KEY 0 684 <-- GRE keys NAT_L3_DEST_IPV4 0 7168 <-- NAT Layer 3 IPv4 Destination NAT_DST_PORT_UNICAST 0 8192 <-- NAT Destination Ports NAT_L3_SRC_IPV4 0 8192 <-- NAT Layer 3 IPv4 Source NAT_SRC_PORT_UNICAST 0 8192 <-- NAT Source Ports
<...snip...>
Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name Allocated Free Usage% <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- RI = Rewrite Index
RSC_SI 519 64849 0.79 <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features
Rewrite Data Allocated Free Usage% <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address
CAM Table Utilization Info Allocated Free Usage% <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network 0/ 0 0/32768 0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)
Cisco IOS XE 16.x通用硬件验证命令
如果您有硬件扩展问题，首先要评估的是show platform hardware fed active fwd-asic resource tcam utilization命令。（它按ASIC显示信息）。 您可以看到，在16.x系列中，输出不是那么精确，而且有些描述也各不相同。
在大多数情况下，表列表是明确的，但也有一些例外：
- 直接或间接连接的路由。这需要改进，因为不清楚直接表示ARP邻接路由和/32主机路由。间接表示任何路由/31或更短
- 基于策略的路由ACE包括NAT相关配置。当NAT是需要考虑的功能时，请记住这一点。
Switch#show platform hardware fed switch active fwd-asic resource tcam utilization CAM Utilization for ASIC [0] Table Max Values Used Values -------------------------------------------------------------------------------- Unicast MAC addresses 32768/1024 19/21 L3 Multicast entries 8192/512 0/9 L2 Multicast entries 8192/512 0/11 Directly or indirectly connected routes 24576/8192 3/19 <-- First value 24576 = EM / Second value 8192 = TCAM QoS Access Control Entries 5120 85 Security Access Control Entries 5120 126 Ingress Netflow ACEs 256 8 Policy Based Routing ACEs 1024 22 Egress Netflow ACEs 768 8 Flow SPAN ACEs 1024 13 Control Plane Entries 512 255 Tunnels 512 17 Lisp Instance Mapping Entries 2048 3 Input Security Associations 256 4 SGT_DGT 8192/512 0/1 CLIENT_LE 4096/256 0/0 INPUT_GROUP_LE 1024 0 OUTPUT_GROUP_LE 1024 0 Macsec SPD 256 2
show platform hardware fedactive fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fedactive fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
每功能硬件验证命令
场景:IPv4前缀
IPv4硬件验证可以在了解Catalyst 9000交换机上的IPv4硬件资源中找到。
症状资源超出规模。
- 设备或前缀连通性问题。虽然现有路由或设备仍可访问，但无法访问任何新的或更新的前缀。
- 日志消息指示硬件无法接收新的对象更新。
- 对象层，将软件编程到硬件中变得拥塞。
- 受影响硬件层没有条目（在本例中，FIB是受影响层）。
IPv4系统日志
如果特定IPv4 FIB或邻接资源耗尽，系统将生成SYSLOG消息：
| IPv4 FIB日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR:交换机1 R0/0:美联储：“由于硬件资源耗尽，未能为fib条目分配硬件资源”错误。 |
为IPv4 FIB条目保留的硬件空间已用尽（EM或TCAM）。 |
总结路由或采取某些其他操作以减少FIB条目的规模（可以是完全匹配或TCAM，无论哪个条目已耗尽）。 |
| %FED_L3_ERRMSG-3-RSRC_ERR:R0/0:美联储：“为adj条目分配硬件资源失败 — rc:1”错误。 |
邻接表已用尽。这是硬件中存储下一跳目的MAC地址的表。 |
减少直连（ARP相邻）主机的扩展数量 |
场景:ACL
ACL硬件验证可以在验证Catalyst 9000交换机上的安全ACL中找到。
ACL系统日志
如果特定安全ACL资源耗尽，则系统生成SYSLOG消息（接口、Vlan、标签等值可以不同）。
| ACL日志消息 |
定义 |
恢复操作 |
| %ACL_ERRMSG-4-UNLOADED:交换机1馈电：接口<interface>上的输入<ACL>无法在硬件中编程，因此可以丢弃流量。 |
ACL已卸载（保留在软件中）。 |
研究TCAM规模。如果超出规模，请重新设计ACL。 |
| 已删除%ACL_ERRMSG-6:1个联邦储备银行： 为标签<label>asic<number>删除了接口<interface>上输入<ACL>的卸载配置 |
卸载的ACL配置会从接口删除。 |
ACL已删除，无需执行任何操作。 |
| %ACL_ERRMSG-6-RELOADED:1个联邦储备银行： 接口<interface>上的输入<ACL>现已加载到asic<number>上标签<label>的硬件中 |
ACL现在已安装在硬件中。 |
ACL的问题现已通过硬件解决，无需采取任何措施。 |
| %ACL_ERRMSG-3-ERROR:1个联邦储备银行： 无法在bindorder <number>处的<interface>上应用输入<ACL> IP ACL <NAME>配置 |
其他类型ACL错误（例如dot1x ACL安装失败） |
确认是否支持ACL配置，以及TCAM是否超出规模 |
| %ACL_ERRMSG-6-GACL_INFO:交换机1 R0/0:美联储：GACL不支持日志记录 |
GACL配置了日志选项。 |
GACL不支持日志。从GACL中删除日志语句。 |
| %ACL_ERRMSG-6-PACL_INFO:交换机1 R0/0:美联储：PACL不支持日志记录 |
PACL已配置日志选项。 |
PACL不支持日志。从PACL中删除日志语句。 |
| %ACL_ERRMSG-3-ERROR:交换机1 R0/0:美联储：输入IPv4组ACL implicit_deny:<name>:无法在客户端MAC 0000.0000.0000上应用配置 |
(dot1x)ACL无法应用到目标端口。 |
确认是否支持ACL配置，以及TCAM是否超出规模。 |
场景:NAT
NAT硬件验证可以在Catalyst 9000交换机上配置和验证NAT中找到。
NAT系统日志
NAT功能没有任何在硬件资源扩展不足时打印的系统日志。Cisco Bug ID CSCvz46804已归档作为添加这些日志的增强功能。
如果遇到NAT问题并要验证硬件资源使用情况，请选中show platform hardware feed switch active fwd-asic resource tcam utilization（当NAT TCAM耗尽时，PBR ACL区域被高度利用）。
另请检验您是否已按照此处所述的限制配置了NAT:NAT的限制。
场景:MPLS
可以在Catalyst 9000交换机上配置和验证MPLS中找到MPLS硬件验证。
MPLS系统日志
如果某个特定资源（例如MPLS标签）耗尽，则系统生成SYSLOG消息。
需牢记的要点：
- MPLS LABEL用于标签处理。（从本地CE获取前缀时会占用此资源）
- LSPA用于标签实施。（从远程PE获取前缀时会占用此资源）
| MPLS日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR:交换机1 R0/0:fed:“为fib entry分配硬件资源失败”错误，原因是硬件资源耗尽。 |
为IP前缀保留的硬件空间已用尽（EM或TCAM）。 |
采取以下操作之一以减少本地或远程PE获取的前缀的数量： 1.在CE上汇总前缀。 2.将标签分配模式从per-prefix更改为per-vrf。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource:交换机1 R0/0:美联储：“MPLS LABEL ENTRY的资源不足”错误。无法对硬件中的本地标签：8205(8192/8192)进行编程。 |
本地标签分配：为MPLS本地标签保留的硬件空间不足（EM或TCAM）。 |
执行下列操作之一，以减少本地PE上使用的标签数量： 1.汇总本地CE或本地PE上的前缀。 2.在本地PE上将标签分配模式从per-prefix更改为per-vrf。 |
| %FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE:交换机1 R0/0:美联储：已达到MPLS LABEL ENTRY资源的严重限制。条目创建已暂停。 |
本地标签分配：为MPLS本地标签保留的硬件空间不足（EM或TCAM）。 |
执行下列操作之一，以减少本地PE上使用的标签数量： 1.汇总本地CE或本地PE上的前缀。 2.在本地PE上将标签分配模式从per-prefix更改为per-vrf。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource:交换机1 R0/0:美联储：“MPLS LSPA的资源不足。无法在硬件中编程”错误。 |
远程标签分配： 为LSPA远程标签保留的硬件空间已用尽。 |
执行下列操作之一，以减少远程PE上使用的标签数量： 1.汇总远程CE或远程PE上的前缀。 2.将远程PE上的标签分配模式从per-prefix更改为per-vrf。 |
场景:服务质量
QoS硬件验证可以在了解Catalyst 9000交换机上的QoS硬件资源中找到。
QoS系统日志
如果与QoS相关的资源耗尽，系统将生成SYSLOG消息：
| QoS相关系统日志消息 |
定义 |
恢复操作 |
| %FED_QOS_ERRMSG-4-TCAM_OVERFLOW:交换机1 R0/0:美联储：GigabitEthernet1/0/10上策略映射ingress_pmap2的“无法编程”错误TCAM。 |
为QoS实体保留的硬件(TCAM)空间已用尽。 |
|
| %FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR:交换机1 R0/0:美联储：GigabitEthernet1/0/27出现“Failed to configure queue scheduler”错误。 |
QoS队列调度程序的硬件安装失败。 |
仅适用于9200L:查看Cisco Bug ID CSCvz54607和Cisco Bug ID CSCvz76172 |
| FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR:R0/0:美联储：“未能配置默认队列缓冲区”错误。 |
QoS队列缓冲区的硬件安装失败。 |
|
相关信息
思科漏洞 ID
Cisco Bug ID CSCvg60292（在TCAM中达到最大路由数时，哈希表中不能安装任何路由。）
Cisco Bug ID CSCvx57822（硬件表需要90%的利用率水印。）
Cisco Bug ID CSCvs49401
Cisco Bug ID CSCvz54607
Cisco Bug ID CSCvz76172
修订历史记录
| 版本 | 发布日期 | 备注 |
|---|---|---|
7.0 |
17-Aug-2026
|
重新认证、格式化、语法。 |
6.0 |
08-Apr-2025
|
重新认证 |
5.0 |
29-Feb-2024
|
更新的样式要求、机器翻译、语法、拼写和格式。 |
4.0 |
05-Dec-2022
|
已添加QoS部分 |
3.0 |
05-Aug-2022
|
将新发布的IPv4 URL添加到方案：IPv4部分 |
2.0 |
25-Feb-2022
|
添加了MPLS指南URL to MPLS部分 |
1.0 |
24-Feb-2022
|
初始版本 |
反馈