了解Catalyst 9000交换机上的硬件资源
下载选项
已更新: 2022 年 12 月 5 日
文档 ID:217703
非歧视性语言
此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。 深入了解思科如何使用包容性语言。
关于此翻译
思科采用人工翻译与机器翻译相结合的方式将此文档翻译成不同语言，希望全球的用户都能通过各自的语言得到支持性的内容。 请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 Cisco Systems, Inc. 对于翻译的准确性不承担任何责任，并建议您总是参考英文原始文档（已提供链接）。
目录
简介
本文档介绍如何了解Catalyst 9000系列交换机上的硬件资源并对其进行故障排除。
先决条件
要求
本文档没有任何特定的要求。
使用的组件
本文档中的信息基于以下软件和硬件版本：
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9200、9300、9400、9500非HP系列交换机
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9500HP、9600系列交换机
本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。
背景信息
- Catalyst 9000系列交换机的各种功能消耗有限的硬件资源。这些资源的存在是为了提高这些功能的性能，并提供交换机预期的预期高转发速率。
- 这些表的大小因交换机型号而异，但基本的故障排除方法保持不变。
- 通常情况下，LAN交换中的主要有限硬件资源称为TCAM(TCAM是一种内存技术，特别适用于存储LPM（最长前缀匹配）信息以用于快速查找或其他类型的OR逻辑查找)。
- 在Catalyst 9000系列交换机中，除了使用“TCAM”之外，还使用多种内存类型，这适合特定功能的特定需求（HASH是另一种简化内存）。MAC地址表就是这种内存类型的示例)。
对未按预期运行的功能进行故障排除时，良好的出发点是确认硬件不超过相关交换机的规模。虽然交换机在这些表的大小上可能不同，但验证和故障排除方法大体相同。
注意：此页面也是一个参考页面，您可以在其中找到有关各种功能以及如何检查其硬件规模的信息。
注意：根据平台，CLI有时包含术语“switch”，有时则不包含。('show platform hardware fed <number|active|standby> fwd-asic resource tcam utilization'与show platform hardware fed <active> fwd-asic resource tcam utilization
术语
| EM |
精确匹配 |
哈希内存中的条目是1:1匹配（主机路由、直连主机） |
| LPM |
最长前缀匹配 |
任何是/31或更短的路由（/32路由是EM类型） |
| TCAM |
三重内容可寻址存储器 |
一种内存，用于存储和查询具有三个不同输入（0、1和X）的条目。当同一条目可能存在多个匹配项，并且每个匹配项的结果哈希值不唯一时，必须使用这种内存。 此表包含一个掩码或“X”值，使其可以知道它是否与此条目匹配。 |
| 渠道客户经理 |
内容可寻址存储器 |
硬件内存通用术语(Hash/TCAM) |
| RIB |
路由信息库 |
show ip route中显示的路由表 |
| FIB |
转发信息库 |
带有由RIB和ARP表添加前缀的简化表，带有指向ADJ表的指针 |
| 直接连接 |
直接连接的路由 |
本地连接的主机前缀（ARP邻接） |
| 间接连接 |
间接连接的路由 |
通过远程下一跳到达的路由 |
| ADJ |
邻接（表） |
存储用于数据包重写的下一跳信息 |
| EM |
精确匹配 |
连接的主机，间接/32主机前缀 |
| TCAM |
三重内容可寻址存储器 |
间接前缀/31或更短 |
| 美联储 |
转发引擎驱动程序 |
ASIC（硬件）层 |
| FMAN-FP |
转发管理器 — 转发平面 |
FMAN-FP管理添加、删除或修改FED信息的软件对象 |
| SI |
站点索引 |
站点索引 = 数据包重写信息（RI =重写索引）和出站接口信息（DI =目标索引） |
| RI |
重写索引 |
第3层转发到下一跳邻接的MAC地址重写信息 |
| DI |
目标索引 |
指向出站接口的索引 |
| UADP |
思科统一接入™ 数据层面 |
交换机中使用的ASIC架构 |
ASIC版本信息（UADP 2.0与3.0）
Catalyst 9000系列ASIC 2.0和3.0版本之间的主要区别在于如何填充或使用FIB硬件。
在UADP 3.0中，使用称为EM/LPM的内存：
- 主机路由（/32掩码长度）和直连（ARP邻接）
- /31或更短的前缀（需要掩码比较才能做出转发决策）
在UADP 3.0中，TCAM仍然适用于FIB，但仅用于无法使用EM/LPM的特殊情况或例外。
- 例如，如果IP地址空间不连续或使用了多个地址空间，并且无法合并到EM/LPM中。
在UADP 2.0中，内存分为两个部分EM和TCAM:
- EM用于/32主机路由和直连（ARP相邻）主机
- TCAM用于需要前缀掩码比较的/31或更短的前缀
比较两种ASIC类型之间的以下输出：
在本示例中，9500-12Q具有明显更多的“TCAM”空间。但是，9500-48Y4C(9500H)的EM/LPM规模更大。
- LPM代表“最长前缀匹配” — 同样的逻辑同样适用于9500-12Q的TCAM，但并未特别指出。
- 9500H上的EM/LPM表示此共享内存空间用于精确匹配(EM)和LPM（基于前缀）条目。系统使用优化的内存系统来实现可扩展性、性能和灵活性。
- 9500H上的TCAM显着减少是为了存储特殊条目，特别是“散列冲突”（当无法生成特定条目的唯一散列时）。
9500-48Y4C（9500H/高性能 — 基于UADP 3.0的交换机）
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 3 0.01% 2 0 1 0 <-- LPM matches now stored here
IP Route Table TCAM I 1536 15 0.02% 6 6 2 1 <-- Used for exception cases
9500-12Q（基于UADP 2.0的交换机）
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- LPM matches are stored here in 2.0
注：有关UADP架构的详细信息，请参阅Cisco Catalyst 9500架构白皮书
通用硬件验证命令
这些命令显示所使用散列、TCAM、接口、重写资源的高级使用统计信息。
- 这些资源是相关的，耗尽从属资源可能会影响完全使用其他可用资源的能力。
- 在17.x系列中更改这些命令的输出，可以更轻松地读取硬件和诊断特定问题。
示例： 交换机可以有可用的Hash/TCAM，但邻接关系已用完。
- 数据包转发能力可能会影响到某个目标前缀，这不是因为硬件无法对FIB进行编程，而是因为硬件无法对新重写条目进行编程。
show platform hardware fed
active fwd-asic resource tcam utilization
<-- Hash & TCAM
show platform hardware fed
active fwd-asic resource utilization
<-- SI/RI/DI/etc (other related resources)
show platform hardware fed
active fwd-asic resource rewrite utilization
<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ###
New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Cisco IOS XE 17.x通用硬件验证命令
show platform hardware fed active fwd-asic resource tcam utilization命令是第一个要评估硬件规模问题的位置。（它按ASIC显示信息）。
代码：
- EM - Exact_Match < — 请参阅术语表了解定义
- I — 输入，O — 输出，IO — 输入和输出，< — 如果资源是方向的，则说明它
- 不适用< — 如果方向不适用
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable <-- Key for table abbreviations
CAM Utilization for ASIC [0] <-- Content Addressable Memory for ASIC 0
Table Subtype Dir Max Used %Used V4 V6 MPLS Other <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table EM I 65536 18 0.03% 0 0 0 18
Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21
L3 Multicast EM I 16384 0 0.00% 0 0 0 0
L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0
L2 Multicast EM I 16384 0 0.00% 0 0 0 0
L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- Data from RIB/FIB populated here
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- Data from RIB/FIB populated here
QOS ACL TCAM IO 18432 85 0.46% 28 38 0 19
Security ACL TCAM IO 18432 129 0.70% 26 58 0 45
Netflow ACL TCAM I 1024 6 0.59% 2 2 0 2
PBR ACL TCAM I 2048 22 1.07% 16 6 0 0 <-- Data for PBR & NAT populated here
Netflow ACL TCAM O 2048 6 0.29% 2 2 0 2
Flow SPAN ACL TCAM IO 1024 13 1.27% 3 6 0 4
Control Plane TCAM I 512 276 53.91% 126 106 0 44
Tunnel Termination TCAM I 1024 18 1.76% 8 10 0 0
Lisp Inst Mapping TCAM I 2048 1 0.05% 0 0 0 1
Security Association TCAM I 512 4 0.78% 2 2 0 0
CTS Cell Matrix/VPN
Label EM O 8192 0 0.00% 0 0 0 0 <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label TCAM O 512 1 0.20% 0 0 0 1
Client Table EM I 4096 0 0.00% 0 0 0 0
Client Table TCAM I 256 0 0.00% 0 0 0 0
Input Group LE TCAM I 1024 0 0.00% 0 0 0 0
Output Group LE TCAM O 1024 0 0.00% 0 0 0 0
Macsec SPD TCAM I 1024 2 0.20% 0 0 0 2
CAM Utilization for ASIC [1]
<...snip...>
如果命令show platform hardware fed active fwd-asic resource tcam utilization中的硬件扩展正常，请检查其他相关资源
注意：有许多共享资源。这只是几个常用的方法。（该表的外观在16.x和17.x之间没有变化）
Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name Allocated Free <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI 61 41805 <-- DI = Destination Index
RSC_RI 3 57317 <-- RI = Rewrite Index
RSC_RI_REP 10 49143 <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI 519 64849 <-- SI = Station Index
<...snip...>
Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization Resource Info for ASIC Instance: 0 Rewrite Data Allocated Free <-- Rewrite specific hardware resources ------------------------------------------------------- PHF_EGRESS_destMacAddress 0 32000 <-- Destination MAC (Layer 3 next hop MAC rewrite) IPV4_TUNNEL_SRC_IP_ADDR 0 16 <-- IPv4 Tunnel Source IP IPV4_TUNNEL_DEST_IP_ADDR 0 256 <-- IPv4 Tunnel Destination IP IPV4_GRE_TUNNEL_DEST_IP_ADDR 0 1024 <-- GRE specific tunnel Destination IP GRE_HEADER 0 684 GRE_KEY 0 684 <-- GRE keys NAT_L3_DEST_IPV4 0 7168 <-- NAT Layer 3 IPv4 Destination NAT_DST_PORT_UNICAST 0 8192 <-- NAT Destination Ports NAT_L3_SRC_IPV4 0 8192 <-- NAT Layer 3 IPv4 Source NAT_SRC_PORT_UNICAST 0 8192 <-- NAT Source Ports
<...snip...>
Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name Allocated Free Usage% <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- RI = Rewrite Index
RSC_SI 519 64849 0.79 <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features
Rewrite Data Allocated Free Usage% <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address
CAM Table Utilization Info Allocated Free Usage% <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network 0/ 0 0/32768 0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)
注意：9500H和9600 ASIC能够在散列内存（称为EM/LPM）中存储较短的前缀掩码，而不是TCAM。有关详细信息，请参阅IPv4特定场景
Cisco IOS XE 16.x通用硬件验证命令
show platform hardware fed active fwd-asic resource tcam utilization命令是第一个要评估硬件规模问题的位置。（它按ASIC显示信息）。您可以看到，在16.x系列中，输出不是那么精确，而且有些描述也各不相同。
在大多数情况下，表列表是明确的，但也有一些例外：
- 直接或间接连接的路由。这需要改进，因为并不清楚“直接”表示ARP邻接路由和/32主机路由。“间接”是指任何路由/31或更短
- “基于策略的路由ACE”包括NAT相关配置。当NAT是需要考虑的功能时，请记住这一点。
Switch#show platform hardware fed switch active fwd-asic resource tcam utilization CAM Utilization for ASIC [0] Table Max Values Used Values -------------------------------------------------------------------------------- Unicast MAC addresses 32768/1024 19/21 L3 Multicast entries 8192/512 0/9 L2 Multicast entries 8192/512 0/11 Directly or indirectly connected routes 24576/8192 3/19 <-- First value 24576 = EM / Second value 8192 = TCAM QoS Access Control Entries 5120 85 Security Access Control Entries 5120 126 Ingress Netflow ACEs 256 8 Policy Based Routing ACEs 1024 22 Egress Netflow ACEs 768 8 Flow SPAN ACEs 1024 13 Control Plane Entries 512 255 Tunnels 512 17 Lisp Instance Mapping Entries 2048 3 Input Security Associations 256 4 SGT_DGT 8192/512 0/1 CLIENT_LE 4096/256 0/0 INPUT_GROUP_LE 1024 0 OUTPUT_GROUP_LE 1024 0 Macsec SPD 256 2
注：此处列出的命令在16和17代码系列之间没有CLI更改，并且本文档的17.x部分仅介绍一次。
show platform hardware fed
active fwd-asic resource utilization
<-- SI/RI/DI/etc (other related resources)
show platform hardware fed
active fwd-asic resource rewrite utilization
<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
每功能硬件验证命令
场景：IPv4前缀
IPv4硬件验证可以在本页了解Catalyst 9000交换机上的IPv4硬件资源
症状资源超出规模
- 设备或前缀连通性问题。虽然现有路由或设备仍可访问，但无法访问任何新的或更新的前缀。
- 日志消息指示硬件无法接收新的对象更新
- 将软件编程到硬件中的对象层变得拥塞
- 受影响硬件层没有条目（在本例中，FIB是受影响层）。
IPv4系统日志
如果特定IPv4 FIB或邻接资源耗尽，则由系统生成SYSLOG消息
| IPv4 FIB日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR：交换机1 R0/0: fed：由于硬件资源耗尽，无法为fib条目分配硬件资源 |
为IPv4 FIB条目保留的硬件空间已用尽（EM或TCAM） |
总结路由或采取某些其他操作以减少FIB条目的规模（可以是完全匹配或TCAM，无论哪个条目已耗尽）。 |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:为adj条目分配硬件资源失败 — rc:1 |
邻接表已用尽。这是硬件中存储下一跳目的MAC地址的表。 |
减少直连（ARP相邻）主机的扩展数量 |
场景：ACL
ACL硬件验证可以在此页面上找到验证Catalyst 9000交换机上的安全ACL
ACL系统日志
如果特定安全ACL资源用完，系统将生成SYSLOG消息（接口、Vlan、标签等值可能不同）。
| ACL日志消息 |
定义 |
恢复操作 |
| %ACL_ERRMSG-4-UNLOADED：馈送交换机1：接口<interface>上的输入<ACL>无法在硬件中编程，且流量将被丢弃。 |
ACL已卸载（保留在软件中） |
研究TCAM规模。如果超出规模，请重新设计ACL。 |
| %ACL_ERRMSG-6-REMOVED：已馈送1：已为标签<label>asic<number>删除接口<interface>上输入<ACL>的卸载配置 |
从接口删除卸载的ACL配置 |
ACL已删除，无需执行任何操作 |
| %ACL_ERRMSG-6-RELOADED: 1 fed: Input <ACL> on interface <interface>现已加载到asic<number>标签<label>的硬件中 |
ACL现在已安装在硬件中 |
ACL的问题现已通过硬件解决，无需采取任何措施 |
| %ACL_ERRMSG-3-ERROR：已馈送1个：无法在bindorder <number>处的<interface>上应用输入<ACL> IP ACL <NAME>配置 |
其他类型ACL错误（例如dot1x ACL安装失败） |
确认是否支持ACL配置，以及TCAM是否超出规模 |
| %ACL_ERRMSG-6-GACL_INFO:交换机1 R0/0：馈送：GACL不支持日志记录 |
GACL配置了日志选项 |
GACL不支持日志。从GACL中删除日志语句 |
| %ACL_ERRMSG-6-PACL_INFO:交换机1 R0/0：馈送：PACL不支持日志记录 |
PACL已配置日志选项 |
PACL不支持日志。从PACL中删除日志语句 |
| %ACL_ERRMSG-3-ERROR：交换机1 R0/0：已提供：输入IPv4组ACL implicit_deny:<name>：无法在客户端MAC 0000.0000.0000上应用配置 |
(dot1x)ACL无法应用到目标端口 |
确认是否支持ACL配置，以及TCAM是否超出规模 |
场景：NAT
NAT硬件验证可以在本页Configure and Verify NAT on Catalyst 9000 Switches上找到
NAT系统日志
NAT功能没有任何在硬件资源扩展不足时打印的系统日志。Cisco Bug ID CSCvz46804已归档作为添加这些日志的增强功能。
如果遇到NAT问题并要验证硬件资源使用情况，请选中show platform hardware feed switch active fwd-asic resource tcam utilization（当NAT TCAM耗尽时，PBR ACL区域被高度利用）。
另请确认您已按照此处所述的限制配置了NAT:NAT的限制
场景：MPLS
MPLS硬件验证可以在本页上配置和验证Catalyst 9000交换机上的MPLS
MPLS系统日志
如果耗尽特定资源（例如MPLS标签），系统就会生成SYSLOG消息。
需牢记的要点：
- MPLS LABEL用于标签处理。（从本地CE获取前缀时会占用此资源）
- LSPA用于标签实施。 （从远程PE获取前缀时会占用此资源）
| MPLS日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR：交换机1 R0/0: fed：由于硬件资源耗尽，为fib条目分配硬件资源失败 |
为IP前缀保留的硬件空间已用尽（EM或TCAM） |
采取以下操作之一以减少本地或远程PE获知的前缀数量: 1.在CE上汇总前缀 2.将标签分配模式从每个前缀更改为每个vrf |
| %FED_L3_ERRMSG-3-mpls_out_of_resource：交换机1 R0/0: fed:MPLS LABEL ENTRY的资源不足。无法对硬件中的本地标签8205(8192/8192)进行编程 |
本地标签分配：为MPLS本地标签保留的硬件空间已用尽（EM或TCAM） |
采取以下操作之一以减少本地PE上使用的标签数： 1.汇总本地CE或本地PE上的前缀 2.在本地PE上将标签分配模式从每个前缀更改为每个VRF |
| %FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE：交换机1 R0/0: fed：已达到MPLS LABEL ENTRY资源的严重限制。条目创建已暂停。 |
本地标签分配：为MPLS本地标签保留的硬件空间不足（EM或TCAM） |
采取以下操作之一以减少本地PE上使用的标签数: 1.汇总本地CE或本地PE上的前缀 2.在本地PE上将标签分配模式从每个前缀更改为每个VRF |
| %FED_L3_ERRMSG-3-mpls_out_of_resource：交换机1 R0/0: fed:MPLS LSPA的资源不足。无法在硬件中编程 |
远程标签分配：为LSPA远程标签保留的硬件空间已用尽 |
采取以下操作之一以减少远程PE上使用的标签数: 1.汇总远程CE或远程PE上的前缀 2.将远程PE上的标签分配模式从每个前缀更改为每个vrf |
场景：QoS
QoS硬件验证可以在此页面上找到了解Catalyst 9000交换机上的QoS硬件资源
QoS系统日志
如果与QoS相关的资源耗尽，系统将生成SYSLOG消息：
| QoS相关系统日志消息 |
定义 |
恢复操作 |
| %FED_QOS_ERRMSG-4-TCAM_OVERFLOW：交换机1 R0/0：馈送：无法在GigabitEthernet1/0/10上为策略映射ingress_pmap2编程TCAM。 |
为QoS实体保留的硬件(TCAM)空间已用尽 |
|
| %FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR：交换机1 R0/0: fed：无法为GigabitEthernet1/0/27配置队列调度程序 |
QoS队列调度程序的硬件安装失败 |
对于9200LONLY：查看Cisco bug IDCSCvz54607和Cisco bug IDCSCvz76172 |
| FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR: R0/0: fed：无法配置默认队列缓冲区 |
QoS队列缓冲区的硬件安装失败 |
|
相关信息
思科漏洞ID
Cisco Bug ID CSCvg60292（在TCAM中达到最大路由数时，哈希表中不能安装任何路由）
Cisco Bug ID CSCvx57822(硬件表需要90%的利用率水印)
Cisco Bug ID CSCvs49401
Cisco Bug ID CSCvz54607
Cisco Bug ID CSCvz76172
修订历史记录
| 版本 | 发布日期 | 备注 |
|---|---|---|
4.0 |
05-Dec-2022 |
已添加QoS部分 |
3.0 |
05-Aug-2022 |
将新发布的IPv4 URL添加到场景：IPv4部分 |
2.0 |
25-Feb-2022 |
添加了MPLS指南URL to MPLS部分 |
1.0 |
24-Feb-2022 |
初始版本 |
由思科工程师提供
- Ambrose Taylor
- Austin Anderson Ferguson
反馈