瞭解 Catalyst 9000 交換器上的硬體資源
簡介
本文件說明如何瞭解和疑難排解 Catalyst 9000 系列交換器的硬體資源。
必要條件
需求
本文件沒有特定需求。
採用元件
本文中的資訊係根據以下軟體和硬體版本：
- Cisco IOS® XE 16.x和17.x軟體上的Cisco Catalyst 9200、9300、9400、9500非HP系列交換機
- Cisco IOS® XE 16.x和17.x軟體上的Cisco Catalyst 9500HP、9600系列交換機
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。
背景資訊
- Catalyst 9000系列交換器上的各種功能耗用有限的硬體資源。這些資源可用於加速這些功能的效能，並提供交換機預期的高轉發速率。
- 這些表的大小因交換機型號而異，但基本的故障排除方法相同。
- 通常，LAN交換中的主要有限硬體資源稱為TCAM(TCAM是一種記憶體技術，特別適用於儲存最長字首匹配(LPM)資訊以進行快速查詢或其他型別的OR邏輯查詢)。
- 在Catalyst 9000系列交換器中，除了使用TCAM之外，還使用多種記憶體型別，以滿足特定功能的需求（HASH是另一種簡化記憶體）。MAC地址表就是這種記憶體型別的示例)。
對功能無法按預期運行進行故障排除時，一個良好的出發點是確認硬體沒有超出所討論的交換機的規模。雖然交換機的這些表大小不同，但驗證和故障排除方法大體相同。
技術
| EM |
完全匹配 |
雜湊記憶體中一個為1:1匹配的條目（主機路由、直連主機） |
| LPM |
最長字首匹配 |
任何路由是/31或更短（/32路由是EM型別） |
| TCAM |
三重內容可定址儲存器 |
一種儲存器，用於儲存和查詢具有三個不同輸入的條目：0、1和X。當同一條目的匹配項可能有多個時，並且每個條目的雜湊結果都不唯一，則必須使用此型別的記憶體。此表包含一個掩碼或X值，它可用於知道它是否匹配該條目。 |
| CAM |
內容可定址儲存器 |
硬體記憶體通用術語（雜湊/TCAM） |
| RIB |
路由資訊庫 |
show ip route中顯示的路由表。 |
| FIB |
轉發資訊庫 |
帶有由RIB和ARP表新增字首的簡化表，帶有指向ADJ表的指標。 |
| 直接連線 |
直連路由 |
本地連線的主機字首（ARP相鄰）。 |
| 間接連線 |
間接連線路由 |
通過遠端下一跳到達的路由。 |
| ADJ |
鄰接關係（表） |
儲存用於資料包重寫的下一跳資訊。 |
| EM |
完全匹配 |
連線的主機，間接/32主機字首 |
| TCAM |
三重內容可定址儲存器 |
間接字首/31或更短 |
| FED |
轉發引擎驅動程式 |
ASIC（硬體）層 |
| FMAN-FP |
轉發管理器 — 轉發平面 |
FMAN-FP管理新增、刪除或修改FED資訊的軟體對象。 |
| SI |
站台索引 |
站台索引=封包重寫資訊（RI =重寫索引）和傳出介面資訊（DI =目的地索引） |
| RI |
重寫索引 |
第3層轉發到下一跳鄰接的MAC地址重寫資訊。 |
| DI |
目標索引 |
指向出站介面的索引。 |
| UADP |
思科整合存取™資料平面 |
交換機中使用的ASIC架構。 |
ASIC版本資訊（UADP 2.0與3.0）
Catalyst 9000系列ASIC的2.0版和3.0版之間的主要區別在於如何填充或使用FIB硬體。
在UADP 3.0記憶體中，使用EM/LPM:
- 主機路由（/32掩碼長度）和直接連線（ARP相鄰）
- /31或更短的字首（需要掩碼比較才能做出轉發決策。）
在UADP 3.0 TCAM中，FIB仍然存在，但僅用於不能使用EM/LPM的特殊情況或例外。
- 例如，如果IP地址空間不連續或使用了多個地址空間，並且無法合併到EM/LPM中。
在UADP 2.0中，記憶體分為兩部分EM和TCAM:
- EM用於/32主機路由和直連（ARP相鄰）主機。
- TCAM用於需要字首掩碼比較的/31或更短的字首。
比較兩個ASIC型別之間的以下輸出：
在本例中，9500-12Q具有明顯更多的TCAM空間。但是，9500-48Y4C(9500H)的EM/LPM規模更大。
- LPM — 同樣的邏輯也適用於9500-12Q的TCAM，但並未特別指出。
- 9500H上的EM/LPM表示此共用記憶體空間用於完全匹配(EM)和LPM（基於字首）條目。系統使用最佳化的記憶體系統來實現擴展、效能和靈活性。
- 9500H上的TCAM顯著減少是為了儲存特殊條目，特別是雜湊衝突（當無法生成特定條目的唯一雜湊時）。
9500-48Y4C（9500H/高效能 — 基於UADP 3.0的交換機）：
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 3 0.01% 2 0 1 0 <-- LPM matches now stored here
IP Route Table TCAM I 1536 15 0.02% 6 6 2 1 <-- Used for exception cases
9500-12Q（基於UADP 2.0的交換機）：
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- LPM matches are stored here in 2.0
常規硬體驗證命令
這些命令顯示使用的雜湊、TCAM、介面和重寫資源的高級使用統計資訊。
- 這些資源是相關的，並且從屬資源的耗儘可能會影響充分利用其他可用資源的能力。
- 在17.x系列中對這些命令的輸出進行更改後，可以更輕鬆地讀取硬體和診斷特定問題。
示例：交換機可以有可用的Hash/TCAM，但鄰接關係不足。
- 封包轉送能力可能會影響為某個目的地首碼，不是因為硬體無法程式FIB，而是因為它無法程式化新的重寫專案。
show platform hardware fedactive fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fedactive fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fedactive fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ### New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4 show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Cisco IOS XE 17.x通用硬體驗證命令
如果有硬體擴展問題，首先要評估的是show platform hardware fed active fwd-asic resource tcam utilization命令。（它以每個ASIC為基礎顯示資訊）。
代碼：
- EM - Exact_Match < — 請參閱術語表瞭解定義
- I — 輸入， O — 輸出， IO — 輸入和輸出，< — 如果資源是方向的，則說明此資訊
- 不適用 — 不適用< — 如果方向不適用
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable <-- Key for table abbreviations
CAM Utilization for ASIC [0] <-- Content Addressable Memory for ASIC 0
Table Subtype Dir Max Used %Used V4 V6 MPLS Other <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table EM I 65536 18 0.03% 0 0 0 18
Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21
L3 Multicast EM I 16384 0 0.00% 0 0 0 0
L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0
L2 Multicast EM I 16384 0 0.00% 0 0 0 0
L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- Data from RIB/FIB populated here
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- Data from RIB/FIB populated here
QOS ACL TCAM IO 18432 85 0.46% 28 38 0 19
Security ACL TCAM IO 18432 129 0.70% 26 58 0 45
Netflow ACL TCAM I 1024 6 0.59% 2 2 0 2
PBR ACL TCAM I 2048 22 1.07% 16 6 0 0 <-- Data for PBR & NAT populated here
Netflow ACL TCAM O 2048 6 0.29% 2 2 0 2
Flow SPAN ACL TCAM IO 1024 13 1.27% 3 6 0 4
Control Plane TCAM I 512 276 53.91% 126 106 0 44
Tunnel Termination TCAM I 1024 18 1.76% 8 10 0 0
Lisp Inst Mapping TCAM I 2048 1 0.05% 0 0 0 1
Security Association TCAM I 512 4 0.78% 2 2 0 0
CTS Cell Matrix/VPN
Label EM O 8192 0 0.00% 0 0 0 0 <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label TCAM O 512 1 0.20% 0 0 0 1
Client Table EM I 4096 0 0.00% 0 0 0 0
Client Table TCAM I 256 0 0.00% 0 0 0 0
Input Group LE TCAM I 1024 0 0.00% 0 0 0 0
Output Group LE TCAM O 1024 0 0.00% 0 0 0 0
Macsec SPD TCAM I 1024 2 0.20% 0 0 0 2
CAM Utilization for ASIC [1]
<...snip...>
如果命令show platform hardware fed active fwd-asic resource tcam utilization 中的硬體擴展看起來正常，請檢查其他依賴的資源。
Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name Allocated Free <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI 61 41805 <-- DI = Destination Index
RSC_RI 3 57317 <-- RI = Rewrite Index
RSC_RI_REP 10 49143 <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI 519 64849 <-- SI = Station Index
<...snip...>
Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization Resource Info for ASIC Instance: 0 Rewrite Data Allocated Free <-- Rewrite specific hardware resources ------------------------------------------------------- PHF_EGRESS_destMacAddress 0 32000 <-- Destination MAC (Layer 3 next hop MAC rewrite) IPV4_TUNNEL_SRC_IP_ADDR 0 16 <-- IPv4 Tunnel Source IP IPV4_TUNNEL_DEST_IP_ADDR 0 256 <-- IPv4 Tunnel Destination IP IPV4_GRE_TUNNEL_DEST_IP_ADDR 0 1024 <-- GRE specific tunnel Destination IP GRE_HEADER 0 684 GRE_KEY 0 684 <-- GRE keys NAT_L3_DEST_IPV4 0 7168 <-- NAT Layer 3 IPv4 Destination NAT_DST_PORT_UNICAST 0 8192 <-- NAT Destination Ports NAT_L3_SRC_IPV4 0 8192 <-- NAT Layer 3 IPv4 Source NAT_SRC_PORT_UNICAST 0 8192 <-- NAT Source Ports
<...snip...>
Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name Allocated Free Usage% <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- RI = Rewrite Index
RSC_SI 519 64849 0.79 <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features
Rewrite Data Allocated Free Usage% <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address
CAM Table Utilization Info Allocated Free Usage% <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network 0/ 0 0/32768 0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)
Cisco IOS XE 16.x通用硬體驗證命令
如果有硬體擴展問題，首先要評估的是show platform hardware fed active fwd-asic resource tcam utilization命令。（它以每個ASIC為基礎顯示資訊）。 您可以看到，在16.x系列中，輸出沒有那麼精確，有些描述也各不相同。
在大多數情況下，表清單是明確的，但以下幾種情況除外：
- 直接或間接連線的路由。這需要改進，因為並不清楚直接表示ARP相鄰路由和/32主機路由。間接表示任何路由/31或更短
- 基於策略的路由ACE包括NAT相關配置。當NAT是需要考慮的特點時，請記住這一點。
Switch#show platform hardware fed switch active fwd-asic resource tcam utilization CAM Utilization for ASIC [0] Table Max Values Used Values -------------------------------------------------------------------------------- Unicast MAC addresses 32768/1024 19/21 L3 Multicast entries 8192/512 0/9 L2 Multicast entries 8192/512 0/11 Directly or indirectly connected routes 24576/8192 3/19 <-- First value 24576 = EM / Second value 8192 = TCAM QoS Access Control Entries 5120 85 Security Access Control Entries 5120 126 Ingress Netflow ACEs 256 8 Policy Based Routing ACEs 1024 22 Egress Netflow ACEs 768 8 Flow SPAN ACEs 1024 13 Control Plane Entries 512 255 Tunnels 512 17 Lisp Instance Mapping Entries 2048 3 Input Security Associations 256 4 SGT_DGT 8192/512 0/1 CLIENT_LE 4096/256 0/0 INPUT_GROUP_LE 1024 0 OUTPUT_GROUP_LE 1024 0 Macsec SPD 256 2
show platform hardware fedactive fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fedactive fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
依照功能的硬體驗證命令
案例：IPv4字首
IPv4硬體驗證可以在瞭解Catalyst 9000交換機上的IPv4硬體資源中找到。
症狀資源超出規模。
- 裝置或字首可達性問題。雖然現有路由或裝置仍可訪問，但無法訪問任何新的或更新的字首。
- 日誌消息指示硬體無法接收新的對象更新。
- 對象層，將軟體程式設計到硬體中變得擁塞。
- 在受影響的硬體層沒有條目（在這種情況下，FIB是受影響層）。
IPv4系統日誌
如果特定IPv4 FIB或鄰接資源耗盡，系統會生成SYSLOG消息：
| IPv4 FIB日誌消息 |
定義 |
恢復操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR:交換機1 R0/0:美聯儲：「由於硬體資源耗盡，無法為檔案條目分配硬體資源」錯誤。 |
為IPv4 FIB條目保留的硬體空間不足（EM或TCAM）。 |
總結路由或採取一些其他操作以減少FIB條目的規模（可以是完全匹配或TCAM，無論哪個條目已用盡）。 |
| %FED_L3_ERRMSG-3-RSRC_ERR:R0/0:美聯儲：「為adj條目分配硬體資源失敗 — rc:1」錯誤。 |
鄰接表已用盡。這是硬體中儲存下一跳目的MAC地址的表。 |
減少直連（ARP相鄰）主機的擴展數量 |
案例：ACL
在驗證Catalyst 9000交換器上的安全ACL中可找到ACL硬體驗證。
ACL系統日誌
如果特定安全ACL資源用完，系統就會生成SYSLOG消息（介面、Vlan、標籤等值可以不同）。
| ACL日誌消息 |
定義 |
恢復操作 |
| %ACL_ERRMSG-4-UNLOADED:交換機1已饋電：無法在硬體中對<interface>介面上的輸入<ACL>進行程式設計，因此可以丟棄流量。 |
ACL已解除安裝（保留在軟體中）。 |
調查TCAM規模。如果超出規模，請重新設計ACL。 |
| %ACL_ERRMSG-6-REMOVED:1美聯儲： 為標籤<label>asic<number>刪除了介面<interface>上輸入<ACL>的已解除安裝配置 |
解除安裝的ACL配置將從介面刪除。 |
ACL已刪除，無需執行任何操作。 |
| %ACL_ERRMSG-6-RELOADED:1美聯儲： 介面<interface>上的輸入<ACL>現在已載入到asic<number>上標籤<label>的硬體中 |
ACL現在已安裝在硬體中。 |
ACL問題現在已在硬體中解決，無需執行任何操作。 |
| %ACL_ERRMSG-3-ERROR:1美聯儲： 無法在bindorder <number>處的<interface>上應用輸入<ACL> IP ACL <NAME>配置 |
其他型別ACL錯誤（例如dot1x ACL安裝失敗） |
確認是否支援ACL配置，以及TCAM是否超出規模 |
| %ACL_ERRMSG-6-GACL_INFO:交換機1 R0/0:美聯儲：GACL不支援日誌記錄 |
GACL已配置日誌選項。 |
GACL不支援日誌。從GACL中刪除日誌語句。 |
| %ACL_ERRMSG-6-PACL_INFO:交換機1 R0/0:美聯儲：PACL不支援日誌記錄 |
PACL已配置日誌選項。 |
PACL不支援日誌。從PACL中刪除日誌語句。 |
| %ACL_ERRMSG-3-ERROR:交換機1 R0/0:美聯儲：輸入IPv4組ACL implicit_deny:<name>:無法在客戶端MAC 0000.0000.0000上應用配置 |
(dot1x)ACL無法應用到目標埠。 |
確認是否支援ACL配置，以及TCAM是否超出規模。 |
案例：NAT
可以在Catalyst 9000交換機上配置和驗證NAT中找到NAT硬體驗證。
NAT系統日誌
NAT功能在硬體資源擴展不足時沒有任何列印的系統日誌。思科錯誤ID CSCvz46804已歸檔為新增這些日誌的增強功能。
如果您遇到NAT問題並想要驗證硬體資源使用情況，請檢查show platform hardware fed switch active fwd-asic resource tcam utilization（NAT TCAM耗盡時，PBR ACL區域被高度利用）。
此外，請檢驗您是否已按照此處所述的限制配置了NAT:NAT的限制。
案例：MPLS
可以在Catalyst 9000交換機上配置和驗證MPLS中找到MPLS硬體驗證。
MPLS系統日誌
如果某個特定資源（如MPLS標籤）用盡，則系統生成SYSLOG消息。
需要記住的要點：
- MPLS LABEL用於標籤處置。（從本地CE獲取字首時會佔用此資源）
- LSPA用於實施標籤。（從遠端PE獲取字首時會佔用此資源）
| MPLS日誌消息 |
定義 |
恢復操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR:交換機1 R0/0:fed:「無法為fib entry分配硬體資源」錯誤，因為硬體資源耗盡。 |
為IP字首保留的硬體空間不足（EM或TCAM）。 |
執行以下操作之一以減少本地或遠端PE獲取的字首數： 1.在CE上總結字首。 2.將標籤分配模式從每個字首更改為每個vrf。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource:交換機1 R0/0:美聯儲：「MPLS LABEL ENTRY的資源不足」錯誤。無法在硬體中程式設計本地標籤：8205(8192/8192)。 |
本地標籤分配：為MPLS本地標籤保留的硬體空間不足（EM或TCAM）。 |
執行以下操作之一以減少本地PE上使用的標籤數量： 1.彙總本地CE或本地PE上的字首。 2.在本地PE上將標籤分配模式從每個字首更改為每個VRF。 |
| %FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE:交換機1 R0/0:美聯儲：已達到MPLS標籤條目資源的嚴重限制。條目建立已暫停。 |
本地標籤分配：為MPLS本地標籤保留的硬體空間不足（EM或TCAM）。 |
執行以下操作之一以減少本地PE上使用的標籤數量： 1.彙總本地CE或本地PE上的字首。 2.在本地PE上將標籤分配模式從每個字首更改為每個VRF。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource:交換機1 R0/0:美聯儲：「MPLS LSPA資源不足。無法在硬體「 」中程式設計。 |
遠端標籤分配： 為LSPA遠端標籤保留的硬體空間已用盡。 |
執行以下操作之一以減少遠端PE上使用的標籤數量： 1.總結遠端CE或遠端PE上的字首。 2.將遠端PE上的標籤分配模式從每個字首更改為每個VRF。 |
案例：Qos
QoS硬體驗證可以在瞭解Catalyst 9000交換機上的QoS硬體資源中找到。
QoS系統日誌
如果與QoS相關的資源用盡，則系統生成SYSLOG消息：
| QoS相關系統日誌訊息 |
定義 |
恢復操作 |
| %FED_QOS_ERRMSG-4-TCAM_OVERFLOW:交換機1 R0/0:美聯儲：GigabitEthernet1/0/10上policy-map ingress_pmap2的「無法程式設計」錯誤TCAM。 |
為QoS實體保留的硬體(TCAM)空間不足。 |
|
| %FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR:交換機1 R0/0:美聯儲：GigabitEthernet1/0/27的「無法配置隊列排程程式」錯誤。 |
安裝到QoS隊列計畫程式的硬體失敗。 |
僅適用於9200L:檢視思科錯誤ID CSCvz54607和思科錯誤ID CSCvz76172 |
| FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR:R0/0:美聯儲：「無法配置預設隊列緩衝區」錯誤。 |
QoS隊列緩衝區的硬體安裝失敗。 |
|
相關資訊
思科錯誤 ID
思科錯誤ID CSCvg60292（在TCAM中達到最大路由時，雜湊表中不能安裝任何路由。）
思科錯誤ID CSCvx57822(硬體表需要90%的利用率水線。)
思科錯誤ID CSCvs49401
思科錯誤ID CSCvz54607
思科錯誤ID CSCvz76172
修訂記錄
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
7.0 |
17-Aug-2026
|
重新認證、格式化、語法。 |
6.0 |
08-Apr-2025
|
重新認證 |
5.0 |
29-Feb-2024
|
已更新樣式要求、機器翻譯、語法、拼寫和格式。 |
4.0 |
05-Dec-2022
|
已新增QoS部分 |
3.0 |
05-Aug-2022
|
將新發佈的IPv4 URL新增到方案：IPv4部分 |
2.0 |
25-Feb-2022
|
向MPLS部分新增了MPLS指南URL |
1.0 |
24-Feb-2022
|
初始版本 |
意見