目錄

簡介

必要條件

需求

採用元件

背景資訊

影片

技術

常規硬體驗證命令

IPv4擴充系統日誌

使用示例

使用示例（非HP 16.12.x）

使用示例（非HP 17.x）

使用示例（HP和9600 17.x）

疑難排解

擴展限制和補救（UADP 2.0交換機）

擴展限制和修復（UADP 3.0交換機）

方案：SGT/SXP對映 | Trustsec擴展

為TAC收集的命令

相關資訊

簡介

本文說明如何瞭解和驗證Catalyst 9000系列交換器上的IPv4轉送資訊庫(FIB)硬體使用情況。

必要條件

需求

本文件沒有特定需求。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

- Cisco IOS® XE 16.x和17.x軟體上的Cisco Catalyst 9200、9300、9400、9500（非高效能）系列交換機

- Cisco IOS® XE 16.x和17.x軟體上的Cisco Catalyst 9500（高效能）、9600系列交換機

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

背景資訊

當您對功能進行故障排除時，有一個很好的參考點是確認硬體沒有超出所討論的交換機的規模。雖然交換機在這些硬體表的大小上可能有所不同，但驗證和故障排除方法大體相同。

此頁面也是一個參考頁面，您可以在其中找到有關各種功能以及如何檢查硬體擴展的資訊。

以下為軟體版本和裝置型別提供範例：

- 16.x和17.x軟體系列，因為CLI輸出明顯不同

- 特定於9500（高效能）和9600的資訊，因為這些型號在分配雜湊和三重內容可定址儲存器(TCAM)時與其他Catalyst 9000交換機不同

本檔案有助於：

- 瞭解使用的表（雜湊/TCAM）

- 了解消耗有問題的表的原因

- 瞭解為什麼使用某個表（雜湊與TCAM）

- 瞭解表明資源問題的日誌或錯誤消息

- 解決硬體資源分配問題要採取的操作

注意：當交換機使用虛擬路由和轉發(VRF)時，總使用率需要包括每個VRF中的消耗。

影片

此影片涵蓋FIB硬體資源問題的故障排除：Catalyst 9000交換機FIB硬體資源耗盡故障排除

技術

ADJ

鄰接關係（表）

儲存用於資料包重寫的下一跳資訊

DI

目標索引

指向出站介面的索引

EM

完全匹配

雜湊記憶體中一個為1:1匹配的條目（主機路由、直連主機）

FIB

轉發資訊庫

帶有字首的簡化表，由路由資訊庫(RIB)和地址解析協定(ARP)表新增，表指標指向ADJ表

FED

轉發引擎驅動程式

應用專用積體電路(ASIC)（硬體）層

FMAN-FP

轉發管理器 — 轉發平面

FMAN-FP管理新增、刪除或修改FED資訊的軟體對象

LPM

最長字首匹配

任何路由是/31或更短（/32路由是EM型別）

RI

重寫索引

第3層轉發到下一跳鄰接的MAC地址重寫資訊

RIB

路由資訊庫

「show ip route」中顯示的路由表

SDM

交換機資料庫管理器

將交換機硬體資源分配給需要這些資源的各種功能（MAC地址、路由、訪問清單條目）的軟體過程

SI

站台索引

站台索引 =  封包重寫資訊（RI =重寫索引）和傳出介面資訊（DI =目的地索引）

TCAM

三重內容可定址儲存器

一種儲存器，用於儲存和查詢具有三個不同輸入：0、1和X的條目。當同一條目的匹配項可能有多個時，並且每個條目的雜湊值不唯一時，必須使用該型別的記憶體。此表包含一個掩碼或「X」值，允許它知道它是否與此項匹配。

UADP

思科整合存取™ 資料平面

交換機中使用的ASIC架構

直接連線

直連路由

本地連線的主機字首（ARP相鄰）

間接連線

間接連線路由

通過遠端下一跳到達的路由

SGT

SXP

CTS(Trustsec)

常規硬體驗證命令

這些命令顯示使用的雜湊、TCAM、介面和重寫資源的高級使用統計資訊。這些資源是相關的，其中一種資源的耗盡會影響充分利用其他可用資源的能力。

示例：交換機可以有可用的Hash/TCAM，但鄰接關係已用完。轉送封包的能力可能會影響為目的地首碼，因為交換器無法程式化新的重新寫入專案。

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

注意：有關這些命令的詳細資訊，請參閱《系統管理配置指南》中的「章節：配置SDM模板」

IPv4擴充系統日誌

此案例演示了如何使用每個表，以及當一個表或另一個表達到或超過刻度時該怎麼做。它還包括轉發到IP目標所需的相關資源。

症狀：資源無法擴展

1. 裝置或字首可達性問題。雖然現有路由或裝置仍可訪問，但無法訪問任何新的或更新的字首。

2. 日誌消息指示硬體無法接收新的對象更新

3. 將軟體程式設計到硬體中的對象層變得擁塞

4. 在受影響的硬體層沒有條目（在這種情況下，FIB是受影響層）。

如果特定IPv4 FIB或鄰接資源用盡，則系統生成系統日誌消息

IPv4 FIB日誌消息

定義

恢復操作

%FED_L3_ERRMSG-3-RSRC_ERR：交換機1 R0/0: fed：由於硬體資源耗盡，無法為fib條目分配硬體資源

為IPv4 FIB條目保留的硬體空間不足（EM或TCAM）

總結路由或採取某些其他操作以減少FIB條目的規模（可以是EM或TCAM，無論哪個條目已用盡）。

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0：已補給：為adj條目分配硬體資源失敗 — rc:1

鄰接表已用盡。這是硬體中儲存下一跳目的MAC地址的表。

減少直連（ARP相鄰）主機的擴展數量

使用示例

使用示例（非HP 16.12.x）

軟體

硬體

16.12.5

Catalyst 9200 9300 9400 9500（非高效能）交換機

基線資源使用情況

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

使用/24掩碼新增SVI Vlan 1 IP地址

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

新增3個EM字首（/32掩碼）

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

使用示例（非HP 17.x）

軟體

硬體

17.x

Catalyst 9200 9300 9400 9500（非高效能）交換機

基線資源使用情況

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

使用/24掩碼新增SVI Vlan 1 IP地址

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

新增3個EM字首（/32掩碼）

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

使用示例（HP和9600 17.x）

軟體

硬體

17.x

Catalyst 9500（高效能）、9600交換機

註：對於9500（高效能）和9600，僅提供17.x CLI。有關16.x示例，請參閱上一節。

基線資源使用情況

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

疑難排解

擴展限制和補救（UADP 2.0交換機）

本節介紹一種對IPv4耗盡TCAM的使用案例：

- 本示例中模擬的字首為/24

- 通訊協定BGP

- 平台9400

- Cisco IOS XE 17.3.2

基線使用情況

若使用9400 Sup-1，任何字首為/31或更短，則使用TCAM，而非EM

- 可新增到TCAM的最大IPv4字首數量為65535。

注意:IP路由EM和TCAM也由多協定標籤交換(MPLS)使用，首先將MPLS標籤新增到EM，然後在達到限制時溢位到TCAM。如果您的裝置是MPLS提供商邊緣(PE)並分配了VPNv4標籤，則從總數中減去該標籤。

注意：同樣重要的是要知道，如果EM記憶體先填滿，則允許其溢位到TCAM記憶體中。(如果交換機的擴展超49152EM條目，TCAM可以填寫Connected和/32路由)。但是，不會發生相反的情況（如果TCAM已滿，它不會溢位到EM）

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

通過80000插入字首

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

日誌消息指示FED無法對FIB型別條目進行程式設計

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

解決方案

需要字首總結才能解決此類擴展問題。總結的方法取決於使用的協定、子網的連續程度以及您的特定環境。

- 在本例中，BGP是協定，總結技術可以在本頁找到：IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交換機） — 章節：配置BGP

- 其他總結技術可以在本文檔的相關資訊部分找到。(提供的所有連結均來自9500配置頁。請根據需要參閱其他平台指南)。

您還可以按字首長度檢查硬體中安裝的字首，以幫助確定每個長度的多少個並在必要時進行總結。

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

擴展限制和修復（UADP 3.0交換機）

如瞭解Catalyst 9000交換器上的硬體資源」檔案所述，基於UADP 3.0的交換器使用結合了精確配對(EM)和最長首碼配對(LPM)專案的最佳化FIB記憶體。列出的TCAM記憶體僅用於溢位、衝突和其他異常。

如果您注意到TCAM被高度利用，而EM/LPM未被充分利用（不是接近或達到最大值），這可能是由於網路設計中使用了太多字首長度所致。EM/LPM只能程式設計特定數量的掩碼長度，但該數量不是靜態的。EM/LPM可以程式設計的掩碼數量隨SDM模板而異，並且會隨著網路的路由規模而進一步變化。

總而言之，對於UADP 3.0,SDM配置、路由規模（路由數）和字首長度差異（唯一子網掩碼數）之間存在動態平衡。如果IP路由表TCAM在IP路由表EM/LPM接近最大值之前用盡，則可能由於SDM配置、路由規模（路由數）和字首長度差異（唯一子網掩碼數）而出現問題。

當發生FIB規模限制時，將生成系統日誌，指示硬體無法程式設計：

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

注意：系統日誌僅表示一般故障，不具體表示EM/LPM、TCAM或其他故障。您需要運行其他命令來檢視哪個命令存在問題。

9500-48Y4C(9500H/高效能 — 基於UADP 3.0的交換機)

在EM/LPM之前使用的TCAM示例：

- 顯示的輸出表示IP路由表(FIB)TCAM已滿，而EM/LPM未滿。

- 瞭解交換機為EM/LPM記憶體中固定大小表的多個例項分配字首和對應掩碼

- 給定表例項僅表示一個IPv4或IPv6字首長度。掩碼不針對硬體中的每個字首條目進行儲存，只針對整個表例項，從而節省了寶貴的硬體空間。

- 字首掩碼向硬體表的分配是動態的，不需要輸入即可運行。

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

在這種情況下，EM/LPM表可能得不到充分利用：

- 對於每個分配的新表，專用於該表的特定字首掩碼長度。現在，該表的所有條目都被限製為該掩碼長度。如果表例項的條目數少於最大數量，則有效利用率將減去該表例項中剩餘的條目數。它們不能被回收為某個其它掩碼長度。

- 如果跨多個掩碼長度重複此次最佳利用率，EM/LPM記憶體的有效利用率會顯著降低。

- 當EM/LPM表不再可用於新的掩碼長度時，將安裝帶有該掩碼的字首並溢位到TCAM中。有限的TCAM空間可快速填滿。

- EM/LPM可用的表數量因您的SDM配置而異。

掩碼長度的廣泛分佈，加上字首數量較少的掩碼，導致許多表被分配，許多表未得到充分使用的情況。這會導致在基於UADP 3.0的交換機上達到理想的最大硬體利用率之前出現「為fib...分配硬體資源失敗」錯誤。

隨著分配給單個字首長度的表例項數量的增加，可能會沒有足夠的表用於其它長度的字首。

當字首長度的條目數量未充分利用它所屬的最後一個表時，可能發生次最佳化使用。

此範例說明在9500-48Y4C交換器上得知的4500 eBGP字首。

- 每個表可以有大約2048個路由/條目。

- 硬體具有兩種固定大小的表：2048和8192。它們根據路由規模、字首使用情況和使用的SDM模板動態分配

- 在本示例中，三個大小為2048的表標籤為/32，以儲存4500個掩碼長度為/32的路由。部分大小為2048的表中僅分配了用於/32 IPv4路由的空間。

透過此CLI可以觀察到以下情況：

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

在下一個示例中，將插入最小數量的字首，以強制使用從/11到/32的每個掩碼長度都使用一個新表。

這通過在Cisco IOS XE 17.3上使用「分發」SDM模板來實現，該模板具有56個表，可動態分配給FIB條目。

- /32長度擴展到74000個字首

- /12 - 300字首

- /11 - 1250字首

- 從/13到/32的掩碼長度包含大約12個字首。更少，硬體可以選擇使用TCAM儲存給定掩碼長度的字首。

註：管理EM/LPM和TCAM分配的硬體演算法非常複雜，它平衡了使用者配置和硬體的限制。本文檔中給出的結果不能完全代表系統在生產網路中的行為。

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

要解決此情況，請按優先順序使用其中的一個或多個選項

- 調查備用SDM模板：

- 增加的FIB/IP路由擴展模板增加了可用於此FIB的總硬體表。這樣可以提高有效利用率（已用條目/可用條目）和總規模。

- 反之，FIB/IP Route的較小規模SDM模板會減少FIB可用的硬體表總數。

- 從路由表中完全消除一個或多個字首（掩碼）長度

- 總結路由（減少字首的總量）

注意：請參閱Catalyst 9500和Catalyst 9600系列交換機的「系統管理配置指南」中的「章節：配置SDM模板」瞭解有關SDM模板的詳細資訊。

方案：SGT/SXP對映 | Trustsec擴展

為TAC收集的命令

與IPv4利用率相關的最常見硬體資源問題將在本指南中介紹，並提供相應的補救步驟。但是，如果此指南未解決您的問題，請收集所示的命令清單，並將它們附加到TAC服務請求。

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

如果您發現本文存在問題，請使用本文右面板中的Feedback按鈕。 當您提交針對此文檔的請求或反饋時，請儘可能提供詳細信息，其中包括與文檔有關的部分、區域或問題，以及可以改進哪些方面的資訊。

相關資訊

技術支援與文件 - Cisco Systems

瞭解Catalyst 9000交換器上的硬體資源

IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交換機） — 章節：配置OSPF

IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交換機） — 章節：配置EIGRP

IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交換機） — 章節：配置BGP

系統管理配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交換機） — 章節：配置SDM模板

Cisco Catalyst 9200 系列交換器資料表

Cisco Catalyst 9300 系列交換器資料表

Cisco Catalyst 9400系列交換機產品手冊

Cisco Catalyst 9500系列交換機產品手冊

Cisco Catalyst 9600 系列交換器資料表

Cisco Catalyst 9500架構白皮書