このドキュメントでは、Catalyst 9000 シリーズ スイッチのハードウェアリソースの概要とトラブルシューティングの方法について説明します。
このドキュメントに関する固有の要件はありません。
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されたものです。このドキュメントで使用するすべてのデバイスは、クリアな(デフォルト)設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
期待どおりに動作しない機能をトラブルシュートする場合は、まず、ハードウェアが問題のスイッチの規模を超えていないのを確認することをお勧めします。これらのテーブルのサイズはスイッチによって異なる場合がありますが、検証とトラブルシューティングの方法はほとんど同じです。
| EM |
完全一致 |
1:1 で一致するハッシュメモリ内のエントリ(ホストルート、直接接続ホスト)。 |
| LPM |
最長プレフィックス一致 |
/31 以下のルート(/32 ルートは EM タイプ)。 |
| TCAM |
Ternary Content-Addressable Memory |
3 つの異なる入力(0、1、X)を持つエントリを保存およびクエリするタイプのメモリ。このタイプのメモリは、同じエントリに複数の一致があり、それぞれの結果のハッシュが一意ではない場合に使用する必要があります。 このテーブルには、このエントリと一致するかどうかを判断できるマスクまたは X 値が含まれています。 |
| CAM |
Content-Addressable Memory |
ハードウェアメモリ(ハッシュ/TCAM)の総称。 |
| RIB |
ルーティング情報ベース |
show ip ルートで表示されるルーティングテーブル。 |
| FIB |
転送情報ベース |
RIB および ARP テーブルによって追加されたプレフィックスと ADJ テーブルへのポインタを含む簡易テーブル。 |
| 直接接続 |
直接接続ルート |
ローカルに接続されたホストプレフィックス(ARP 隣接)。 |
| 間接接続 |
間接接続ルート |
到達するリモートネクストホップ経由のルート。 |
| ADJ |
隣接関係(テーブル) |
パケットの書き換えに使用されるネクストホップ情報を保存します。 |
| EM |
完全一致 |
接続されたホスト、間接 /32 ホストプレフィックス |
| TCAM |
Ternary Content-Addressable Memory |
間接プレフィックス /31 以下 |
| FED |
転送エンジンドライバ |
ASIC(ハードウェア)レイヤ |
| FMAN-FP |
転送マネージャ:転送プレーン |
FMAN-FP は、FED 情報を追加、削除、または変更するソフトウェアオブジェクトを管理します。 |
| SI |
ステーションインデックス |
ステーションインデックス(SPI)= パケット書き換え情報(RI =書き換えインデックス)および発信インターフェイス情報(DI =宛先インデックス) |
| RI |
書き換えインデックス |
ネクストホップ隣接関係へのレイヤ 3 転送に使用する MAC アドレス書き換え情報。 |
| DI |
接続先インデックス |
アウトバウンド インターフェイスを指すインデックス。 |
| UADP |
Cisco Unified Access™データプレーン |
スイッチで使用される ASIC アーキテクチャ。 |
Catalyst 9000 シリーズ ASIC の 2.0 バージョンと 3.0 バージョンの主な違いは、FIB ハードウェアの搭載方法と使用方法です。
UADP 3.0 では、EM/LPM と呼ばれるメモリが使用されます。
UADP 3.0 TCAM では、FIB 用として引き続き存在しますが、EM/LPM を使用できない特殊なケースや例外にのみ使用されます。
UADP 2.0 では、メモリは EM と TCAM の 2 つのセクションに分割されます。
2 つの ASIC タイプ間でこれらの出力を比較します。
この例では、9500-12Q の TCAM スペースが大幅に増加しています。ただし、9500-48Y4C(9500H)では、EM/LPM の規模がさらに大きくなります。
9500-48Y4C(9500H/高性能 – UADP 3.0ベースのスイッチ):
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 3 0.01% 2 0 1 0 <-- LPM matches now stored here
IP Route Table TCAM I 1536 15 0.02% 6 6 2 1 <-- Used for exception cases
9500-12Q(UADP 2.0ベースのスイッチ):
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- LPM matches are stored here in 2.0
これらのコマンドを実行すると、使用されているハッシュ、TCAM、インターフェイス、書き換えリソースの大まかな使用統計が表示されます。
例:スイッチには使用可能なハッシュ/TCAM がありますが、隣接関係が不足しています。
show platform hardware fedactive fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fedactive fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fedactive fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ### New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4 show platform hardware fed active fwd-asic resource features ip-adjacency utilization
show platform hardware fed active fwd-asic resource tcam utilizationコマンドは、ハードウェアスケールに問題があるかどうかを評価する最初の場所です。(ASIC ごとに情報が表示されます)。
Codes:
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable <-- Key for table abbreviations
CAM Utilization for ASIC [0] <-- Content Addressable Memory for ASIC 0
Table Subtype Dir Max Used %Used V4 V6 MPLS Other <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table EM I 65536 18 0.03% 0 0 0 18
Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21
L3 Multicast EM I 16384 0 0.00% 0 0 0 0
L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0
L2 Multicast EM I 16384 0 0.00% 0 0 0 0
L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- Data from RIB/FIB populated here
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- Data from RIB/FIB populated here
QOS ACL TCAM IO 18432 85 0.46% 28 38 0 19
Security ACL TCAM IO 18432 129 0.70% 26 58 0 45
Netflow ACL TCAM I 1024 6 0.59% 2 2 0 2
PBR ACL TCAM I 2048 22 1.07% 16 6 0 0 <-- Data for PBR & NAT populated here
Netflow ACL TCAM O 2048 6 0.29% 2 2 0 2
Flow SPAN ACL TCAM IO 1024 13 1.27% 3 6 0 4
Control Plane TCAM I 512 276 53.91% 126 106 0 44
Tunnel Termination TCAM I 1024 18 1.76% 8 10 0 0
Lisp Inst Mapping TCAM I 2048 1 0.05% 0 0 0 1
Security Association TCAM I 512 4 0.78% 2 2 0 0
CTS Cell Matrix/VPN
Label EM O 8192 0 0.00% 0 0 0 0 <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label TCAM O 512 1 0.20% 0 0 0 1
Client Table EM I 4096 0 0.00% 0 0 0 0
Client Table TCAM I 256 0 0.00% 0 0 0 0
Input Group LE TCAM I 1024 0 0.00% 0 0 0 0
Output Group LE TCAM O 1024 0 0.00% 0 0 0 0
Macsec SPD TCAM I 1024 2 0.20% 0 0 0 2
CAM Utilization for ASIC [1]
<...snip...>
show platform hardware fed active fwd-asic resource tcam utilization コマンドからのハードウェアスケールが正常に機能している場合は、他の依存リソースを確認してください。
Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name Allocated Free <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI 61 41805 <-- DI = Destination Index
RSC_RI 3 57317 <-- RI = Rewrite Index
RSC_RI_REP 10 49143 <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI 519 64849 <-- SI = Station Index
<...snip...>
Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization Resource Info for ASIC Instance: 0 Rewrite Data Allocated Free <-- Rewrite specific hardware resources ------------------------------------------------------- PHF_EGRESS_destMacAddress 0 32000 <-- Destination MAC (Layer 3 next hop MAC rewrite) IPV4_TUNNEL_SRC_IP_ADDR 0 16 <-- IPv4 Tunnel Source IP IPV4_TUNNEL_DEST_IP_ADDR 0 256 <-- IPv4 Tunnel Destination IP IPV4_GRE_TUNNEL_DEST_IP_ADDR 0 1024 <-- GRE specific tunnel Destination IP GRE_HEADER 0 684 GRE_KEY 0 684 <-- GRE keys NAT_L3_DEST_IPV4 0 7168 <-- NAT Layer 3 IPv4 Destination NAT_DST_PORT_UNICAST 0 8192 <-- NAT Destination Ports NAT_L3_SRC_IPV4 0 8192 <-- NAT Layer 3 IPv4 Source NAT_SRC_PORT_UNICAST 0 8192 <-- NAT Source Ports
<...snip...>
Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name Allocated Free Usage% <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- RI = Rewrite Index
RSC_SI 519 64849 0.79 <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features
Rewrite Data Allocated Free Usage% <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address
CAM Table Utilization Info Allocated Free Usage% <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network 0/ 0 0/32768 0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)
show platform hardware fed active fwd-asic resource tcam utilizationコマンドは、ハードウェアスケールに問題があるかどうかを評価する最初の場所です。(ASIC ごとに情報が表示されます)。 16.x トレインでは、出力の粒度が低く、説明の一部が異なることがわかります。
ほとんどの場合、テーブルのリストは次の 2 つの例外を除いて明確です。
Switch#show platform hardware fed switch active fwd-asic resource tcam utilization CAM Utilization for ASIC [0] Table Max Values Used Values -------------------------------------------------------------------------------- Unicast MAC addresses 32768/1024 19/21 L3 Multicast entries 8192/512 0/9 L2 Multicast entries 8192/512 0/11 Directly or indirectly connected routes 24576/8192 3/19 <-- First value 24576 = EM / Second value 8192 = TCAM QoS Access Control Entries 5120 85 Security Access Control Entries 5120 126 Ingress Netflow ACEs 256 8 Policy Based Routing ACEs 1024 22 Egress Netflow ACEs 768 8 Flow SPAN ACEs 1024 13 Control Plane Entries 512 255 Tunnels 512 17 Lisp Instance Mapping Entries 2048 3 Input Security Associations 256 4 SGT_DGT 8192/512 0/1 CLIENT_LE 4096/256 0/0 INPUT_GROUP_LE 1024 0 OUTPUT_GROUP_LE 1024 0 Macsec SPD 256 2
show platform hardware fedactive fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fedactive fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
IPv4ハードウェアの検証については、「Catalyst 9000スイッチのIPv4ハードウェアリソースについて」を参照してください。
リソースが規模を超えている。
特定のIPv4 FIBまたは隣接関係リソースが枯渇すると、システムによってSYSLOGメッセージが生成されます。
| IPv4 FIB ログメッセージ |
定義 |
リカバリアクション |
| %FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: fed: "Failed to allocate hardware resource for fib entry due to hardware resource exhaustion" error. |
IPv4 FIB エントリ用に予約されているハードウェアの容量(EM または TCAM)が不足しています。 |
ルートを自動要約するか、その他のアクションを実行して FIB エントリの規模を縮小します(完全一致か TCAM のどちらか不足している方)。 |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: "Failed to allocate hardware resource for adj entry - rc:1"error. |
隣接関係テーブルが使い果たされています。これは、ネクストホップの接続先 MAC アドレスが保存されるハードウェア内のテーブルです。 |
直接接続(ARP 隣接)ホストの規模を縮小します。 |
ACLハードウェア検証については、「Catalyst 9000スイッチでのセキュリティACLの検証」を参照してください。
特定のセキュリティ ACL リソースが不足すると、システムによって SYSLOG メッセージが生成されます(インターフェイス、VLAN、ラベルなど、値が異なる場合があります)。
| ACL ログメッセージ |
定義 |
リカバリアクション |
| %ACL_ERRMSG-4-UNLOADED: Switch 1 fed: Input <ACL> on interface <interface> could not be programmed in hardware and traffic can be dropped. |
ACL はアンロードされます(ソフトウェアで保持されます)。 |
TCAM の規模を調べます。規模を超えている場合は、ACL を再設計します。 |
| %ACL_ERRMSG-6-REMOVED: 1 fed: The unloaded configuration for Input <ACL> on interface <interface> has been removed for label <label>asic<number> |
アンロードされた ACL 設定がインターフェイスから削除されます。 |
ACL はすでに削除されており、アクションは必要ありません。 |
| %ACL_ERRMSG-6-RELOADED: 1 fed: Input <ACL> on interface <interface> has now been loaded into the hardware for label <label> on asic<number> |
ACL がハードウェアにインストールされました。 |
ACL の問題はハードウェアで解決されており、アクションは必要ありません。 |
| %ACL_ERRMSG-3-ERROR: 1 fed: Input <ACL> IP ACL <NAME> configuration could not be applied on <interface> at bindorder <number> |
その他のタイプの ACL エラー(dot1x ACL のインストールの失敗など) |
ACL 設定がサポートされており、TCAM が規模を超えていないことを確認します。 |
| %ACL_ERRMSG-6-GACL_INFO: Switch 1 R0/0: fed: Logging is not supported for GACL |
GACL にログオプションが設定されています。 |
GACL はログをサポートしていません。GACL からログステートメントを削除します。 |
| %ACL_ERRMSG-6-PACL_INFO: Switch 1 R0/0: fed: Logging is not supported for PACL |
PACL にログオプションが設定されています。 |
PACL はログをサポートしていません。PACL からログステートメントを削除します。 |
| %ACL_ERRMSG-3-ERROR: Switch 1 R0/0: fed: Input IPv4 Group ACL implicit_deny:<name>: configuration could not be applied on Client MAC 0000.0000.0000 |
(dot1x)ACL がターゲットポートに適用されません。 |
ACL 設定がサポートされており、TCAM が規模を超えていないことを確認します。 |
NATハードウェア検証については、「Catalyst 9000スイッチでのNATの設定と確認」を参照してください。
NAT 機能には、ハードウェアリソースが規模を超えたときに出力される syslog はありません。Cisco Bug ID CSCvz46804 は、これらのログを追加する機能拡張として登録されました。
NAT の問題が発生しており、ハードウェアリソースの使用状況を確認する場合は、show platform hardware fed switch active fwd-asic resource tcam utilization をチェックします(NAT TCAM が枯渇すると、PBR ACL 領域の使用率が高くなります)。
また、ここに記載されている制限事項「NATの制限事項」に従ってNATを設定したことも確認してください。
MPLSハードウェア検証については、「Catalyst 9000スイッチでのMPLSの設定と確認」を参照してください。
MPLS ラベルなどの特定のリソースが不足すると、システムによって SYSLOG メッセージが生成されます。
覚えておくべき重要なポイント:
| MPLS ログメッセージ |
定義 |
リカバリアクション |
| %FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: fed: "Failed to allocate hardware resource for fib entry" error due to hardware resource exhaustion. |
IP プレフィックス用に予約されているハードウェアの容量(EM または TCAM)が不足しています。 |
次のいずれかのアクションを実行して、ローカルまたはリモート PE によって学習されるプレフィックスの数を減らします。 1. CE でプレフィックスを自動要約します。 2. ラベル割り当てモードを per-prefix から per-vrf に変更します。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource: Switch 1 R0/0: fed: "Out of resource for MPLS LABEL ENTRY" error.Failed to program local label:8205 (8192/8192) in hardware. |
ローカルラベルの割り当て:MPLS ローカルラベル用に予約されているハードウェアの容量(EM または TCAM)が不足しています。 |
次のいずれかのアクションを実行して、ローカル PE で使用されるラベルの数を減らします。 1. ローカル CE またはローカル PE でプレフィックスを自動要約します。 2. ローカル PE でラベル割り当てモードを per-prefix から per-vrf に変更します。 |
| %FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE: Switch 1 R0/0: fed: Critical limit reached for MPLS LABEL ENTRY resource.Lentry Create PAUSED. |
ローカルラベルの割り当て:MPLS ローカルラベル用に予約されているハードウェアの容量(EM または TCAM)が不足しています。 |
次のいずれかのアクションを実行して、ローカル PE で使用されるラベルの数を減らします。 1. ローカル CE またはローカル PE でプレフィックスを自動要約します。 2. ローカル PE でラベル割り当てモードを per-prefix から per-vrf に変更します。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource: Switch 1 R0/0: fed: "Out of resource for MPLS LSPA.Failed to program in hardware" error. |
リモートラベルの割り当て:LSPA リモートラベル用に予約されているハードウェアの容量が不足しています。 |
次のいずれかのアクションを実行して、リモート PE で使用されるラベルの数を減らします。 1. リモート CE またはリモート PE でプレフィックスを自動要約します。 2. リモート PE でラベル割り当てモードを per-prefix から per-vrf に変更します。 |
QoSハードウェアの検証については、『Catalyst 9000スイッチのQoSハードウェアリソースについて』を参照してください。
QoS 関連のリソースが不足すると、システムによって SYSLOG メッセージが生成されます。
| QoS 関連の syslog メッセージ |
定義 |
リカバリアクション |
| %FED_QOS_ERRMSG-4-TCAM_OVERFLOW:スイッチ1 R0/0: fed:「Failed to program」エラーTcam for policy-map ingress_pmap2 on GigabitEthernet1/0/10。 |
QoS エントリ用に予約されているハードウェアの容量(TCAM)が不足しています。 |
|
| %FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR:Switch 1 R0/0: fed: GigabitEthernet1/0/27の「Failed to configure queue scheduler」エラー。 |
QoS キュースケジューラのハードウェアへのインストールに失敗しました。 |
9200Lのみ:Cisco Bug ID CSCvz54607 およびCisco Bug ID CSCvz76172 |
| FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR: R0/0: fed: "Failed to configure default queue buffer" error. |
QoS キューバッファのハードウェアへのインストールに失敗しました。 |
|
テクニカル サポートとドキュメント – Cisco Systems
『Cisco Catalyst 9200 Series Switches Data Sheet』
『Cisco Catalyst 9300 Series Switches Data Sheet』
Cisco Catalyst 9400 シリーズ スイッチのデータシート
Cisco Catalyst 9500 シリーズ スイッチのデータシート
『Cisco Catalyst 9600 Series Switches Data Sheet』
Cisco Catalyst 9500 Architecture White Paper
Cisco Bug ID CSCvg60292(TCAM の最大ルート数に達すると、ハッシュテーブルにルートをインストールできない)
Cisco Bug ID CSCvx57822(ハードウェアテーブルには 90% の使用率のウォーターマークが必要)
Cisco Bug ID CSCvs49401
Cisco Bug ID CSCvz54607
Cisco Bug ID CSCvz76172
| 改定 | 発行日 | コメント |
|---|---|---|
7.0 |
17-Aug-2026
|
再認定、書式設定、文法。 |
6.0 |
08-Apr-2025
|
再認定 |
5.0 |
29-Feb-2024
|
スタイルの要件、機械翻訳、文法、スペル、およびフォーマットが更新されました。 |
4.0 |
05-Dec-2022
|
QoSセクションの追加 |
3.0 |
05-Aug-2022
|
「シナリオ:IPv4」セクションに新しく公開されたIPv4 URLを追加 |
2.0 |
25-Feb-2022
|
MPLSセクションにMPLSガイドURLを追加 |
1.0 |
24-Feb-2022
|
初版 |