Catalyst 9000スイッチのIPv4ハードウェアリソースについて

ダウンロード オプション

  • PDF     (465.5 KB)
    Adobe Reader を使ってさまざまなデバイスで表示
  • ePub     (93.2 KB)
    iPhone、iPad、Android、ソニーの Reader、または Windows Phone 上で、さまざまなアプリを使って表示
  • Mobi (Kindle)     (103.3 KB)
    Kindle デバイスで、または Kindle アプリを使って複数のデバイスで表示
Updated: 2023 年 6 月 1 日
Document ID:217714

偏向のない言語

この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。

翻訳について

シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版（リンクからアクセス可能）もあわせて参照することを推奨します。

    概要

    このドキュメントでは、Catalyst 9000シリーズスイッチでのIPv4転送情報ベース(FIB)ハードウェアの使用状況を理解して確認する方法について説明します。

    前提条件

    要件

    このドキュメントに関する固有の要件はありません。

    使用するコンポーネント

    このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

    • Cisco IOS® XE 16.xおよび17.xソフトウェア上のCisco Catalyst 9200、9300、9400、9500(Non-High Performance)シリーズスイッチ
    • Cisco IOS® XE 16.xおよび17.xソフトウェア上のCisco Catalyst 9500（高性能）、9600シリーズスイッチ 

    このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

    背景説明

    期待どおりに動作しない機能のトラブルシューティングを行う際の適切な参照点は、ハードウェアが問題のスイッチのスケールを超えていないことを確認することです。これらのハードウェアテーブルのサイズはスイッチによって異なりますが、検証とトラブルシューティングの方法はほとんど同じです。

    このページは、さまざまな機能に関する情報やハードウェアのスケールの確認方法を参照できる参照ページでもあります。 

    次のソフトウェアバージョンとデバイスタイプの例を示します。

    • 16.xと17.xのソフトウェアトレイン（CLI出力が大きく異なる）
    • 9500（ハイパフォーマンス）および9600に固有の情報。これらのモデルは他のCatalyst 9000スイッチとは異なる方法でハッシュおよびTernary Content Addressable Memory(TCAM)を割り当てます。

    このドキュメントは次の点で役立ちます。

    • どのテーブル（ハッシュ/TCAM）が使用されているかを理解する
    • 問題のテーブルの消費量を把握する 
    • 特定のテーブルが使用された理由を理解する（ハッシュとTCAM）
    • リソースの問題を示すログまたはエラーメッセージを理解する 
    • ハードウェアリソース割り当ての問題を解決するために実行するアクション

    注：スイッチがVirtual Routing and Forwarding(VRF)を使用する場合、合計使用率には各VRFでの消費を含める必要があります。

    ビデオ

    このビデオでは、FIBハードウェアリソースの問題のトラブルシューティングについて説明します。「Catalyst 9000スイッチのFIBハードウェアリソース枯渇のトラブルシューティング

    用語

    調整

    隣接関係（表）

    パケットの書き換えに使用されるネクストホップ情報を保存する 

    DI

    宛先インデックス

    アウトバウンドインターフェイスを指すインデックス

    エム

    完全一致

    ハッシュメモリ内の1:1一致のエントリ（ホストルート、直接接続ホスト）

    FIB

    転送情報ベース(FIB)

    ルーティング情報ベース(RIB)テーブルとアドレス解決プロトコル(ARP)テーブルによって追加されたプレフィクスと、ADJテーブルへのポインタを含む簡易テーブル

    FED

    転送エンジンドライバ

    特定用途向け集積回路(ASIC)（ハードウェア）層

    FMAN-FP

    転送マネージャ – 転送プレーン

    FMAN-FPは、FED情報を追加、削除、変更するソフトウェアオブジェクトを管理します

    LPM

    最長プレフィクス照合

    /31以下のルート（/32ルートはEMタイプ）

    RI

    インデックスの書き換え 

    ネクストホップ隣接関係に転送するレイヤ3のMACアドレス書き換え情報

    リブ

    ルーティング情報ベース

    「show ip route」で表示されるルーティングテーブル

    SDM

    スイッチデータベースマネージャ

    スイッチハードウェアリソースを、それらを必要とするさまざまな機能（MACアドレス、ルート、アクセスリストエントリ）に割り当てるソフトウェアプロセス

    SI

    測点インデックス

    測点インデックス =  パケット書き換え情報（RI =書き換えインデックス）および発信インターフェイス情報（DI =宛先インデックス）

    TCAM

    Ternary Content-Addressable Memory(TCAM)

    3つの異なる入力(0、1、X)を持つエントリを格納および照会するタイプのメモリ。このタイプのメモリは、同じエントリに対して複数の一致が可能で、結果としてそれぞれのハッシュが一意にならない場合に使用する必要があります。このテーブルには、このエントリに一致するかどうかを判断するためのマスクまたは「X」値が含まれています。

    UADP

    シスコユニファイドアクセス™ データ プレーン

    スイッチで使用されるASICアーキテクチャ

    直接接続 

    直接接続ルート

    ローカルに接続されたホストプレフィクス（ARP隣接）

    間接的に接続 

    間接的に接続されたルート

     到達するリモートネクストホップを経由するルート

    SGT

    SXP

    CTS(Trustsec)

    一般的なハードウェア検証コマンド

    これらのコマンドは、使用されているハッシュ、TCAM、インターフェイス、およびリライトのリソースの高レベルの使用統計を表示します。これらのリソースは関連しており、ここで説明されているリソースの1つが枯渇すると、他の使用可能なリソースを完全に使用する機能に影響を与える可能性があります。 

    例：スイッチは使用可能なハッシュ/TCAMを持つことができますが、隣接関係が不足しています。スイッチは新しい書き換えエントリをプログラムできないため、パケットを転送する機能は宛先プレフィクスに影響を与える可能性があります。 

    show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM
    show platform hardware fed switch active fwd-asic resource utilization     <-- SI/RI/DI/etc (other related resources)
    show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

    注：これらのコマンドの詳細については、『System Management Configuration Guide』の「Chapter: Configuring SDM Templates」を参照してください

    IPv4スケールSyslog

    このシナリオでは、各テーブルの使用方法と、いずれかのテーブルがスケール以上の場合の対処方法を示します。また、IP宛先への転送に必要な依存リソースについても説明します。

    症状：リソースの規模が大きすぎる

    1. デバイスまたはプレフィクスの到達可能性の問題。既存のルートまたはデバイスは到達可能なままですが、新しいプレフィックスまたは更新されたプレフィックスは到達可能ではありません。 
    2. ログメッセージは、ハードウェアが新しいオブジェクトの更新を取得できないことを示します 
    3. ソフトウェアをハードウェアにプログラムするオブジェクト層が輻輳する 
    4. 影響を受けるハードウェア層にエントリがない（この場合、FIBは影響を受ける層です）。 

    特定のIPv4 FIBまたは隣接関係リソースが不足すると、システムによってSYSLOGメッセージが生成されます

    IPv4 FIBログメッセージ

    定義

    回復アクション

    %FED_L3_ERRMSG-3-RSRC_ERR：スイッチ1 R0/0: fed:ハードウェアリソースの枯渇のため、fibエントリにハードウェアリソースを割り当てることができませんでした

    IPv4 FIBエントリ用に予約されているハードウェアのスペースが不足している（EMまたはTCAM）

    ルートを集約するか、またはFIBエントリのスケールを減らすためのその他のアクションを実行します（EMまたはTCAMのどちらでも使用できます）。

    %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:adjエントリのハードウェアリソースの割り当てに失敗しました – rc:1

    隣接関係テーブルが使い果たされている。これは、ネクストホップの宛先MACアドレスが保存されているハードウェアのテーブルです。 

    直接接続された（ARP隣接）ホストの数を減らす

    使用例

    使用例（HP 16.12.x以外）

    [ソフトウェア（Software）]

    ハードウェア

    16.12.5

    Catalyst 9200 9300 9400 9500(Non-High Performance)スイッチ

    基準リソース使用率

    ##### Baseline Setup & Usage #####
    C9300#show version | include IOS
    Cisco IOS XE Software, Version 16.12.05
    Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)
    C9300-48U

    C9300##show ip interface brief | exclude unassigned
    Interface           IP-Address          OK?  Method  Status          Protocol
    <...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured


    /// TCAM and Hash ///
    C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization
    CAM Utilization for ASIC [0]
    Table                                                  Max Values    Used Values
    --------------------------------------------------------------------------------
    Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage


    /// Adjacencies ///
    C9300#show platform software fed switch active ip adj
    IPV4 Adj entries
    dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified
    ----     -------         -------       ------      ------      -------- ----- ------------------------
    
    
     
    


    C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
    Resource Info for ASIC Instance: 0
    Rewrite Data                       Allocated      Free
    -------------------------------------------------------
    PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite 


    /// SI DI RI resources ///
    C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__
    Resource Info for ASIC Instance: 0
    Resource Name           Allocated     Free
    ------------------------------------------
    RSC_RI                       3       57317  <-- Rewrite Index 
    RSC_SI                     521       64847  <-- Station Index

    SVI Vlan 1 IPアドレスと/24マスクを追加する 

    ### ADD SVI IP with /24 mask length ###
    C9300(config)#interface vlan 1
    C9300(config-if)#ip address 10.10.10.1 255.255.255.0

    C9300#show ip interface brief | inc up
    Vlan1                 10.10.10.1            YES     manual    up                    up


    C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
    CAM Utilization for ASIC [0]
    Table                                                Max Values      Used Values
    --------------------------------------------------------------------------------
    Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM


    C9300#show platform software fed switch active ip adj
    IPV4 Adj entries
    dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified
    ----         -------         -------          ------         ------         -------- ----- ------------------------
    227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast 


    C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
    Resource Info for ASIC Instance: 0
    Rewrite Data                      Allocated       Free
    -------------------------------------------------------
    PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

    3つのEMプレフィックス（/32マスク）を追加

    ### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
    interface loopback 1
    ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix
    !
    ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol) 
    !
    arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

    ### Usage Result ###
    /32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used. 

    C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
    CAM Utilization for ASIC [0]
    Table                                                   Max Values   Used Values
    --------------------------------------------------------------------------------
     Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

    使用例（HP 17.x以外）

    [ソフトウェア（Software）]

    ハードウェア

    17.x

    Catalyst 9200 9300 9400 9500(Non-High Performance)スイッチ

    基準リソース使用率

    ##### Baseline Setup & Usage #####
    C9400#show version | include IOS
    Cisco IOS XE Software, Version 17.03.02a
    Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)
    C9400-SUP-1

    C9400#show ip interface brief | exclude unassigned
    Interface              IP-Address             OK? Method Status                 Protocol
    <...empty...> <-- no SVI or any IP configured

    C9400#show platform hardware fed active fwd-asic resource tcam utilization
    Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

    CAM Utilization for ASIC [0]
    Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other
    ------------------------------------------------------------------------------------------------------
    IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash
    IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

    C9400#show platform software fed active ip adj
    IPV4 Adj entries
    dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified
    ----            -------                 -------          ------           ------     -------- -----   ------------------------
    
    
     
     
     
     
     
     
    ### !!! New CLI displays multiple resources in one place !!! ### 
     
     
        New CLI collects usage information for all resources related to all IP Routing in one output

    C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
    IPv4 unicast adjacency resource info
    Resource Info for ASIC Instance: 0 [A:0, C:0]
    Shared Resource Name                     Allocated        Free              Usage%
    ----------------------------------------------------------------------------------
    RSC_RI                                   3                57317               0.01  <-- Rewrite Index
    RSC_SI                                   520              64848               0.80  <-- Station Index

    Rewrite Data                             Allocated        Free               Usage%
    -----------------------------------------------------------------------------------
    PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite 

    CAM Table Utilization Info               Allocated         Free               Usage%
    ------------------------------------------------------------------------------------
    IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

    SVI Vlan 1 IPアドレスと/24マスクを追加する 

    C9400(config)#interface vlan 1
    C9400(config-if)#ip address 10.10.10.1 255.255.255.0

    C9400#show ip interface brief | exclude unassigned
    Interface              IP-Address      OK? Method Status               Protocol
    Vlan1                  10.10.10.1      YES manual up                  up

    C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
    Resource Info for ASIC Instance: 1 [A:0, C:1]
    Shared Resource Name                     Allocated         Free             Usage%
    ----------------------------------------------------------------------------------
    RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index
    RSC_SI                                   520               64848              0.80

    Rewrite Data                             Allocated         Free              Usage%
    -----------------------------------------------------------------------------------
    PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

    CAM Table Utilization Info               Allocated         Free               Usage%
    ------------------------------------------------------------------------------------
    IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

    C9400#show platform software fed active ip adj
    IPV4 Adj entries
    dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified
    ----            -------                 -------          ------         ------         -------- -----       ------------------------
    227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

    3つのEMプレフィックス（/32マスク）を追加

    ### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
    interface loopback 1
    ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix
    !
    ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol) 
    !
    arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

    ### Usage Result ###
    /32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used. 

    C9400#show platform hardware fed active fwd-asic resource tcam utilization
    Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

    CAM Utilization for ASIC [0]
    Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other
    ------------------------------------------------------------------------------------------------------
    IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM
    IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change


    C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
    IPv4 unicast adjacency resource info
    Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1
    Shared Resource Name                     Allocated        Free              Usage%
    ----------------------------------------------------------------------------------
    RSC_RI                                   5                57315               0.01   <-- One Rewrite index
    RSC_SI                                   522              64846               0.80   <-- Two Station Index 

    Rewrite Data                             Allocated        Free               Usage%
    -----------------------------------------------------------------------------------
    PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

    CAM Table Utilization Info               Allocated        Free                Usage%
    ------------------------------------------------------------------------------------
    IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

    使用例(HP & 9600 17.x)

    [ソフトウェア（Software）]

    ハードウェア

    17.x

    Catalyst 9500（ハイパフォーマンス）、9600スイッチ

    注:9500（高性能）および9600では、17.x CLIのみが提供されます。16.xの例については、前のセクションを参照してください。 

    基準リソース使用率

    ##### Baseline Setup & Usage #####
    9500H#show version | include IOS
    Cisco IOS XE Software, Version 17.04.01
    Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)
    C9500-24Y4C

    C9500H#show ip interface brief | exclude unassigned
    Interface              IP-Address             OK? Method Status                 Protocol
    <...empty...> <-- no SVI or any IP configured

    C9500H#show platform hardware fed active fwd-asic resource tcam utilization
    Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

    CAM Utilization for ASIC [0]
    Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other
    ------------------------------------------------------------------------------------------------------
    IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)
    IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM


    C9500H#show platform software fed active ip adj
    IPV4 Adj entries
    dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified
    ----            -------                 -------          ------           ------     -------- -----   ------------------------
    
    
     
     
     
     
     
     
    ### !!! New CLI displays multiple resources in one place !!! ### 
     
     
        New CLI collects usage information for all resources related to all IP Routing in one output

    C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
    IPv4 unicast adjacency resource info
    Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation
    Shared Resource Name                     Allocated        Free              Usage%
    ----------------------------------------------------------------------------------
    RSC_RI                                   3                90085               0.00  <-- Rewrite Index
    RSC_SI                                   517              130397              0.39  <-- Station Index

    Rewrite Data                             Allocated        Free               Usage%
    -----------------------------------------------------------------------------------
    PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite 

    CAM Table Utilization Info               Allocated         Free               Usage%
    ------------------------------------------------------------------------------------
    IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

    トラブルシュート

    スケール制限と修復（UADP 2.0スイッチ）

    このセクションでは、IPv4でTCAMが枯渇する使用例の1つを説明します。

    • この例でシミュレートされるプレフィクスは/24です。
    • プロトコルBGP
    • プラットフォーム9400 
    • Cisco IOS XE 17.3.2

    ベースライン使用率

    9400 Sup-1では、/31以下のプレフィクスはEMではなくTCAMを消費します 

    • TCAMに追加できるIPv4プレフィックスの最大数は65535です。 

    注:IPルートEMおよびTCAMは、マルチプロトコルラベルスイッチング(MPLS)でも使用されます。MPLSラベルが最初にEMに追加され、制限に達するとTCAMにオーバーフローします。デバイスがMPLSプロバイダーエッジ(PE)で、VPNv4ラベルを割り当てる場合は、合計数から差し引かれます。 

    注：最初にEMメモリがいっぱいになると、TCAMメモリへのオーバーフローが許可されることを知ることも重要です。(スイッチが49152 EMエントリを超えて拡張される場合、TCAMはConnectedルートおよび/32ルートで満たすことができます)。ただし、逆は発生しません（TCAMがいっぱいになると、EMにオーバーフローしません）

    C9407R#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]
 Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other
 ------------------------------------------------------------------------------------------------------
 Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20
 Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21
 L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0
 L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0
 L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0
 L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0
 IP Route Table         EM           I       49152       31    0.06%       18        0       13        0
 IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1
    <...snip...>

    BGPを介した80000プレフィックスの挿入 

    C9407R#show bgp vpnv4 unicast all summary
BGP router identifier 10.255.255.255, local AS number 65000
BGP table version is 580445, main routing table version 580445
80003 network entries using 20480768 bytes of memory
80003 path entries using 10880408 bytes of memory
16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory
8002 BGP AS-PATH entries using 533708 bytes of memory
1 BGP extended community entries using 24 bytes of memory
0 BGP route-map cache entries using 0 bytes of memory
0 BGP filter-list cache entries using 0 bytes of memory
BGP using 36759516 total bytes of memory
BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs
80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0
192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

    C9407R#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]
 Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other
 ------------------------------------------------------------------------------------------------------
 Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20
 Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21
 L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0
 L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0
 L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0
 L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0
 IP Route Table         EM           I       49152       31    0.06%       18        0       13        0
 IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

    ログメッセージは、FEDがFIBタイプエントリをプログラムできないことを示します 

    %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

    解決方法

    この種のスケールの問題を解決するには、プレフィクス集約が必要です。集約する方法は、使用するプロトコル、サブネットの連続度、および特定の環境によって異なります。 

    また、ハードウェアにインストールされているプレフィクスをプレフィクス長で確認すると、各長さの数を判断し、必要に応じて集約できます。

    C9300-48U#show platform software fed switch active ip route summary
Total number of v4 fib entries = 1024                       <-- total prefix count 
Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

 Mask-Len 0 :-  Total-count 2  hw-installed count 2
 Mask-Len 4 :-  Total-count 2  hw-installed count 2
 Mask-Len 8 :-  Total-count 4  hw-installed count 4
 Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length 
 Mask-Len 30 :-  Total-count 2  hw-installed count 2
 Mask-Len 32 :-  Total-count 14  hw-installed count 14
    <...snip...>

    スケール制限と修復（UADP 3.0スイッチ）

    「Catalyst 9000スイッチのハードウェアリソースについて」で説明されているように、UADP 3.0ベースのスイッチでは、完全一致(EM)エントリと最長プレフィクス一致(LPM)エントリの両方を組み合わせた最適化FIBメモリが使用されます。TCAMメモリとしてリストされているものは、オーバーフロー、コリジョン、およびその他の例外にのみ使用されます。

    TCAMの使用率が高く、EM/LPMの使用率が高くない（最大値に近くない）場合は、使用されるプレフィクス長が多すぎるネットワーク設計が原因である可能性があります。EM/LPMは特定の数のマスク長のみをプログラムできますが、その数は静的ではありません。EM/LPMがプログラミングできるマスクの量はSDMテンプレートによって異なり、ネットワークのルートスケールによっても異なります。

    要約すると、UADP 3.0では、SDM設定、ルートスケール（ルートの数）、プレフィクス長の差異（一意のサブネットマスクの数）の間に動的なバランスがあります。IPルートテーブルEM/LPMが最大値に近づく前にIPルートテーブルTCAMを使い果たした場合、SDM設定、ルートスケール（ルート数）、およびプレフィクス長の差異（一意のサブネットマスク数）の結果として問題が生じる可能性があります。

    FIBスケール制限が発生すると、ハードウェアがプログラムに失敗したことを示すsyslogが生成されます。

    %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

    注:syslogに示されているのは一般的な障害だけで、EM/LPM、TCAMなどの障害は示されていません。問題の原因を調べるには、追加のコマンドを実行する必要があります。

    9500-48Y4C（9500H/高性能 – UADP 3.0ベースのスイッチ）

    EM/LPMの前に使用されたTCAMの例：

    • 表示された出力は、IPルートテーブル(FIB)TCAMがいっぱいであり、EM/LPMがないことを示しています。
    • スイッチは、EM/LPMメモリ内の固定サイズテーブルの複数のインスタンスにプレフィックスと対応するマスクを割り当てることを理解します
    • 特定のテーブルインスタンスは、1つのIPv4またはIPv6プレフィックス長のみを表します。マスクは、ハードウェア内のすべてのプレフィックスエントリに対して保存されるのではなく、テーブルインスタンス全体に対してのみ保存されるため、貴重なハードウェア領域を節約できます。
    • ハードウェアテーブルへのプレフィックスマスクの割り当ては動的で、動作するために入力は必要ありません。
    Switch#show platform hardware fed active fwd-asic resource tcam utilization
    Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable                

    CAM Utilization for ASIC [0]                                                                             
    Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other
    ------------------------------------------------------------------------------------------------------
    IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)
    IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

    このシナリオでは、EM/LPMテーブルが十分に活用されていない可能性があります。

    • 割り当てられた新しいテーブルごとに、特定のプレフィックスマスク長がそのテーブル専用になります。そのテーブルのすべてのエントリは、そのマスク長に制限されます。その表インスタンスのエントリ数が最大値より少ない場合は、その表インスタンスに残っているエントリ数だけ実効使用率が下がります。その他のマスク長では再要求できません。 
    • 複数のマスク長にわたって最適でない使用率を繰り返すと、EM/LPMメモリの効果的な使用率が大幅に低下します。
    • EM/LPMテーブルが新しいマスク長で使用できなくなると、そのマスクを持つプレフィックスが代わりにインストールされ、TCAMにオーバーフローします。限られたTCAMスペースがすぐにいっぱいになります。
    • EM/LPMが使用できるテーブルの数は、SDMの設定によって異なります。

    マスク長の広範な分布と、プレフィクスの数が少ないマスクを組み合わせると、多くのテーブルが割り当てられ、多くのテーブルが十分に活用されない状況が発生します。これにより、UADP 3.0ベースのスイッチで理想的な最大ハードウェア使用率に達する前に、「Failed to allocate hardware resource for fib...」エラーが表示されます。

    1つのプレフィクス長に割り当てられるテーブルインスタンスの数が増加すると、他の長さのプレフィクスに使用できるテーブルが不足する可能性があります。

    プレフィクス長のエントリの量が、それが属する最後のテーブルを完全に利用しない場合は、最適でない使用状況が発生する可能性があります。

    この例では、9500-48Y4Cスイッチで学習された4500のeBGPプレフィックスを示しています。

    • 各テーブルには、約2048のルート/エントリを含めることができます。
    • ハードウェアには、2048と8192の2つの固定サイズのテーブルがあります。ルートスケール、プレフィクスの使用状況、使用するSDMテンプレートに基づいて動的に割り当てられる
    • この例では、マスク長/32の4500ルートを保持するために、3つの2048サイズのテーブルが/32としてマークされます。2048年のサイズのテーブルの中には、割り当てられた/32のIPv4ルート専用のスペースを持つものがあります。

    これは、次のCLIで確認できます。

    F241.03.23-C9500-2#show platform software fed active hash l3unicast 
********************* TABLE INFO ASIC 0 *********************************
Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx   
1      8         0         2048   11     Normal    0      0      0       
2      8         1         2048   0      Normal    0      0      2048      
...
Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************
Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries
1         0            0      0         0             1         
...
33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,
                                                                   or other features.     
...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******
Asic: 0 Core: 0 Hash Id: 8 Table Id: 0
Index   MASK    GMR/LPM Idx     Used
0       33      2               7
1       162     2               3
2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7
Index   MASK    GMR/LPM Idx     Used
0       0       0               0
1       139     2               0

    
Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast 
********************* TABLE INFO ASIC 0 *********************************
Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx   
1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized
2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized, 
                                                                               must be used for /32 IPv4 prefixes or other features    
...
56     11        7         2048   2029   Normal    0      1      112640   

Total Entries: 4500

*************************** MASK INFO *********************************
Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries
...
33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******
Asic: 0 Core: 0 Hash Id: 8 Table Id: 0
Index   MASK    GMR/LPM Idx     Used
0       33      2               2044 
1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1
Index   MASK    GMR/LPM Idx     Used
0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7
Index   MASK    GMR/LPM Idx     Used
0       33      2               2029
/>

    次の例では、/11から/32までのマスク長ごとに新しいテーブルが使用されるように、最小の数のプレフィックスが挿入されます。

    これは、Cisco IOS XE 17.3の「ディストリビューション」SDMテンプレートを使用することで実現されます。このテンプレートには、FIBエントリに動的に割り当てることができる56個のテーブルがあります。

    • /32の長さは最大74000個のプレフィックスまで拡張できます
    • /12 - 300個のプレフィックス
    • /11 ～ 1250個のプレフィクス
    • /13 ～ /32のマスク長には、約12個のプレフィクスが含まれます。これを下回ると、ハードウェアはTCAMを使用して特定のマスク長のプレフィックスを保存するように選択できます。

    注:EM/LPMとTCAMの割り当てを制御するハードウェアアルゴリズムは複雑で、ユーザ設定とハードウェアの制限のバランスを取っています。このドキュメントに記載されている結果は、実稼働ネットワークでのシステムの動作を完全に表しているわけではありません。

    F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route      
 Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other
 IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0
 IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0


Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054


F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route      
Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other
 IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%
 IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary 
Total number of v4 fib entries = 75789 
Total number succeeded in hardware = 74847 
 
 Mask-Len 0 :-  Total-count 1  hw-installed count 1 
 Mask-Len 4 :-  Total-count 1  hw-installed count 1 
 Mask-Len 8 :-  Total-count 2  hw-installed count 2 
 Mask-Len 11 :-  Total-count 1250  hw-installed count 1250 
 Mask-Len 12 :-  Total-count 300  hw-installed count 300 
 Mask-Len 13 :-  Total-count 12  hw-installed count 12 
 Mask-Len 14 :-  Total-count 12  hw-installed count 12 
 Mask-Len 15 :-  Total-count 12  hw-installed count 12 
 Mask-Len 16 :-  Total-count 12  hw-installed count 12 
 Mask-Len 17 :-  Total-count 12  hw-installed count 12 
 Mask-Len 18 :-  Total-count 12  hw-installed count 12 
 Mask-Len 19 :-  Total-count 12  hw-installed count 12 
 Mask-Len 20 :-  Total-count 12  hw-installed count 12 
 Mask-Len 21 :-  Total-count 12  hw-installed count 12 
 Mask-Len 22 :-  Total-count 12  hw-installed count 12 
 Mask-Len 23 :-  Total-count 12  hw-installed count 12 
 Mask-Len 24 :-  Total-count 12  hw-installed count 12 
 Mask-Len 25 :-  Total-count 12  hw-installed count 12 
 Mask-Len 26 :-  Total-count 12  hw-installed count 12 
 Mask-Len 27 :-  Total-count 12  hw-installed count 12 
 Mask-Len 28 :-  Total-count 12  hw-installed count 12 
 Mask-Len 29 :-  Total-count 12  hw-installed count 12 
 Mask-Len 30 :-  Total-count 12  hw-installed count 12 
 Mask-Len 31 :-  Total-count 12  hw-installed count 12 
 Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware



F241.03.23-C9500-2#show platform software fed active hash l3unicast          
********************* TABLE INFO ASIC 0 *********************************
Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx   
1      8         0         2048   2048   Normal    0      0      0    
...
56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column  

*************************** MASK INFO *********************************
Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries
1         0            0      0         0             1         
5         0            0      0         0             1         
9         0            0      0         0             2         
10        0            0      0         0             0         
11        0            0      0         0             0         
12        1            2048   809       1239          11        
13        1            2048   1759      289           11        
14        1            2048   2047      1             11        
15        1            2048   2047      1             11        
16        1            2048   2047      1             11        
17        1            2048   2036      12            0         
18        1            2048   2036      12            0         
19        1            2048   2036      12            0         
20        1            2048   2036      12            0         
21        1            2048   2036      12            0         
22        1            2048   2036      12            0         
23        1            2048   2036      12            0         
24        1            2048   2036      12            0         
25        1            2048   2036      12            0         
26        1            2048   2047      1             11        
27        1            2048   2047      1             11        
28        1            2048   2047      1             11        
29        1            2048   2047      1             11        
30        1            2048   2047      1             11        
31        1            2048   2047      1             11        
32        1            2048   2047      1             11        
33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

    このシナリオを解決するには、優先順位に従って、次のオプションを1つ以上使用します

    • 別のSDMテンプレートを調べます。 
      • FIB/IPルートスケールテンプレートの増加により、このFIBで使用可能なハードウェアテーブルの総数が増加します。これにより、全体の規模だけでなく、効率的な使用率（使用済みエントリ/使用可能なエントリ）も向上します。
      • 逆に、FIB/IPルート用のより低いスケールのSDMテンプレートは、FIBで使用可能なハードウェアテーブルの総量を減らします。
    • ルーティングテーブルから1つ以上のプレフィクス（マスク）長を完全に削除します
    • ルートを集約する（プレフィクスの総量を減らす）

    注:SDMテンプレートの詳細については、Catalyst 9500およびCatalyst 9600シリーズスイッチの『システム管理設定ガイド』の「章： SDMテンプレートの設定」を参照してください。

    シナリオ：SGT/SXPマッピング | Trustsecスケール 

    TAC用に収集するコマンド

    このガイドでは、IPv4の使用率に関連する最も一般的なハードウェアリソースの問題と、適切な修復手順について説明します。ただし、このガイドで問題が解決しなかった場合は、表示されているコマンドリストを収集して、TACサービスリクエストに添付してください。

    show tech-support
    show platform hardware fed active fwd-asic resource tcam utilization
    show platform hardware fed active fwd-asic resource utilization
    show platform hardware fed active fwd-asic resource rewrite utilization 
    show platform hardware fed active fwd-asic resource features ip-adjacency utilization 
    show platform software fed active ip route summary
    show platform software fed active hash l3unicast
    show ip route
    show ip route vrf *

    このドキュメントに関する問題が見つかった場合は、この記事の右側のパネルにあるFeedbackボタンを使用してください。 このドキュメントに関する要求やフィードバックを送信する際には、できるだけ詳細な情報を提供してください。これには、ドキュメントに関して持っていたセクション、領域、または問題に関する情報や、改善すべき点が含まれます。 

    関連情報

    テクニカル サポートとドキュメント - Cisco Systems

    Catalyst 9000スイッチのハードウェアリソースの理解

    『Cisco IOS XE Amsterdam 17.3.x IP Routing Configuration Guide』（Catalyst 9500スイッチ）：章：OSPFの設定

    『Cisco IOS XE Amsterdam 17.3.x IP Routing Configuration Guide』（Catalyst 9500スイッチ）：章：EIGRPの設定

    『Cisco IOS XE Amsterdam 17.3.x IP Routing Configuration Guide』（Catalyst 9500スイッチ） – 章：BGPの設定

    『Cisco IOS XE Amsterdam 17.3.x System Management Configuration Guide』（Catalyst 9500スイッチ）：章：SDMテンプレートの設定 

    『Cisco Catalyst 9200 Series Switches Data Sheet』

    『Cisco Catalyst 9300 Series Switches Data Sheet』

    Cisco Catalyst 9400シリーズスイッチのデータシート

    Cisco Catalyst 9500シリーズスイッチのデータシート

    『Cisco Catalyst 9600 Series Switches Data Sheet』

    Cisco Catalyst 9500 Architecture White Paper

    更新履歴

    改定 発行日 コメント
    2.0
    01-Jun-2023
    ビデオへのリンクを追加：Catalyst 9000スイッチのFIBハードウェアリソース枯渇のトラブルシューティング
    1.0
    05-Aug-2022
    初版
    TAC Authored

    シスコ エンジニア提供

    • アンブローゼテイラー
    • オースティン・アンダーソン・ファーガソン
    • クリストファー・ガブリエルセン

    このドキュメントは役に立ちましたか?

    Feedbackフィードバック

    シスコに問い合わせ

    このドキュメントは次の製品に対応しています