목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

배경 정보

비디오

용어

일반 하드웨어 검증 명령

IPv4 확장 Syslog

사용 예

사용 예(비 HP 16.12.x)

사용 예(비 HP 17.x)

사용 예(HP 및 9600 17.x)

문제 해결

확장 제한 및 복원(UADP 2.0 스위치)

확장 제한 및 복원(UADP 3.0 스위치)

시나리오: SGT/SXP 매핑 | Trustsec 규모

TAC를 위해 수집할 명령

관련 정보

소개

이 문서에서는 Catalyst 9000 Series 스위치의 IPv4 FIB(Forwarding Information Base) 하드웨어 사용을 이해하고 확인하는 방법에 대해 설명합니다.

사전 요구 사항

요구 사항

이 문서에 대한 특정 요건이 없습니다.

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

- Cisco IOS® XE 16.x 및 17.x 소프트웨어의 Cisco Catalyst 9200, 9300, 9400, 9500(비고성능) 시리즈 스위치

- Cisco IOS® XE 16.x 및 17.x 소프트웨어의 Cisco Catalyst 9500(고성능), 9600 Series 스위치

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

배경 정보

예상대로 작동하지 않는 기능의 트러블슈팅을 수행할 때, 하드웨어가 해당 스위치의 규모를 벗어나지 않는지 확인하는 것이 좋습니다. 스위치는 이러한 하드웨어 테이블의 크기에 따라 달라질 수 있지만, 검증 및 문제 해결 방법론은 대부분 동일합니다.

이 페이지는 다양한 기능과 하드웨어 스케일 확인 방법에 대한 정보를 찾을 수 있는 참조 페이지이기도 합니다.

이러한 소프트웨어 버전 및 디바이스 유형에 대한 예가 제공됩니다.

- CLI 출력이 크게 다르므로 16.x 및 17.x 소프트웨어 트레인

- 이러한 모델에서 9500(고성능) 및 9600에 해당하는 정보는 다른 Catalyst 9000 스위치와 달리 해시 및 TCAM(Ternary Content Addressable Memory)을 할당합니다

이 문서에서는 다음 작업을 지원합니다.

- 어떤 테이블(해시/TCAM)이 사용되는지 파악

- 문제가 되는 테이블의 내용을 이해합니다.

- 특정 테이블이 사용된 이유 이해(해시 대 TCAM)

- 리소스 문제를 나타내는 로그 또는 오류 메시지 이해

- 하드웨어 리소스 할당 문제를 해결하기 위해 수행할 작업

참고: 스위치에서 VRF(Virtual Routing and Forwarding)를 사용할 경우, 총 사용량에는 각 VRF의 사용량이 포함되어야 합니다.

비디오

이 비디오에서는 FIB 하드웨어 리소스 문제의 트러블슈팅: Catalyst 9000 스위치 FIB 하드웨어 리소스 고갈 트러블슈팅

용어

조정

인접성(테이블)

패킷 재작성에 사용되는 다음 홉 정보를 저장합니다.

디디어

대상 색인

아웃바운드 인터페이스를 가리키는 색인

엠

완전 일치

해시 메모리의 1:1 일치 항목(호스트 경로, 직접 연결 호스트)

fib

전달 정보 데이터베이스

RIB(Routing Information Base) 및 ARP(Address Resolution Protocol) 테이블에서 접두사를 추가하고 ADJ 테이블에 대한 포인터를 사용하는 간소화된 테이블

연방

포워드 엔진 드라이버

ASIC(Application Specific Integrated Circuit)(하드웨어) 계층

FMAN-FP

Forward Manager - 포워딩 플레인

FMAN-FP는 FED 정보를 추가, 삭제 또는 수정하는 소프트웨어 객체를 관리합니다

LPM

최장 접두사 일치

/31 이하의 모든 경로(/32 경로는 EM 유형)

리

인덱스 다시 쓰기

다음 홉 인접성으로 포워딩하는 레이어 3에 대한 MAC 주소 재작성 정보

갈비

라우팅 정보 베이스

"show ip route"에 표시된 라우팅 테이블

SDM

데이터베이스 관리자 전환

스위치 하드웨어 리소스를 필요로 하는 다양한 기능(MAC 주소, 경로, 액세스 목록 항목)에 할당하는 소프트웨어 프로세스

SI

스테이션 인덱스

스테이션 인덱스 =  패킷 재작성 정보(RI = 재작성 인덱스) 및 아웃바운드 인터페이스 정보(DI = 대상 인덱스)

TCAM

터너리 내용 주소화 메모리

0, 1, X 등 세 가지 입력으로 항목을 저장하고 쿼리하는 메모리의 유형입니다. 이 유형의 메모리는 동일한 엔트리에 대해 여러 일치가 있을 수 있고 각각에 대한 결과 Hash가 고유하지 않은 경우에 사용해야 합니다. 이 테이블에는 마스크 또는 "X" 값이 포함되어 있으므로 이 항목과 일치하는지 또는 일치하지 않는지 확인할 수 있습니다.

UADP

Cisco 통합 액세스™ 데이터 플레인

스위치에 사용되는 ASIC 아키텍처

직접 연결됨

직접 연결 경로

로컬로 연결된 호스트 접두사(ARP 인접)

간접적으로 연결됨

간접적으로 연결된 경로

원격 다음 홉을 통해 도달할 경로

SGT

SXP

CTS(Trustsec)

일반 하드웨어 검증 명령

이러한 명령은 사용된 해시, TCAM, 인터페이스 및 재작성 리소스에 대한 상위 레벨 사용량 통계를 표시합니다. 이러한 리소스는 관련되어 있으며, 언급된 리소스 중 하나의 고갈은 사용 가능한 다른 리소스를 완전히 사용하는 능력에 영향을 줄 수 있습니다.

예: 스위치에 사용 가능한 해시/TCAM이 있지만 인접성이 부족할 수 있습니다. 스위치에서 새 재작성 항목을 프로그래밍할 수 없으므로 패킷을 전달하는 기능이 대상 접두사에 영향을 줄 수 있습니다.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

참고: 이러한 명령에 대한 자세한 내용은 "System Management Configuration Guide"의 "Chapter: Configuring SDM Templates"를 참조하십시오

IPv4 확장 Syslog

이 시나리오에서는 각 테이블이 사용되는 방법과 하나 이상의 테이블이 배율 범위에 있거나 이를 초과하는 경우 수행할 작업을 보여 줍니다. 또한 IP 목적지로 전달하는 데 필요한 종속 리소스도 다룹니다.

증상: 리소스가 확장되지 않음

1. 디바이스 또는 접두사 연결 문제 존재하거나 디바이스가 연결 가능한 상태를 유지할 수 있지만 신규 또는 업데이트된 접두사는 연결 불가합니다.

2. 로그 메시지는 하드웨어가 새 개체 업데이트를 수행할 수 없음을 나타냅니다

3. 소프트웨어를 하드웨어로 프로그래밍하는 객체 레이어가 혼잡해짐

4. 영향을 받는 하드웨어 레이어에 항목이 없습니다(이 경우 FIB는 영향을 받는 레이어임).

특정 IPv4 FIB 또는 Adjacency 리소스가 부족하면 시스템에서 SYSLOG 메시지를 생성합니다

IPv4 FIB 로그 메시지

정의

복구 작업

%FED_L3_ERRMSG-3-RSRC_ERR: 스위치 1 R0/0: fed: 하드웨어 리소스 소진으로 인해 fib 항목에 하드웨어 리소스를 할당하지 못했습니다.

IPv4 FIB 항목에 예약된 하드웨어의 공간이 부족합니다(EM 또는 TCAM).

경로를 요약하거나 다른 작업을 수행하여 FIB 항목의 규모를 줄입니다(EM 또는 TCAM 중 소진된 항목일 수 있음).

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:adj 항목에 대한 하드웨어 리소스를 할당하지 못했습니다. rc:1

인접성 테이블이 모두 사용되었습니다. 다음 홉 대상 MAC 주소가 저장된 하드웨어의 표입니다.

직접 연결(ARP 인접) 호스트의 규모 축소

사용 예

사용 예(비 HP 16.12.x)

소프트웨어

하드웨어

16.12.5

Catalyst 9200 9300 9400 9500(비고성능) 스위치

기준 리소스 사용량

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

/24 마스크를 사용하여 SVI Vlan 1 IP 주소 추가

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

EM 접두사 3개 추가(/32 마스크)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

사용 예(비 HP 17.x)

소프트웨어

하드웨어

17.x

Catalyst 9200 9300 9400 9500(비고성능) 스위치

기준 리소스 사용량

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

/24 마스크를 사용하여 SVI Vlan 1 IP 주소 추가

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

EM 접두사 3개 추가(/32 마스크)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

사용 예(HP 및 9600 17.x)

소프트웨어

하드웨어

17.x

Catalyst 9500(고성능), 9600 스위치

참고: 9500(고성능) 및 9600의 경우 17.x CLI만 제공됩니다. 16.x 예는 이전 섹션을 참조하십시오.

기준 리소스 사용량

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

문제 해결

확장 제한 및 복원(UADP 2.0 스위치)

이 섹션에서는 IPv4에 대해 TCAM이 소진되는 한 가지 활용 사례에 대해 설명합니다.

- 이 예에서 시뮬레이션된 접두사는 /24입니다.

- 프로토콜 BGP

- 플랫폼 9400

- Cisco IOS XE 17.3.2

기준 사용

9400 Sup-1에서는 /31 이하의 접두사가 EM이 아니라 TCAM을 소비합니다

- TCAM에 추가할 수 있는 최대 IPv4 접두사 수는 65535입니다.

참고: IP 경로 EM 및 TCAM은 MPLS(Multiprotocol Label Switching)에서도 사용됩니다. MPLS 레이블은 EM에 먼저 추가된 다음 제한에 도달하면 TCAM으로 오버플로됩니다. 디바이스가 MPLS PE(Provider Edge)이고 VPNv4 레이블을 할당하는 경우 이 값을 총 수에서 뺍니다.

참고: EM 메모리가 먼저 채워지면 TCAM 메모리로 오버플로가 허용된다는 사실도 중요합니다. 스위치가 49152 EM 항목 이상으로 확장되는 경우 TCAM은 Connected 및 /32 경로로 채울 수 있습니다. 그러나 TCAM이 가득 차면 EM으로 넘치지 않으므로 반대 현상이 발생하지 않습니다

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

BGP를 통해 80000 접두사 삽입

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

로그 메시지는 FED가 FIB 유형 항목을 프로그래밍할 수 없음을 나타냅니다.

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

솔루션

이러한 유형의 확장 문제를 해결하려면 접두사 요약이 필요합니다. 요약할 방법은 사용된 프로토콜, 서브넷의 인접 여부, 특정 환경에 따라 달라집니다.

- 이 예에서 BGP는 프로토콜이며 요약 기술은 이 페이지에서 찾을 수 있습니다. IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter: Configuring BGP

- 다른 요약 기술은 이 문서의 관련 정보 섹션에서 찾을 수 있습니다. (제공되는 모든 링크는 9500 컨피그레이션 페이지에서 제공됩니다. 필요에 따라 다른 플랫폼 가이드를 참조하십시오.

또한 접두사 길이별로 하드웨어에 설치된 접두사를 확인하여 각 길이의 개수를 확인하고 필요한 경우 요약할 수 있습니다.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

확장 제한 및 복원(UADP 3.0 스위치)

"Catalyst 9000 스위치의 하드웨어 리소스 이해" 문서에 설명된 것처럼 UADP 3.0 기반 스위치는 EM(Exact Match) 및 LPM(Longest Prefix Match) 항목을 모두 결합하는 최적화된 FIB 메모리를 사용합니다. TCAM 메모리로 나열되는 것은 오버플로, 충돌 및 기타 예외에만 사용됩니다.

TCAM의 활용도가 높고 EM/LPM의 활용도가 낮은 경우(근사값이나 최대값이 아님), 이는 접두사 길이가 너무 많이 사용되는 네트워크 설계 때문일 수 있습니다. EM/LPM은 특정 수의 마스크 길이만 프로그래밍할 수 있지만 그 수는 정적이지 않습니다. EM/LPM이 프로그래밍할 수 있는 마스크의 양은 SDM 템플릿에 따라 다르며, 네트워크의 경로 규모에 따라 더 달라집니다.

요약하면, UADP 3.0의 경우 SDM 컨피그레이션, 경로 규모(경로 수) 및 접두사 길이 차이(고유한 서브넷 마스크 수) 간에 동적 균형이 유지됩니다. IP 경로 테이블 EM/LPM이 최대치에 근접하기 전에 IP 경로 테이블 TCAM이 모두 소모된 경우, SDM 컨피그레이션, 경로 배율(경로 수) 및 접두사 길이 차이(고유한 서브넷 마스크 수)로 인해 문제가 발생할 수 있습니다.

FIB 규모 제한이 발생하면 하드웨어가 프로그래밍하지 못했음을 나타내는 syslog가 생성됩니다.

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

참고: syslog는 EM/LPM, TCAM 등이 아닌 일반 오류만 나타냅니다. 추가 명령을 실행하여 문제가 있는 항목을 확인해야 합니다.

9500-48Y4C(9500H/고성능 - UADP 3.0 기반 스위치)

EM/LPM 이전에 사용된 TCAM의 예:

- 표시된 출력은 FIB(IP Route Table) TCAM이 가득 찼지만 EM/LPM은 가득 차지 않았음을 나타냅니다.

- 스위치가 EM/LPM 메모리에 있는 고정 크기 테이블의 여러 인스턴스에 접두사와 해당 마스크를 할당한다는 점을 이해합니다

- 지정된 테이블 인스턴스는 IPv4 또는 IPv6 접두사 길이를 하나만 나타냅니다. 마스크는 하드웨어의 모든 접두사 항목에 대해 저장되지 않으며, 전체적으로 테이블 인스턴스에 대해서만 저장되므로 귀중한 하드웨어 공간이 절약됩니다.

- 하드웨어 테이블에 접두사 마스크를 할당하는 작업은 동적이며, 작동하는 데 입력이 필요하지 않습니다.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

이 시나리오에서는 EM/LPM 테이블의 활용도가 낮을 수 있습니다.

- 할당된 각 새 테이블에 대해 특정 접두사 마스크 길이가 해당 테이블 전용입니다. 이제 해당 테이블의 모든 항목이 해당 마스크 길이로 제한됩니다. 해당 테이블 인스턴스에 대한 최대 항목 수보다 적은 항목이 있는 경우 유효 사용률은 해당 테이블 인스턴스에 남아 있는 항목 수만큼 감소됩니다. 일부 다른 마스크 길이에 대해서는 재확보할 수 없습니다.

- 여러 마스크 길이에 걸쳐 이 차선의 사용률을 반복하면 EM/LPM 메모리의 효과적인 사용률이 크게 감소합니다.

- EM/LPM 테이블을 더 이상 새 마스크 길이에 사용할 수 없는 경우 해당 마스크가 포함된 접두사가 대신 설치되어 TCAM으로 오버플로됩니다. 제한된 TCAM 공간이 빠르게 채워집니다.

- EM/LPM에 사용할 수 있는 테이블 수는 SDM 구성에 따라 달라집니다.

접두사 양이 적은 마스크와 결합된 마스크 길이의 광범위한 분포는 많은 테이블이 할당되고 많은 테이블의 활용도가 낮은 시나리오를 초래합니다. 이로 인해 UADP 3.0 기반 스위치에서 이상적인 최대 하드웨어 사용률에 도달하기 전에 "fib에 하드웨어 리소스를 할당하지 못했습니다..." 오류가 나타납니다.

단일 접두사 길이에 할당된 테이블 인스턴스의 수가 증가하면 다른 길이의 접두사에 사용할 수 있는 테이블이 부족할 수 있습니다.

서브최적 사용은 접두사 길이의 엔트리의 양이 그 접두사가 속하는 마지막 테이블을 완전히 활용하지 않을 때 발생할 수 있다.

이 예에서는 9500-48Y4C 스위치에서 학습한 4500 eBGP 접두사를 보여 줍니다.

- 각 테이블에는 약 2048개의 경로/항목이 있을 수 있습니다.

- 이 하드웨어에는 2048과 8192의 두 가지 고정 크기 테이블이 있습니다. 경로 규모, 접두사 사용 및 사용된 SDM 템플릿에 따라 동적으로 할당됩니다

- 이 예에서는 2048개 크기의 테이블 3개가 /32로 표시되어 /32 마스크 길이의 4500개 경로를 유지합니다. 2048 크기의 테이블 중 일부에는 /32 IPv4 경로에만 할당된 공간이 있습니다.

이는 다음 CLI를 통해 확인할 수 있습니다.

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

다음 예에서는 /11에서 /32까지의 모든 마스크 길이에 대해 새 테이블을 강제로 사용하도록 최소 접두사를 삽입합니다.

이는 Cisco IOS XE 17.3에서 "Distribution" SDM 템플릿을 사용하여 구현되며, 여기에는 FIB 항목에 동적으로 할당할 수 있는 56개의 테이블이 있습니다.

- /32 길이가 접두사를 74000개까지 확장됩니다.

- /12 - 접두사 300개

- /11 - 1250개의 접두사

- /13에서 /32 사이의 마스크 길이에는 약 12개의 접두사가 포함됩니다. 더 적은 수의 마스크와 하드웨어는 지정된 마스크 길이의 접두사를 저장하기 위해 TCAM을 사용하도록 선택할 수 있습니다.

주: EM/LPM 및 TCAM 할당을 제어하는 하드웨어 알고리즘은 복잡하여 사용자 컨피그레이션과 하드웨어의 제한 사항을 모두 조정합니다. 이 문서에 제시된 결과는 시스템이 프로덕션 네트워크에서 어떻게 작동할 수 있는지를 완전히 나타내지 못합니다.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

이 시나리오를 해결하려면 우선 순위에 따라 이러한 옵션을 하나 이상 사용합니다

- 대체 SDM 템플릿을 조사합니다.

- FIB/IP 라우트 확장 템플릿을 통해 이 FIB에서 사용할 수 있는 총 하드웨어 테이블이 증가합니다. 이를 통해 효과적인 사용률(사용된 항목/사용 가능한 항목)은 물론 총 규모를 개선할 수 있습니다.

- 반대로 - FIB/IP 경로에 대한 소규모 SDM 템플릿은 FIB에서 사용할 수 있는 총 하드웨어 테이블 수를 줄입니다.

- 경로 테이블에서 하나 이상의 접두사(마스크) 길이를 완전히 제거합니다

- 경로 요약(접두사의 총 볼륨 감소)

참고: SDM 템플릿에 대한 자세한 내용은 Catalyst 9500 및 Catalyst 9600 Series 스위치의 "시스템 관리 컨피그레이션 가이드"에서 "장: SDM 템플릿 구성"을 참조하십시오.

시나리오: SGT/SXP 매핑 | Trustsec 규모

TAC를 위해 수집할 명령

IPv4 사용률과 관련된 가장 일반적인 하드웨어 리소스 문제는 이 가이드에서 적절한 치료 단계를 통해 다룹니다. 그러나 이 설명서에서 문제를 해결하지 못한 경우 표시된 명령 목록을 수집하여 TAC 서비스 요청에 첨부하십시오.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

이 문서에 문제가 있는 경우 이 문서의 오른쪽 패널에 있는 [피드백] 단추를 사용하십시오. 이 문서에 대한 요청 또는 피드백을 제출할 때 가능한 한 자세한 정보를 제공하십시오. 이 문서에는 문서와 관련된 섹션, 영역 또는 문제 및 개선할 수 있는 사항에 대한 정보가 포함되어 있습니다.

관련 정보

기술 지원 및 문서 − Cisco Systems

Catalyst 9000 스위치의 하드웨어 리소스 이해

IP 라우팅 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: OSPF 구성

IP 라우팅 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: EIGRP 구성

IP 라우팅 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: BGP 구성

시스템 관리 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: SDM 템플릿 구성

Cisco Catalyst 9200 Series 스위치 데이터 시트

Cisco Catalyst 9300 Series 스위치 데이터 시트

Cisco Catalyst 9400 Series 스위치 데이터 시트

Cisco Catalyst 9500 Series 스위치 데이터 시트

Cisco Catalyst 9600 Series 스위치 데이터 시트

Cisco Catalyst 9500 아키텍처 백서