ACI 결함 코드 문제 해결 F199144, F93337, F381328, F93241, F450296: TCA

소개

이 문서에서는 ACI 결함 코드의 교정 단계에 대해 설명합니다. F199144, F93337, F381328, F93241, F450296

배경

Intersight에 연결된 ACI 패브릭이 있는 경우 Intersight에 연결된 ACI 패브릭 내에서 이 결함의 인스턴스가 발견되었음을 알리기 위해 귀하를 대신하여 서비스 요청이 생성되었습니다.

이는 사전 대응적 ACI 참여의 일환으로 적극적으로 모니터링됩니다.

이 문서에서는 다음 결함 해결을 위한 다음 단계에 대해 설명합니다.

결함: F199144

"Code" : "F199144",
"Description" : "TCA: External Subnet (v4 and v6) prefix entries usage current value(eqptcapacityPrefixEntries5min:extNormalizedLast) value 91% raised above threshold 90%",
"Dn" : "topology/pod-1/node-132/sys/eqptcapacity/fault-F199144"

이 특정 결함은 외부 서브넷 접두사의 현재 사용량이 99%를 초과할 때 제기됩니다. 이는 이러한 스위치에서 처리하는 경로 측면에서 하드웨어 제한을 나타냅니다.

Quick Start to Address Fault: F199144(빠른 시작 및 해결 결함)

1. "show platform internal hal l3 routingthresholds" 명령

module-1# show platform internal hal l3 routingthresholds
Executing Custom Handler function

OBJECT 0:
trie debug threshold                                      : 0
tcam debug threshold                                      : 3072
Supported UC lpm entries                                  : 14848
Supported UC lpm Tcam entries                             : 5632
Current v4 UC lpm Routes                                  : 19526
Current v6 UC lpm Routes                                  : 0
Current v4 UC lpm Tcam Routes                             : 404
Current v6 UC lpm Tcam Routes                             : 115
Current v6 wide UC lpm Tcam Routes                        : 24
Maximum HW Resources for LPM                              : 20480     < ------- Maximum hardware resources
Current LPM Usage in Hardware                             : 20390   < ------------Current usage in Hw
Number of times limit crossed                             : 5198       < -------------- Number of times that limit was crossed
Last time limit crossed                                   : 2020-07-07 12:34:15.947    < ------ Last occurrence,  today  at 12:34 pm

2. 명령 "show platform internal hal health-stats"

module-1# show platform internal hal health-stats
No sandboxes exist
|Sandbox_ID: 0  Asic Bitmap: 0x0
|-------------------------------------

L2 stats:
=========
bds:                          : 249
...
l2_total_host_entries_norm    : 4


L3 stats:
=========
l3_v4_local_ep_entries        : 40
max_l3_v4_local_ep_entries    : 12288
l3_v4_local_ep_entries_norm   : 0
l3_v6_local_ep_entries        : 0
max_l3_v6_local_ep_entries    : 8192
l3_v6_local_ep_entries_norm   : 0
l3_v4_total_ep_entries        : 221
max_l3_v4_total_ep_entries    : 24576
l3_v4_total_ep_entries_norm   : 0
l3_v6_total_ep_entries        : 0
max_l3_v6_total_ep_entries    : 12288
l3_v6_total_ep_entries_norm   : 0
max_l3_v4_32_entries          : 49152
total_l3_v4_32_entries        : 6294
  l3_v4_total_ep_entries      : 221
  l3_v4_host_uc_entries       : 6073
  l3_v4_host_mc_entries       : 0
total_l3_v4_32_entries_norm   : 12
max_l3_v6_128_entries         : 12288
total_l3_v6_128_entries       : 17
  l3_v6_total_ep_entries      : 0
  l3_v6_host_uc_entries       : 17
  l3_v6_host_mc_entries       : 0
total_l3_v6_128_entries_norm  : 0
max_l3_lpm_entries            : 20480  < ----------- Maximum
l3_lpm_entries                : 19528    < ------------- Current L3 LPM entries
  l3_v4_lpm_entries           : 19528
  l3_v6_lpm_entries           : 0
l3_lpm_entries_norm           : 99
max_l3_lpm_tcam_entries       : 5632
max_l3_v6_wide_lpm_tcam_entries: 1000
l3_lpm_tcam_entries           : 864
  l3_v4_lpm_tcam_entries      : 404
  l3_v6_lpm_tcam_entries      : 460
  l3_v6_wide_lpm_tcam_entries : 24
l3_lpm_tcam_entries_norm      : 15
l3_v6_lpm_tcam_entries_norm   : 2
l3_host_uc_entries            : 6090
  l3_v4_host_uc_entries       : 6073
  l3_v6_host_uc_entries       : 17
max_uc_ecmp_entries           : 32768
uc_ecmp_entries               : 250
uc_ecmp_entries_norm          : 0
max_uc_adj_entries            : 8192
uc_adj_entries                : 261
uc_adj_entries_norm           : 3
vrfs                          : 150
  infra_vrfs                  : 0
  tenant_vrfs                 : 148
rtd_ifs                       : 2
sub_ifs                       : 2
svi_ifs                       : 185

다음 단계 결함: F199144

1. 하드웨어 모델에 정의된 확장성을 준수하도록 각 스위치에서 처리해야 하는 경로의 수를 줄입니다. 확장성 가이드(https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/4-x/verified-scalability/Cisco-ACI-Verified-Scalability-Guide-412.html)를 확인하십시오.

2. 눈금에 따라 전달 눈금 프로파일을 변경해 보십시오. https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-overview-and-guidelines.html

3. L3Out에서 0.0.0.0/0 서브넷을 제거하고 필요한 서브넷만 구성합니다

4. 1세대를 사용하는 경우, 2세대 스위치에서 20,000개 이상의 외부 v4 경로를 허용하므로 하드웨어를 1세대에서 2세대로 업그레이드하십시오.

결함: F93337

"Code" : "F93337",
"Description" : "TCA: memory usage current value(compHostStats15min:memUsageLast) value 100% raised above threshold 99%",
"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93337"

이 특정 결함은 VM 호스트가 임계값을 초과하는 메모리를 사용하는 경우 제기됩니다. APIC는 VCenter를 통해 이러한 호스트를 모니터링합니다. Comp:HostStats15min은 샘플링 간격 15분 동안 호스트에 대한 최신 통계를 나타내는 클래스입니다. 이 클래스는 5분마다 업데이트됩니다.

Quick Start to Address Fault: F93337

1. "moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<결함 DN의 VM id>' 명령"

이 명령은 영향을 받는 VM에 대한 정보를 제공합니다

# comp.Vm
oid          : vm-1071
cfgdOs       : Ubuntu Linux (64-bit)
childAction  :
descr        :
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071
ftRole       : unset
guid         : 501030b8-028a-be5c-6794-0b7bee827557
id           : 0
issues       :
lcOwn        : local
modTs        : 2022-04-21T17:16:06.572+05:30
monPolDn     : uni/tn-692673613-VSPAN/monepg-test
name         : VM3
nameAlias    :
os           :
rn           : vm-vm-1071
state        : poweredOn
status       :
template     : no
type         : virt
uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2. 명령 "moquery -c compRsHv | grep 'vm-1071'"

이 명령은 VM이 호스팅되는 호스트에 대한 정보를 제공합니다. 이 예에서 VM은 host-347에 있습니다.

apic2# moquery -c compRsHv | grep vm-1071
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3. 명령 "moquery -c compHv -f 'comp.Hv.oid=="host-1068""

이 명령은 호스트에 대한 세부 정보를 제공합니다

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'
Total Objects shown: 1

# comp.Hv
oid                  : host-1068
availAdminSt         : gray
availOperSt          : gray
childAction          :
countUplink          : 0
descr                :
dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068
enteringMaintenance  : no
guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35
id                   : 0
issues               :
lcOwn                : local
modTs                : 2022-04-21T14:23:26.654+05:30
monPolDn             : uni/infra/moninfra-default
name                 : myhost
nameAlias            :
operIssues           :
os                   :
rn                   : hv-host-1068
state                : poweredOn
status               :
type                 : hv
uuid                 :

다음 단계 결함: F93337

1. 호스트에서 VM에 할당된 메모리를 변경합니다.

2. 메모리가 필요한 경우 통계 수집 정책을 생성하여 임계값을 변경하여 결함을 억제할 수 있습니다.

     a. VM의 테넌트에서 새 모니터링 정책을 생성합니다.

     b. Monitoring(모니터링) 정책에서 stats collection policy(통계 수집 정책)를 선택합니다.

   c. Monitoring object(모니터링 개체) 드롭다운 옆에 있는 수정 아이콘을 클릭하고 Virtual Machine(comp.Vm)을 모니터링 개체로 선택합니다. 제출 후 Monitoring Object(모니터링 개체) 드롭다운에서 compVm 개체를 선택합니다.

 

   d. Stats type(통계 유형) 옆의 edit(수정) 아이콘을 클릭하고 CPU Usage(CPU 사용량)를 선택합니다.

 

     e. 통계 유형 드롭다운에서 select host(호스트 선택)를 클릭하고 + 기호를 클릭한 다음 Granularity(세분성), Admin state(관리 상태) 및 History Rentension Period(기록 보존 기간)를 입력한 다음 update(업데이트)를 클릭합니다.

  

     f. config threshold(컨피그레이션 임계값) 아래의 + Sign(서명)을 클릭하고 "memory usage maximum value(메모리 사용량 최대값)를 속성으로 추가합니다.

     g. 일반 값을 원하는 임계값으로 변경합니다.

     h. EPG에 모니터링 정책 적용

     I. 정책이 VM에 적용되었는지 확인하려면 "moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>""" 실행

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn
monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

 

   

결함: F93241

"Code" : "F93241",
"Description" : "TCA: CPU usage average value(compHostStats15min:cpuUsageAvg) value 100% raised above threshold 99%",
"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93241"

이 특정 결함은 VM 호스트가 CPU를 임계값보다 많이 사용할 때 제기됩니다. APIC는 VCenter를 통해 이러한 호스트를 모니터링합니다. Comp:HostStats15min은 샘플링 간격 15분 동안 호스트에 대한 최신 통계를 나타내는 클래스입니다. 이 클래스는 5분마다 업데이트됩니다.

Quick Start to Address Fault: F93241

1. "moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<결함 DN의 VM id>' 명령"

이 명령은 영향을 받는 VM에 대한 정보를 제공합니다

# comp.Vm
oid          : vm-1071
cfgdOs       : Ubuntu Linux (64-bit)
childAction  :
descr        :
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071
ftRole       : unset
guid         : 501030b8-028a-be5c-6794-0b7bee827557
id           : 0
issues       :
lcOwn        : local
modTs        : 2022-04-21T17:16:06.572+05:30
monPolDn     : uni/tn-692673613-VSPAN/monepg-test
name         : VM3
nameAlias    :
os           :
rn           : vm-vm-1071
state        : poweredOn
status       :
template     : no
type         : virt
uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2. 명령 "moquery -c compRsHv | grep 'vm-1071'"

이 명령은 VM이 호스팅되는 호스트에 대한 정보를 제공합니다. 이 예에서 VM은 host-347에 있습니다.

apic2# moquery -c compRsHv | grep vm-1071
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3. 명령 "moquery -c compHv -f 'comp.Hv.oid=="host-1068""

이 명령은 호스트에 대한 세부 정보를 제공합니다

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'
Total Objects shown: 1

# comp.Hv
oid                  : host-1068
availAdminSt         : gray
availOperSt          : gray
childAction          :
countUplink          : 0
descr                :
dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068
enteringMaintenance  : no
guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35
id                   : 0
issues               :
lcOwn                : local
modTs                : 2022-04-21T14:23:26.654+05:30
monPolDn             : uni/infra/moninfra-default
name                 : myhost
nameAlias            :
operIssues           :
os                   :
rn                   : hv-host-1068
state                : poweredOn
status               :
type                 : hv
uuid                 :

다음 단계 결함: F93241

1. 호스트의 VM에 대해 할당된 CPU를 업그레이드합니다.

2. CPU가 필요한 경우 임계값을 변경하기 위한 통계 수집 정책을 생성하여 결함을 억제할 수 있습니다.

     a. VM의 테넌트에서 새 모니터링 정책을 생성합니다.

     b. Monitoring(모니터링) 정책에서 stats collection policy(통계 수집 정책)를 선택합니다.

   c. Monitoring object(모니터링 개체) 드롭다운 옆에 있는 수정 아이콘을 클릭하고 Virtual Machine(comp.Vm)을 모니터링 개체로 선택합니다. 제출 후 Monitoring Object(모니터링 개체) 드롭다운에서 compVm 개체를 선택합니다.

 

   d. Stats type(통계 유형) 옆의 edit(수정) 아이콘을 클릭하고 CPU Usage(CPU 사용량)를 선택합니다.

 

     e. 통계 유형 드롭다운에서 select host(호스트 선택)를 클릭하고 + 기호를 클릭한 다음 Granularity(세분성), Admin state(관리 상태) 및 History Rentension Period(기록 보존 기간)를 입력한 다음 update(업데이트)를 클릭합니다.

     f. config threshold(컨피그레이션 임계값) 아래의 + Sign(서명)을 클릭하고 "CPU usage maximum value(CPU 사용량 최대값)를 속성으로 추가합니다.

 

     g. 일반 값을 원하는 임계값으로 변경합니다.

     h. EPG에 모니터링 정책 적용

     I. 정책이 VM에 적용되었는지 확인하려면 "moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>""" 실행

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn
monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

결함: F381328

"Code" : "F381328",
"Description" : "TCA: CRC Align Errors current value(eqptIngrErrPkts5min:crcLast) value 50% raised above threshold 25%",
"Dn" : "topology/
    
    
      / 
     
       /sys/phys-<[interface]>/fault-F381328" 
      
    

이 특정 결함은 인터페이스의 CRC 오류가 임계값을 초과할 때 제기됩니다. 두 가지 일반적인 유형의 CRC 오류가 표시됩니다. FCS 오류와 CRC Stomped 오류입니다. CRC 오류는 컷스루 스위치드 경로로 인해 전파되며 초기 FCS 오류의 결과입니다. ACI는 컷스루 스위칭을 따르며, 이러한 프레임이 ACI 패브릭을 통과하게 되고 경로를 따라 스텀프 CRC 오류가 표시되므로, CRC 오류가 있는 모든 인터페이스가 결함이라는 의미는 아닙니다. CRC의 소스를 식별하고 문제가 있는 SFP/포트/파이버를 수정하는 것이 좋습니다.

Quick Start to Address Fault: F381328

1. 패브릭에서 CRC가 있는 가장 높은 수의 인터페이스를 덤프합니다.

moquery -c rmonEtherStats -f 'rmon.EtherStats.cRCAlignErrors>="1"' | egrep "dn|cRCAlignErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/([[:digit:]]+)\s/\n\1 /g' | awk '{printf "%-65s %-15s\n", $2,$1}' | sort -rnk 2

topology/pod-1/node-103/sys/phys-[eth1/50]/dbgEtherStats          399158

topology/pod-1/node-101/sys/phys-[eth1/51]/dbgEtherStats          399158

topology/pod-1/node-1001/sys/phys-[eth2/24]/dbgEtherStats         399158

2. 패브릭에 가장 많은 수의 FCS를 덤프합니다.

moquery -c rmonDot3Stats -f 'rmon.Dot3Stats.fCSErrors>="1"' | egrep "dn|fCSErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/topology/\ntopology/g' | awk '{printf "%-65s %-15s\n", $1,$2}' | sort -rnk 2

다음 단계 결함: F381328

1. 패브릭에 FCS 오류가 있는 경우 해당 오류를 해결합니다. 이러한 오류는 일반적으로 레이어 1 문제를 나타냅니다.

2. 전면 패널 포트에 CRC 스텀프 오류가 있는 경우, 포트의 연결된 장치를 확인하고 해당 장치에서 스텀프가 발생하는 이유를 확인하십시오.

결함에 대한 Python 스크립트: F381328

이 전체 프로세스는 python 스크립트를 사용하여 자동화할 수도 있습니다. https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/217577-how-to-use-fcs-and-crc-troubleshooting-s.html을 참조하십시오.

결함: F450296

"Code" : "F450296",
"Description" : "TCA: Multicast usage current value(eqptcapacityMcastEntry5min:perLast) value 91% raised above threshold 90%",
"Dn" : "sys/eqptcapacity/fault-F450296"

이 특정 결함은 멀티캐스트 엔트리 수가 임계값을 초과할 때 제기됩니다.

Quick Start to Address Fault: F450296

1. 명령 "show platform internal hal health-stats asic-unit all"

module-1# show platform internal hal health-stats asic-unit all
|Sandbox_ID: 0  Asic Bitmap: 0x0
|-------------------------------------

L2 stats:
=========
bds:                          : 1979
max_bds:                      : 3500
  external_bds:               : 0
  vsan_bds:                   : 0
  legacy_bds:                 : 0
  regular_bds:                : 0
  control_bds:                : 0
fds                           : 1976
max_fds                       : 3500
  fd_vlans                    : 0
  fd_vxlans                   : 0
vlans                         : 3955
max vlans                     : 3960
  vlan_xlates                 : 6739
  max vlan_xlates             : 32768
  ports                       : 52
pcs                           : 47
hifs                          : 0
nif_pcs                       : 0
l2_local_host_entries         : 1979
max_l2_local_host_entries     : 32768
l2_local_host_entries_norm    : 6
l2_total_host_entries         : 1979
max_l2_total_host_entries     : 65536
l2_total_host_entries_norm    : 3

L3 stats:
=========
l3_v4_local_ep_entries        : 3953
max_l3_v4_local_ep_entries    : 32768
l3_v4_local_ep_entries_norm   : 12
l3_v6_local_ep_entries        : 1976
max_l3_v6_local_ep_entries    : 24576
l3_v6_local_ep_entries_norm   : 8
l3_v4_total_ep_entries        : 3953
max_l3_v4_total_ep_entries    : 65536
l3_v4_total_ep_entries_norm   : 6
l3_v6_total_ep_entries        : 1976
max_l3_v6_total_ep_entries    : 49152
l3_v6_total_ep_entries_norm   : 4
max_l3_v4_32_entries          : 98304
total_l3_v4_32_entries        : 35590
  l3_v4_total_ep_entries      : 3953
  l3_v4_host_uc_entries       : 37
  l3_v4_host_mc_entries       : 31600
total_l3_v4_32_entries_norm   : 36
max_l3_v6_128_entries         : 49152
total_l3_v6_128_entries       : 3952
  l3_v6_total_ep_entries      : 1976
  l3_v6_host_uc_entries       : 1976
  l3_v6_host_mc_entries       : 0
total_l3_v6_128_entries_norm  : 8
max_l3_lpm_entries            : 38912
l3_lpm_entries                : 9384
  l3_v4_lpm_entries           : 3940
  l3_v6_lpm_entries           : 5444
l3_lpm_entries_norm           : 31
max_l3_lpm_tcam_entries       : 4096
max_l3_v6_wide_lpm_tcam_entries: 1000
l3_lpm_tcam_entries           : 2689
  l3_v4_lpm_tcam_entries      : 2557
  l3_v6_lpm_tcam_entries      : 132
  l3_v6_wide_lpm_tcam_entries : 0
l3_lpm_tcam_entries_norm      : 65
l3_v6_lpm_tcam_entries_norm   : 0
l3_host_uc_entries            : 2013
  l3_v4_host_uc_entries       : 37
  l3_v6_host_uc_entries       : 1976
max_uc_ecmp_entries           : 32768
uc_ecmp_entries               : 1
uc_ecmp_entries_norm          : 0
max_uc_adj_entries            : 8192
uc_adj_entries                : 1033
uc_adj_entries_norm           : 12
vrfs                          : 1806
  infra_vrfs                  : 0
  tenant_vrfs                 : 1804
rtd_ifs                       : 2
sub_ifs                       : 2
svi_ifs                       : 1978

Mcast stats:
============
mcast_count                   : 31616   <<<<<<<
max_mcast_count               : 32768

Policy stats:
=============
policy_count                  : 127116
max_policy_count              : 131072
policy_otcam_count            : 2920
max_policy_otcam_count            : 8192
policy_label_count                : 0
max_policy_label_count            : 0

Dci Stats:
=============
vlan_xlate_entries            : 0
vlan_xlate_entries_tcam       : 0
max_vlan_xlate_entries        : 0
sclass_xlate_entries          : 0
sclass_xlate_entries_tcam     : 0
max_sclass_xlate_entries      : 0

다음 단계 결함: F450296

1. 멀티캐스트 트래픽의 일부를 다른 Leaf로 이동하는 것을 고려합니다.

2. 멀티캐스트 규모를 늘리기 위해 다양한 포워딩 규모 프로파일을 탐색합니다. https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-forwarding-scale-profiles-523.html 링크를 참조하십시오.