内容

はじめに

背景

障害：F199144

障害への対処クイックスタート：F199144

1. show platform internal hal l3 routingthresholdsコマンド

2. show platform internal hal health-statsコマンド

次のステップの障害：F199144

障害：F93337

クイックスタートで問題に対処：F93337

1. コマンド「moquery -d 'comp/prov-VMware/ctrlr-[ ]- /vm-vm- 」

2. コマンド「moquery -c compRsHv | grep 'vm-1071'」

3. コマンド「moquery -c compHv -f 'comp.Hv.oid=="host-1068"」

次のステップの障害：F93337

障害：F93241

クイックスタートで問題に対処：F93241

1. コマンド「moquery -d 'comp/prov-VMware/ctrlr-[ ]- /vm-vm- 」

2. コマンド「moquery -c compRsHv | grep 'vm-1071'」

3. コマンド「moquery -c compHv -f 'comp.Hv.oid=="host-1068"」

次のステップの障害：F93241

障害：F381328

クイックスタートで問題に対処：F381328

1. ファブリック内のCRCを持つ最大数のインターフェイスをダンプする

2. ファブリック内の最大数のFCSをダンプする

次のステップの障害：F381328

フォルト用のPythonスクリプト： F381328

障害：F450296

クイックスタートで問題に対処：F450296

1. コマンド「show platform internal hal health-stats asic-unit all」

次のステップの障害：F450296

はじめに

このドキュメントでは、ACI障害コード(F199144、F93337、F381328、F93241、F450296)の修復手順について説明します。

背景

Intersightに接続されたACIファブリックがある場合は、お客様に代わってサービスリクエストが生成され、この障害のインスタンスがお客様のIntersightに接続されたACIファブリック内で検出されたことが示されます。

これは、Proactive ACIエンゲージメントの一部として積極的に監視されています。

このドキュメントでは、次の障害を修復するための次のステップについて説明します。

障害：F199144

"Code" : "F199144",

"Description" : "TCA: External Subnet (v4 and v6) prefix entries usage current value(eqptcapacityPrefixEntries5min:extNormalizedLast) value 91% raised above threshold 90%",

"Dn" : "topology/pod-1/node-132/sys/eqptcapacity/fault-F199144"

この特定のエラーは、外部サブネットプレフィクスの現在の使用率が99 %を超えたときに発生します。これは、これらのスイッチで処理されるルートに関して、ハードウェアの制限があることを示しています。

障害への対処クイックスタート：F199144

1. show platform internal hal l3 routingthresholdsコマンド

module-1# show platform internal hal l3 routingthresholds

Executing Custom Handler function

OBJECT 0:

trie debug threshold                                      : 0

tcam debug threshold                                      : 3072

Supported UC lpm entries                                  : 14848

Supported UC lpm Tcam entries                             : 5632

Current v4 UC lpm Routes                                  : 19526

Current v6 UC lpm Routes                                  : 0

Current v4 UC lpm Tcam Routes                             : 404

Current v6 UC lpm Tcam Routes                             : 115

Current v6 wide UC lpm Tcam Routes                        : 24

Maximum HW Resources for LPM                              : 20480     < ------- Maximum hardware resources

Current LPM Usage in Hardware                             : 20390   < ------------Current usage in Hw

Number of times limit crossed                             : 5198       < -------------- Number of times that limit was crossed

Last time limit crossed                                   : 2020-07-07 12:34:15.947    < ------ Last occurrence,  today  at 12:34 pm

2. show platform internal hal health-statsコマンド

module-1# show platform internal hal health-stats

No sandboxes exist

|Sandbox_ID: 0  Asic Bitmap: 0x0

|-------------------------------------

L2 stats:

=========

bds:                          : 249

...

l2_total_host_entries_norm    : 4

L3 stats:

=========

l3_v4_local_ep_entries        : 40

max_l3_v4_local_ep_entries    : 12288

l3_v4_local_ep_entries_norm   : 0

l3_v6_local_ep_entries        : 0

max_l3_v6_local_ep_entries    : 8192

l3_v6_local_ep_entries_norm   : 0

l3_v4_total_ep_entries        : 221

max_l3_v4_total_ep_entries    : 24576

l3_v4_total_ep_entries_norm   : 0

l3_v6_total_ep_entries        : 0

max_l3_v6_total_ep_entries    : 12288

l3_v6_total_ep_entries_norm   : 0

max_l3_v4_32_entries          : 49152

total_l3_v4_32_entries        : 6294

l3_v4_total_ep_entries      : 221

l3_v4_host_uc_entries       : 6073

l3_v4_host_mc_entries       : 0

total_l3_v4_32_entries_norm   : 12

max_l3_v6_128_entries         : 12288

total_l3_v6_128_entries       : 17

l3_v6_total_ep_entries      : 0

l3_v6_host_uc_entries       : 17

l3_v6_host_mc_entries       : 0

total_l3_v6_128_entries_norm  : 0

max_l3_lpm_entries            : 20480  < ----------- Maximum

l3_lpm_entries                : 19528    < ------------- Current L3 LPM entries

l3_v4_lpm_entries           : 19528

l3_v6_lpm_entries           : 0

l3_lpm_entries_norm           : 99

max_l3_lpm_tcam_entries       : 5632

max_l3_v6_wide_lpm_tcam_entries: 1000

l3_lpm_tcam_entries           : 864

l3_v4_lpm_tcam_entries      : 404

l3_v6_lpm_tcam_entries      : 460

l3_v6_wide_lpm_tcam_entries : 24

l3_lpm_tcam_entries_norm      : 15

l3_v6_lpm_tcam_entries_norm   : 2

l3_host_uc_entries            : 6090

l3_v4_host_uc_entries       : 6073

l3_v6_host_uc_entries       : 17

max_uc_ecmp_entries           : 32768

uc_ecmp_entries               : 250

uc_ecmp_entries_norm          : 0

max_uc_adj_entries            : 8192

uc_adj_entries                : 261

uc_adj_entries_norm           : 3

vrfs                          : 150

infra_vrfs                  : 0

tenant_vrfs                 : 148

rtd_ifs                       : 2

sub_ifs                       : 2

svi_ifs                       : 185

次のステップの障害：F199144

1. 各スイッチが処理する必要があるルートの数を減らし、ハードウェアモデルに定義された拡張性に準拠するようにします。スケーラビリティガイドについては、https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/4-x/verified-scalability/Cisco-ACI-Verified-Scalability-Guide-412.htmlを参照してください。

2. スケールに基づいて転送スケールプロファイルを変更することを検討します。https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-overview-and-guidelines.html

3. L3Outから0.0.0.0/0サブネットを削除し、必要なサブネットのみを設定する

4. Gen 1を使用している場合は、ハードウェアをGen 1からGen 2にアップグレードします。Gen 2スイッチでは20,000以上の外部V4ルートが許可されるためです。

障害：F93337

"Code" : "F93337",

"Description" : "TCA: memory usage current value(compHostStats15min:memUsageLast) value 100% raised above threshold 99%",

"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93337"

この特定のエラーは、VMホストがしきい値を超えてメモリを消費すると発生します。APICはVCenterを介してこれらのホストをモニタします。Comp:HostStats15minは、15分のサンプリング間隔におけるホストの最新の統計情報を表すクラスです。このクラスは5分ごとに更新されます。

クイックスタートで問題に対処：F93337

1. コマンド「moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<VM id from the fault's DN>」

このコマンドは、影響を受けるVMに関する情報を提供します

# comp.Vm

oid          : vm-1071

cfgdOs       : Ubuntu Linux (64-bit)

childAction  :

descr        :

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071

ftRole       : unset

guid         : 501030b8-028a-be5c-6794-0b7bee827557

id           : 0

issues       :

lcOwn        : local

modTs        : 2022-04-21T17:16:06.572+05:30

monPolDn     : uni/tn-692673613-VSPAN/monepg-test

name         : VM3

nameAlias    :

os           :

rn           : vm-vm-1071

state        : poweredOn

status       :

template     : no

type         : virt

uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2. コマンド「moquery -c compRsHv | grep 'vm-1071'」

このコマンドは、VMがホストされているホストに関する情報を提供します。この例では、VMはhost-347にあります

apic2# moquery -c compRsHv | grep vm-1071

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3. コマンド「moquery -c compHv -f 'comp.Hv.oid=="host-1068"」

このコマンドは、ホストに関する詳細情報を提供します

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'

Total Objects shown: 1

# comp.Hv

oid                  : host-1068

availAdminSt         : gray

availOperSt          : gray

childAction          :

countUplink          : 0

descr                :

dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068

enteringMaintenance  : no

guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35

id                   : 0

issues               :

lcOwn                : local

modTs                : 2022-04-21T14:23:26.654+05:30

monPolDn             : uni/infra/moninfra-default

name                 : myhost

nameAlias            :

operIssues           :

os                   :

rn                   : hv-host-1068

state                : poweredOn

status               :

type                 : hv

uuid                 :

次のステップの障害：F93337

1. ホスト上のVMに割り当てられたメモリを変更します。

2. メモリが予期される場合は、統計収集ポリシーを作成してしきい値を変更することで、障害を抑制できます。

a. VMのテナントの下に、新しいモニタリングポリシーを作成します。

b. Monitoringポリシーの下で、stats collection policyを選択します。

c. Monitoring objectドロップダウンの横にあるeditアイコンをクリックし、モニタリングオブジェクトとして仮想マシン(comp.Vm)を確認します。送信後、「監視オブジェクト」ドロップダウンからcompVmオブジェクトを選択します。

d. Stats typeの横にある編集アイコンをクリックし、CPU Usageを確認します。

e. stats typeドロップダウンからselect hostをクリックし、+記号をクリックしてGranularity、Admin state、およびHistory Rentention Periodを入力し、updateをクリックします。

f. config thresholdの下の+記号をクリックして、プロパティとして「memory usage maximum value」を追加します。

g. normalの値を適切なしきい値に変更します。

h.モニタリングポリシーをEPGに適用します。

I.ポリシーがVMに適用されているかどうかを確認するには、「moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>"」を実行します。

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn

monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

障害：F93241

"Code" : "F93241",

"Description" : "TCA: CPU usage average value(compHostStats15min:cpuUsageAvg) value 100% raised above threshold 99%",

"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93241"

この特定のエラーは、VMホストがしきい値を超えてCPUを消費すると発生します。APICはVCenterを介してこれらのホストをモニタします。Comp:HostStats15minは、15分のサンプリング間隔におけるホストの最新の統計情報を表すクラスです。このクラスは5分ごとに更新されます。

クイックスタートで問題に対処：F93241

1. コマンド「moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<VM id from the fault's DN>」

このコマンドは、影響を受けるVMに関する情報を提供します

# comp.Vm

oid          : vm-1071

cfgdOs       : Ubuntu Linux (64-bit)

childAction  :

descr        :

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071

ftRole       : unset

guid         : 501030b8-028a-be5c-6794-0b7bee827557

id           : 0

issues       :

lcOwn        : local

modTs        : 2022-04-21T17:16:06.572+05:30

monPolDn     : uni/tn-692673613-VSPAN/monepg-test

name         : VM3

nameAlias    :

os           :

rn           : vm-vm-1071

state        : poweredOn

status       :

template     : no

type         : virt

uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2. コマンド「moquery -c compRsHv | grep 'vm-1071'」

このコマンドは、VMがホストされているホストに関する情報を提供します。この例では、VMはhost-347にあります

apic2# moquery -c compRsHv | grep vm-1071

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3. コマンド「moquery -c compHv -f 'comp.Hv.oid=="host-1068"」

このコマンドは、ホストに関する詳細情報を提供します

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'

Total Objects shown: 1

# comp.Hv

oid                  : host-1068

availAdminSt         : gray

availOperSt          : gray

childAction          :

countUplink          : 0

descr                :

dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068

enteringMaintenance  : no

guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35

id                   : 0

issues               :

lcOwn                : local

modTs                : 2022-04-21T14:23:26.654+05:30

monPolDn             : uni/infra/moninfra-default

name                 : myhost

nameAlias            :

operIssues           :

os                   :

rn                   : hv-host-1068

state                : poweredOn

status               :

type                 : hv

uuid                 :

次のステップの障害：F93241

1. ホスト上のVMに割り当てられたCPUをアップグレードします。

2. CPUが予期される場合、統計収集ポリシーを作成してしきい値を変更することで、障害を抑制できます。

a. VMのテナントの下に、新しいモニタリングポリシーを作成します。

b. Monitoringポリシーの下で、stats collection policyを選択します。

c. Monitoring objectドロップダウンの横にあるeditアイコンをクリックし、モニタリングオブジェクトとして仮想マシン(comp.Vm)を確認します。送信後、「監視オブジェクト」ドロップダウンからcompVmオブジェクトを選択します。

d. Stats typeの横にある編集アイコンをクリックし、CPU Usageを確認します。

e. stats typeドロップダウンからselect hostをクリックし、+記号をクリックしてGranularity、Admin state、およびHistory Rentention Periodを入力し、updateをクリックします。

f. config thresholdの下の+記号をクリックして、プロパティとして「CPU usage maximum value」を追加します。

g. normalの値を適切なしきい値に変更します。

h.モニタリングポリシーをEPGに適用します。

I.ポリシーがVMに適用されているかどうかを確認するには、「moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>"」を実行します。

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn

monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

障害：F381328

"Code" : "F381328",

"Description" : "TCA: CRC Align Errors current value(eqptIngrErrPkts5min:crcLast) value 50% raised above threshold 25%",

"Dn" : "topology/

/

/sys/phys-<[interface]>/fault-F381328"

この特定のエラーは、インターフェイスのCRCエラーがしきい値を超えると発生します。一般的なCRCエラーには、FCSエラーとCRCストンプエラーの2種類があります。CRCエラーは、カットスルースイッチドパスによって伝播され、初期FCSエラーの結果です。ACIはカットスルースイッチングに従うため、これらのフレームはACIファブリックを通過し、パスに沿ってストンプCRCエラーが発生します。これは、CRCエラーが発生しているすべてのインターフェイスが障害であるとは限りません。CRCの原因を特定し、問題のあるSFP/ポート/ファイバを修正することを推奨します。

クイックスタートで問題に対処：F381328

1. ファブリック内のCRCを持つ最大数のインターフェイスをダンプする

moquery -c rmonEtherStats -f 'rmon.EtherStats.cRCAlignErrors>="1"' | egrep "dn|cRCAlignErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/([[:digit:]]+)\s/\n\1 /g' | awk '{printf "%-65s %-15s\n", $2,$1}' | sort -rnk 2

topology/pod-1/node-103/sys/phys-[eth1/50]/dbgEtherStats          399158

topology/pod-1/node-101/sys/phys-[eth1/51]/dbgEtherStats          399158

topology/pod-1/node-1001/sys/phys-[eth2/24]/dbgEtherStats         399158

2. ファブリック内の最大数のFCSをダンプする

moquery -c rmonDot3Stats -f 'rmon.Dot3Stats.fCSErrors>="1"' | egrep "dn|fCSErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/topology/\ntopology/g' | awk '{printf "%-65s %-15s\n", $1,$2}' | sort -rnk 2

次のステップの障害：F381328

1. ファブリックにFCSエラーがある場合、それらのエラーに対処します。これらのエラーは通常、レイヤ1の問題を示しています。

2. フロントパネルポートにCRCストンプエラーがある場合は、ポートに接続されているデバイスを確認し、そのデバイスからストンプが発生している理由を特定します。

フォルト用のPythonスクリプト： F381328

Pythonスクリプトを使用して、このプロセス全体を自動化することもできます。https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/217577-how-to-use-fcs-and-crc-troubleshooting-s.htmlを参照してください。

障害：F450296

"Code" : "F450296",

"Description" : "TCA: Multicast usage current value(eqptcapacityMcastEntry5min:perLast) value 91% raised above threshold 90%",

"Dn" : "sys/eqptcapacity/fault-F450296"

この特定のエラーは、マルチキャストエントリの数がしきい値を超えると発生します。

クイックスタートで問題に対処：F450296

1. コマンド「show platform internal hal health-stats asic-unit all」

module-1# show platform internal hal health-stats asic-unit all

|Sandbox_ID: 0  Asic Bitmap: 0x0

|-------------------------------------

L2 stats:

=========

bds:                          : 1979

max_bds:                      : 3500

external_bds:               : 0

vsan_bds:                   : 0

legacy_bds:                 : 0

regular_bds:                : 0

control_bds:                : 0

fds                           : 1976

max_fds                       : 3500

fd_vlans                    : 0

fd_vxlans                   : 0

vlans                         : 3955

max vlans                     : 3960

vlan_xlates                 : 6739

max vlan_xlates             : 32768

ports                       : 52

pcs                           : 47

hifs                          : 0

nif_pcs                       : 0

l2_local_host_entries         : 1979

max_l2_local_host_entries     : 32768

l2_local_host_entries_norm    : 6

l2_total_host_entries         : 1979

max_l2_total_host_entries     : 65536

l2_total_host_entries_norm    : 3

L3 stats:

=========

l3_v4_local_ep_entries        : 3953

max_l3_v4_local_ep_entries    : 32768

l3_v4_local_ep_entries_norm   : 12

l3_v6_local_ep_entries        : 1976

max_l3_v6_local_ep_entries    : 24576

l3_v6_local_ep_entries_norm   : 8

l3_v4_total_ep_entries        : 3953

max_l3_v4_total_ep_entries    : 65536

l3_v4_total_ep_entries_norm   : 6

l3_v6_total_ep_entries        : 1976

max_l3_v6_total_ep_entries    : 49152

l3_v6_total_ep_entries_norm   : 4

max_l3_v4_32_entries          : 98304

total_l3_v4_32_entries        : 35590

l3_v4_total_ep_entries      : 3953

l3_v4_host_uc_entries       : 37

l3_v4_host_mc_entries       : 31600

total_l3_v4_32_entries_norm   : 36

max_l3_v6_128_entries         : 49152

total_l3_v6_128_entries       : 3952

l3_v6_total_ep_entries      : 1976

l3_v6_host_uc_entries       : 1976

l3_v6_host_mc_entries       : 0

total_l3_v6_128_entries_norm  : 8

max_l3_lpm_entries            : 38912

l3_lpm_entries                : 9384

l3_v4_lpm_entries           : 3940

l3_v6_lpm_entries           : 5444

l3_lpm_entries_norm           : 31

max_l3_lpm_tcam_entries       : 4096

max_l3_v6_wide_lpm_tcam_entries: 1000

l3_lpm_tcam_entries           : 2689

l3_v4_lpm_tcam_entries      : 2557

l3_v6_lpm_tcam_entries      : 132

l3_v6_wide_lpm_tcam_entries : 0

l3_lpm_tcam_entries_norm      : 65

l3_v6_lpm_tcam_entries_norm   : 0

l3_host_uc_entries            : 2013

l3_v4_host_uc_entries       : 37

l3_v6_host_uc_entries       : 1976

max_uc_ecmp_entries           : 32768

uc_ecmp_entries               : 1

uc_ecmp_entries_norm          : 0

max_uc_adj_entries            : 8192

uc_adj_entries                : 1033

uc_adj_entries_norm           : 12

vrfs                          : 1806

infra_vrfs                  : 0

tenant_vrfs                 : 1804

rtd_ifs                       : 2

sub_ifs                       : 2

svi_ifs                       : 1978

Mcast stats:

============

mcast_count                   : 31616   <<<<<<<

max_mcast_count               : 32768

Policy stats:

=============

policy_count                  : 127116

max_policy_count              : 131072

policy_otcam_count            : 2920

max_policy_otcam_count            : 8192

policy_label_count                : 0

max_policy_label_count            : 0

Dci Stats:

=============

vlan_xlate_entries            : 0

vlan_xlate_entries_tcam       : 0

max_vlan_xlate_entries        : 0

sclass_xlate_entries          : 0

sclass_xlate_entries_tcam     : 0

max_sclass_xlate_entries      : 0

次のステップの障害：F450296

1. マルチキャストトラフィックの一部を他のリーフに移動することを検討します。

2. さまざまな転送スケールプロファイルを使用して、マルチキャストのスケールを拡大します。https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-forwarding-scale-profiles-523.htmlを参照してください。