Inhoud

Inleiding

Achtergrond

Fout: F199144

Snel starten om fout te adresseren: F199144

1. Opdracht "toon platform interne hal l3 routingdrempels"

2. Bevel "toon platform interne hal gezondheid-stats"

Fout van volgende stappen: F199144

Fout: F93337

Snel starten om fout aan te pakken: F93337

1. Opdracht "moquery -d'comp/prov-VMware/ctrlr-[ ]- /vm-vm- '"

2. Opdracht "moquery -c compRsHv | grep 'vm-1071'"

3. Opdracht "moquery -c compHv -f 'comp.Hv.oid=="host-1068""

Fout van volgende stappen: F93337

Fout: F93241

Snel starten om fout aan te pakken: F93241

1. Opdracht "moquery -d'comp/prov-VMware/ctrlr-[ ]- /vm-vm- '"

2. Opdracht "moquery -c compRsHv | grep 'vm-1071'"

3. Opdracht "moquery -c compHv -f 'comp.Hv.oid=="host-1068""

Fout van volgende stappen: F93241

Fout: F381328

Snel starten om fout aan te pakken: F381328

1. Dump de hoogste aantal interfaces met CRC in stof

2. Dump het hoogste aantal FCS in de stof

Fout van volgende stappen: F381328

Python-script voor fout: F381328

Fout: F450296

Snel starten om fout aan te pakken: F450296

1. Opdracht "toon platform interne hal gezondheid-stats asic-unit all"

Fout van volgende stappen: F450296

Inleiding

In dit document worden de stappen beschreven voor het corrigeren van ACI-foutcodes: F199144, F93337, F381328, F93241, F450296

Achtergrond

Als u een met Intersight verbonden ACI-stof hebt, is er namens u een serviceaanvraag gegenereerd om aan te geven dat een geval van deze fout in uw Intersight-Connected ACI-stof is aangetroffen.

Dit wordt actief gemonitord als onderdeel van de proactieve ACI-toezeggingen.

In dit document worden de volgende stappen beschreven voor het verhelpen van de volgende fout:

Fout: F199144

"Code" : "F199144",

"Description" : "TCA: External Subnet (v4 and v6) prefix entries usage current value(eqptcapacityPrefixEntries5min:extNormalizedLast) value 91% raised above threshold 90%",

"Dn" : "topology/pod-1/node-132/sys/eqptcapacity/fault-F199144"

Deze specifieke fout wordt opgeheven wanneer het huidige gebruik van de externe subnetprefix 99% overschrijdt. Dit suggereert een hardwarebeperking in termen van routes die door deze switches worden behandeld.

Snel starten om fout te adresseren: F199144

1.  Opdracht "toon platform interne hal l3 routingdrempels"

module-1# show platform internal hal l3 routingthresholds

Executing Custom Handler function

OBJECT 0:

trie debug threshold                                      : 0

tcam debug threshold                                      : 3072

Supported UC lpm entries                                  : 14848

Supported UC lpm Tcam entries                             : 5632

Current v4 UC lpm Routes                                  : 19526

Current v6 UC lpm Routes                                  : 0

Current v4 UC lpm Tcam Routes                             : 404

Current v6 UC lpm Tcam Routes                             : 115

Current v6 wide UC lpm Tcam Routes                        : 24

Maximum HW Resources for LPM                              : 20480     < ------- Maximum hardware resources

Current LPM Usage in Hardware                             : 20390   < ------------Current usage in Hw

Number of times limit crossed                             : 5198       < -------------- Number of times that limit was crossed

Last time limit crossed                                   : 2020-07-07 12:34:15.947    < ------ Last occurrence,  today  at 12:34 pm

2.  Opdracht "toon platform interne hal gezondheid-stats"

module-1# show platform internal hal health-stats

No sandboxes exist

|Sandbox_ID: 0  Asic Bitmap: 0x0

|-------------------------------------

L2 stats:

=========

bds:                          : 249

...

l2_total_host_entries_norm    : 4

L3 stats:

=========

l3_v4_local_ep_entries        : 40

max_l3_v4_local_ep_entries    : 12288

l3_v4_local_ep_entries_norm   : 0

l3_v6_local_ep_entries        : 0

max_l3_v6_local_ep_entries    : 8192

l3_v6_local_ep_entries_norm   : 0

l3_v4_total_ep_entries        : 221

max_l3_v4_total_ep_entries    : 24576

l3_v4_total_ep_entries_norm   : 0

l3_v6_total_ep_entries        : 0

max_l3_v6_total_ep_entries    : 12288

l3_v6_total_ep_entries_norm   : 0

max_l3_v4_32_entries          : 49152

total_l3_v4_32_entries        : 6294

l3_v4_total_ep_entries      : 221

l3_v4_host_uc_entries       : 6073

l3_v4_host_mc_entries       : 0

total_l3_v4_32_entries_norm   : 12

max_l3_v6_128_entries         : 12288

total_l3_v6_128_entries       : 17

l3_v6_total_ep_entries      : 0

l3_v6_host_uc_entries       : 17

l3_v6_host_mc_entries       : 0

total_l3_v6_128_entries_norm  : 0

max_l3_lpm_entries            : 20480  < ----------- Maximum

l3_lpm_entries                : 19528    < ------------- Current L3 LPM entries

l3_v4_lpm_entries           : 19528

l3_v6_lpm_entries           : 0

l3_lpm_entries_norm           : 99

max_l3_lpm_tcam_entries       : 5632

max_l3_v6_wide_lpm_tcam_entries: 1000

l3_lpm_tcam_entries           : 864

l3_v4_lpm_tcam_entries      : 404

l3_v6_lpm_tcam_entries      : 460

l3_v6_wide_lpm_tcam_entries : 24

l3_lpm_tcam_entries_norm      : 15

l3_v6_lpm_tcam_entries_norm   : 2

l3_host_uc_entries            : 6090

l3_v4_host_uc_entries       : 6073

l3_v6_host_uc_entries       : 17

max_uc_ecmp_entries           : 32768

uc_ecmp_entries               : 250

uc_ecmp_entries_norm          : 0

max_uc_adj_entries            : 8192

uc_adj_entries                : 261

uc_adj_entries_norm           : 3

vrfs                          : 150

infra_vrfs                  : 0

tenant_vrfs                 : 148

rtd_ifs                       : 2

sub_ifs                       : 2

svi_ifs                       : 185

Fout van volgende stappen: F199144

1. Verminder het aantal routes dat elke switch moet afhandelen, zodat u voldoet aan de schaalbaarheid die is gedefinieerd voor het hardwaremodel. Controleer hier de schaalbaarheidsgids https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/4-x/verified-scalability/Cisco-ACI-Verified-Scalability-Guide-412.html

2. Overweeg het wijzigen van het Forwarding Scale Profile gebaseerd op de schaal. https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-overview-and-guidelines.html

3. Het verwijderen van 0.0.0.0/0-subnetverbinding in L3Out en alleen het configureren van vereiste subnetten

4. Als u Gen 1 gebruikt, upgrade dan uw hardware van Gen 1 naar Gen 2, omdat Gen 2 switches 20.000+ externe v4 routes mogelijk maken.

Fout: F93337

"Code" : "F93337",

"Description" : "TCA: memory usage current value(compHostStats15min:memUsageLast) value 100% raised above threshold 99%",

"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93337"

Deze specifieke fout wordt groter wanneer de VM-host meer geheugen gebruikt dan de drempelwaarde. APIC bewaakt deze hosts via VCenter. Comp:HostStats15min is een klasse die de meest actuele statistieken voor host in een 15 minuten steekproefinterval vertegenwoordigt. Deze klas werkt elke 5 minuten bij.

Snel starten om fout aan te pakken: F93337

1.  Opdracht "moquery -d'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<VM id vanaf de fout's DN>"

Deze opdracht geeft informatie over de betreffende VM

# comp.Vm

oid          : vm-1071

cfgdOs       : Ubuntu Linux (64-bit)

childAction  :

descr        :

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071

ftRole       : unset

guid         : 501030b8-028a-be5c-6794-0b7bee827557

id           : 0

issues       :

lcOwn        : local

modTs        : 2022-04-21T17:16:06.572+05:30

monPolDn     : uni/tn-692673613-VSPAN/monepg-test

name         : VM3

nameAlias    :

os           :

rn           : vm-vm-1071

state        : poweredOn

status       :

template     : no

type         : virt

uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2.  Opdracht "moquery -c compRsHv | grep 'vm-1071'"

Deze opdracht geeft informatie over de host waarop VM wordt gehost. In dit voorbeeld is VM te vinden op host-347

apic2# moquery -c compRsHv | grep vm-1071

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3.  Opdracht "moquery -c compHv -f 'comp.Hv.oid=="host-1068""

Deze opdracht geeft details over de host

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'

Total Objects shown: 1

# comp.Hv

oid                  : host-1068

availAdminSt         : gray

availOperSt          : gray

childAction          :

countUplink          : 0

descr                :

dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068

enteringMaintenance  : no

guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35

id                   : 0

issues               :

lcOwn                : local

modTs                : 2022-04-21T14:23:26.654+05:30

monPolDn             : uni/infra/moninfra-default

name                 : myhost

nameAlias            :

operIssues           :

os                   :

rn                   : hv-host-1068

state                : poweredOn

status               :

type                 : hv

uuid                 :

Fout van volgende stappen: F93337

1. Wijzig het toegewezen geheugen voor de VM op de host.

2. Als het geheugen wordt verwacht, kunt u de fout onderdrukken door een beleid voor statusverzameling te maken om de drempelwaarde te wijzigen.

a. Maak onder de huurder van de VM een nieuw monitoringbeleid.

b. Selecteer onder uw bewakingsbeleid het beleid voor het verzamelen van statistieken.

c. Klik op het pictogram bewerken naast het dropdown bewakingsobject en controleer de virtuele machine (comp.Vm) als een bewakingsobject. Na het inzenden, selecteer het compVm object van Monitoring Object dropdown.

d. Klik op het pictogram bewerken naast Stats type en controleer vervolgens op CPU-gebruik.

e. Klik vanuit de stats type Dropdown op host selecteren, klik op het + teken en voer uw Granularity, Admin status en History Rentention Period in en klik vervolgens op update.

f. Klik op + Onderteken onder de drempelwaarde voor configuratie en voeg "maximale waarde voor geheugengebruik" als eigenschap toe.

g. Verander de normale waarde naar de drempelwaarde die u wenst.

h. Het monitoringbeleid op de EPG toepassen

I. Om te bevestigen of het beleid op de VM wordt toegepast, wordt "moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>" uitgevoerd."

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn

monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

Fout: F93241

"Code" : "F93241",

"Description" : "TCA: CPU usage average value(compHostStats15min:cpuUsageAvg) value 100% raised above threshold 99%",

"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93241"

Deze specifieke fout wordt groter wanneer de VM-host meer CPU dan de drempelwaarde gebruikt. APIC bewaakt deze hosts via VCenter. Comp:HostStats15min is een klasse die de meest actuele statistieken voor host in een 15 minuten steekproefinterval vertegenwoordigt. Deze klas werkt elke 5 minuten bij.

Snel starten om fout aan te pakken: F93241

1.  Opdracht "moquery -d'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<VM id vanaf de fout's DN>"

Deze opdracht geeft informatie over de betreffende VM

# comp.Vm

oid          : vm-1071

cfgdOs       : Ubuntu Linux (64-bit)

childAction  :

descr        :

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071

ftRole       : unset

guid         : 501030b8-028a-be5c-6794-0b7bee827557

id           : 0

issues       :

lcOwn        : local

modTs        : 2022-04-21T17:16:06.572+05:30

monPolDn     : uni/tn-692673613-VSPAN/monepg-test

name         : VM3

nameAlias    :

os           :

rn           : vm-vm-1071

state        : poweredOn

status       :

template     : no

type         : virt

uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2.  Opdracht "moquery -c compRsHv | grep 'vm-1071'"

Deze opdracht geeft informatie over de host waarop VM wordt gehost. In dit voorbeeld is VM te vinden op host-347

apic2# moquery -c compRsHv | grep vm-1071

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3.  Opdracht "moquery -c compHv -f 'comp.Hv.oid=="host-1068""

Deze opdracht geeft details over de host

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'

Total Objects shown: 1

# comp.Hv

oid                  : host-1068

availAdminSt         : gray

availOperSt          : gray

childAction          :

countUplink          : 0

descr                :

dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068

enteringMaintenance  : no

guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35

id                   : 0

issues               :

lcOwn                : local

modTs                : 2022-04-21T14:23:26.654+05:30

monPolDn             : uni/infra/moninfra-default

name                 : myhost

nameAlias            :

operIssues           :

os                   :

rn                   : hv-host-1068

state                : poweredOn

status               :

type                 : hv

uuid                 :

Fout van volgende stappen: F93241

1. Upgrade de toegewezen CPU voor de VM op de host.

2. Als de CPU wordt verwacht, kunt u de fout onderdrukken door een beleid voor statesverzameling te maken om de drempelwaarde te wijzigen.

a. Maak onder de huurder van de VM een nieuw monitoringbeleid.

b. Selecteer onder uw bewakingsbeleid het beleid voor het verzamelen van statistieken.

c. Klik op het pictogram bewerken naast het dropdown bewakingsobject en controleer de virtuele machine (comp.Vm) als een bewakingsobject. Na het inzenden, selecteer het compVm object van Monitoring Object dropdown.

d. Klik op het pictogram bewerken naast Stats type en controleer vervolgens op CPU-gebruik.

e. Klik vanuit de stats type Dropdown op host selecteren, klik op het + teken en voer uw Granularity, Admin status en History Rentention Period in en klik vervolgens op update.

f. Klik op + Onderteken onder de configuratiedrempel en voeg "maximale waarde voor CPU-gebruik" als eigenschap toe.

g. Verander de normale waarde naar de drempelwaarde die u wenst.

h. Het monitoringbeleid op de EPG toepassen

I. Om te bevestigen of het beleid op de VM wordt toegepast, wordt "moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>" uitgevoerd."

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn

monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

Fout: F381328

"Code" : "F381328",

"Description" : "TCA: CRC Align Errors current value(eqptIngrErrPkts5min:crcLast) value 50% raised above threshold 25%",

"Dn" : "topology/

/

/sys/phys-<[interface]>/fault-F381328"

Deze specifieke fout wordt opgeheven wanneer CRC de fouten op een interface de drempel overschrijden. Er zijn twee veel voorkomende soorten CRC fouten gezien - FCS fouten en CRC Stomped fouten. CRC-fouten worden gepropageerd vanwege een doorgesneden switched pad en zijn het resultaat van initiële FCS-fouten. Aangezien ACI de doorgesneden omschakeling volgt, komen deze frames uiteindelijk over de ACI-stof en we stoom CRC-fouten langs het pad zien, dit betekent niet dat alle interfaces met CRC-fouten fouten fouten zijn. Aanbeveling is om de bron van CRC te identificeren en de problematische SFP/Port/Fibre te repareren.

Snel starten om fout aan te pakken: F381328

1. Dump de hoogste aantal interfaces met CRC in stof

moquery -c rmonEtherStats -f 'rmon.EtherStats.cRCAlignErrors>="1"' | egrep "dn|cRCAlignErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/([[:digit:]]+)\s/\n\1 /g' | awk '{printf "%-65s %-15s\n", $2,$1}' | sort -rnk 2

topology/pod-1/node-103/sys/phys-[eth1/50]/dbgEtherStats          399158

topology/pod-1/node-101/sys/phys-[eth1/51]/dbgEtherStats          399158

topology/pod-1/node-1001/sys/phys-[eth2/24]/dbgEtherStats         399158

2. Dump het hoogste aantal FCS in de stof

moquery -c rmonDot3Stats -f 'rmon.Dot3Stats.fCSErrors>="1"' | egrep "dn|fCSErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/topology/\ntopology/g' | awk '{printf "%-65s %-15s\n", $1,$2}' | sort -rnk 2

Fout van volgende stappen: F381328

1. Als er FCS-fouten in het weefsel voorkomen, kunt u die fouten aanpakken. Deze fouten wijzen typisch op laag 1 kwesties.

2. Als er CRC-stompfouten zijn op de voorpaneelpoort, controleer dan het aangesloten apparaat op de poort en ontdek waarom de stompen van dat apparaat komen.

Python-script voor fout: F381328

Dit hele proces kan ook worden geautomatiseerd met behulp van python script. Zie https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/217577-how-to-use-fcs-and-crc-troubleshooting-s.html

Fout: F450296

"Code" : "F450296",

"Description" : "TCA: Multicast usage current value(eqptcapacityMcastEntry5min:perLast) value 91% raised above threshold 90%",

"Dn" : "sys/eqptcapacity/fault-F450296"

Deze specifieke fout wordt opgeheven wanneer het aantal multicast-vermeldingen de drempel overschrijdt.

Snel starten om fout aan te pakken: F450296

1. Opdracht "toon platform interne hal gezondheid-stats asic-unit all"

module-1# show platform internal hal health-stats asic-unit all

|Sandbox_ID: 0  Asic Bitmap: 0x0

|-------------------------------------

L2 stats:

=========

bds:                          : 1979

max_bds:                      : 3500

external_bds:               : 0

vsan_bds:                   : 0

legacy_bds:                 : 0

regular_bds:                : 0

control_bds:                : 0

fds                           : 1976

max_fds                       : 3500

fd_vlans                    : 0

fd_vxlans                   : 0

vlans                         : 3955

max vlans                     : 3960

vlan_xlates                 : 6739

max vlan_xlates             : 32768

ports                       : 52

pcs                           : 47

hifs                          : 0

nif_pcs                       : 0

l2_local_host_entries         : 1979

max_l2_local_host_entries     : 32768

l2_local_host_entries_norm    : 6

l2_total_host_entries         : 1979

max_l2_total_host_entries     : 65536

l2_total_host_entries_norm    : 3

L3 stats:

=========

l3_v4_local_ep_entries        : 3953

max_l3_v4_local_ep_entries    : 32768

l3_v4_local_ep_entries_norm   : 12

l3_v6_local_ep_entries        : 1976

max_l3_v6_local_ep_entries    : 24576

l3_v6_local_ep_entries_norm   : 8

l3_v4_total_ep_entries        : 3953

max_l3_v4_total_ep_entries    : 65536

l3_v4_total_ep_entries_norm   : 6

l3_v6_total_ep_entries        : 1976

max_l3_v6_total_ep_entries    : 49152

l3_v6_total_ep_entries_norm   : 4

max_l3_v4_32_entries          : 98304

total_l3_v4_32_entries        : 35590

l3_v4_total_ep_entries      : 3953

l3_v4_host_uc_entries       : 37

l3_v4_host_mc_entries       : 31600

total_l3_v4_32_entries_norm   : 36

max_l3_v6_128_entries         : 49152

total_l3_v6_128_entries       : 3952

l3_v6_total_ep_entries      : 1976

l3_v6_host_uc_entries       : 1976

l3_v6_host_mc_entries       : 0

total_l3_v6_128_entries_norm  : 8

max_l3_lpm_entries            : 38912

l3_lpm_entries                : 9384

l3_v4_lpm_entries           : 3940

l3_v6_lpm_entries           : 5444

l3_lpm_entries_norm           : 31

max_l3_lpm_tcam_entries       : 4096

max_l3_v6_wide_lpm_tcam_entries: 1000

l3_lpm_tcam_entries           : 2689

l3_v4_lpm_tcam_entries      : 2557

l3_v6_lpm_tcam_entries      : 132

l3_v6_wide_lpm_tcam_entries : 0

l3_lpm_tcam_entries_norm      : 65

l3_v6_lpm_tcam_entries_norm   : 0

l3_host_uc_entries            : 2013

l3_v4_host_uc_entries       : 37

l3_v6_host_uc_entries       : 1976

max_uc_ecmp_entries           : 32768

uc_ecmp_entries               : 1

uc_ecmp_entries_norm          : 0

max_uc_adj_entries            : 8192

uc_adj_entries                : 1033

uc_adj_entries_norm           : 12

vrfs                          : 1806

infra_vrfs                  : 0

tenant_vrfs                 : 1804

rtd_ifs                       : 2

sub_ifs                       : 2

svi_ifs                       : 1978

Mcast stats:

============

mcast_count                   : 31616   <<<<<<<

max_mcast_count               : 32768

Policy stats:

=============

policy_count                  : 127116

max_policy_count              : 131072

policy_otcam_count            : 2920

max_policy_otcam_count            : 8192

policy_label_count                : 0

max_policy_label_count            : 0

Dci Stats:

=============

vlan_xlate_entries            : 0

vlan_xlate_entries_tcam       : 0

max_vlan_xlate_entries        : 0

sclass_xlate_entries          : 0

sclass_xlate_entries_tcam     : 0

max_sclass_xlate_entries      : 0

Fout van volgende stappen: F450296

1. Overweeg het verplaatsen van een deel van multicast verkeer naar andere pagina's.

2. Verken verschillende doorsturen schaalprofielen om multicast-schaal te vergroten. Zie link https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-forwarding-scale-profiles-523.html