Table des matières

Introduction

Fond

Défaut : F199144

Démarrage rapide pour résoudre les défaillances : F199144

1. Commande « show platform internal hal3 routing threshold »

2. Commande « show platform internal hal health-stats »

Défaillance des étapes suivantes : F199144

Défaut : F93337

Démarrage rapide pour résoudre les pannes : F93337

1. Commande "moquery -d 'comp/prov-VMware/ctrlr-[ ]- /vm-vm- '"

2. Commande "moquery -c compRsHv | grep 'vm-1071'"

3. Commande "moquery -c compHv -f 'comp.Hv.oid=="host-1068"'"

Défaillance des étapes suivantes : F93337

Défaut : F93241

Démarrage rapide pour résoudre les pannes : F93241

1. Commande "moquery -d 'comp/prov-VMware/ctrlr-[ ]- /vm-vm- '"

2. Commande "moquery -c compRsHv | grep 'vm-1071'"

3. Commande "moquery -c compHv -f 'comp.Hv.oid=="host-1068"'"

Défaillance des étapes suivantes : F93241

Défaut : F381328

Démarrage rapide pour résoudre les pannes : F381328

1. Videz le plus grand nombre d’interfaces avec CRC dans le fabric

2. Déposez le plus grand nombre de FCS dans le fabric

Défaillance des étapes suivantes : F381328

Script Python pour la faute : F381328

Défaut : F450296

Démarrage rapide pour résoudre les pannes : F450296

1. Commande "show platform internal hal health-stats asic-unit all"

Défaillance des étapes suivantes : F450296

Introduction

Ce document décrit les étapes de correction pour les codes de panne ACI : F199144, F93337, F381328, F93241, F450296

Fond

Si vous disposez d'un fabric ACI connecté à Intersight, une demande de service a été générée en votre nom pour indiquer que l'instance de cette défaillance a été trouvée dans votre fabric ACI connecté à Intersight.

Cette activité est surveillée activement dans le cadre des engagements ACI proactifs.

Ce document décrit les étapes suivantes pour la correction de l'erreur suivante :

Défaut : F199144

"Code" : "F199144",

"Description" : "TCA: External Subnet (v4 and v6) prefix entries usage current value(eqptcapacityPrefixEntries5min:extNormalizedLast) value 91% raised above threshold 90%",

"Dn" : "topology/pod-1/node-132/sys/eqptcapacity/fault-F199144"

Cette erreur spécifique est déclenchée lorsque l'utilisation actuelle du préfixe de sous-réseau externe dépasse 99 %. Cela suggère une limitation matérielle en termes de routes traitées par ces commutateurs.

Démarrage rapide pour résoudre les défaillances : F199144

1.  Commande « show platform internal hal3 routing threshold »

module-1# show platform internal hal l3 routingthresholds

Executing Custom Handler function

OBJECT 0:

trie debug threshold                                      : 0

tcam debug threshold                                      : 3072

Supported UC lpm entries                                  : 14848

Supported UC lpm Tcam entries                             : 5632

Current v4 UC lpm Routes                                  : 19526

Current v6 UC lpm Routes                                  : 0

Current v4 UC lpm Tcam Routes                             : 404

Current v6 UC lpm Tcam Routes                             : 115

Current v6 wide UC lpm Tcam Routes                        : 24

Maximum HW Resources for LPM                              : 20480     < ------- Maximum hardware resources

Current LPM Usage in Hardware                             : 20390   < ------------Current usage in Hw

Number of times limit crossed                             : 5198       < -------------- Number of times that limit was crossed

Last time limit crossed                                   : 2020-07-07 12:34:15.947    < ------ Last occurrence,  today  at 12:34 pm

2.  Commande « show platform internal hal health-stats »

module-1# show platform internal hal health-stats

No sandboxes exist

|Sandbox_ID: 0  Asic Bitmap: 0x0

|-------------------------------------

L2 stats:

=========

bds:                          : 249

...

l2_total_host_entries_norm    : 4

L3 stats:

=========

l3_v4_local_ep_entries        : 40

max_l3_v4_local_ep_entries    : 12288

l3_v4_local_ep_entries_norm   : 0

l3_v6_local_ep_entries        : 0

max_l3_v6_local_ep_entries    : 8192

l3_v6_local_ep_entries_norm   : 0

l3_v4_total_ep_entries        : 221

max_l3_v4_total_ep_entries    : 24576

l3_v4_total_ep_entries_norm   : 0

l3_v6_total_ep_entries        : 0

max_l3_v6_total_ep_entries    : 12288

l3_v6_total_ep_entries_norm   : 0

max_l3_v4_32_entries          : 49152

total_l3_v4_32_entries        : 6294

l3_v4_total_ep_entries      : 221

l3_v4_host_uc_entries       : 6073

l3_v4_host_mc_entries       : 0

total_l3_v4_32_entries_norm   : 12

max_l3_v6_128_entries         : 12288

total_l3_v6_128_entries       : 17

l3_v6_total_ep_entries      : 0

l3_v6_host_uc_entries       : 17

l3_v6_host_mc_entries       : 0

total_l3_v6_128_entries_norm  : 0

max_l3_lpm_entries            : 20480  < ----------- Maximum

l3_lpm_entries                : 19528    < ------------- Current L3 LPM entries

l3_v4_lpm_entries           : 19528

l3_v6_lpm_entries           : 0

l3_lpm_entries_norm           : 99

max_l3_lpm_tcam_entries       : 5632

max_l3_v6_wide_lpm_tcam_entries: 1000

l3_lpm_tcam_entries           : 864

l3_v4_lpm_tcam_entries      : 404

l3_v6_lpm_tcam_entries      : 460

l3_v6_wide_lpm_tcam_entries : 24

l3_lpm_tcam_entries_norm      : 15

l3_v6_lpm_tcam_entries_norm   : 2

l3_host_uc_entries            : 6090

l3_v4_host_uc_entries       : 6073

l3_v6_host_uc_entries       : 17

max_uc_ecmp_entries           : 32768

uc_ecmp_entries               : 250

uc_ecmp_entries_norm          : 0

max_uc_adj_entries            : 8192

uc_adj_entries                : 261

uc_adj_entries_norm           : 3

vrfs                          : 150

infra_vrfs                  : 0

tenant_vrfs                 : 148

rtd_ifs                       : 2

sub_ifs                       : 2

svi_ifs                       : 185

Défaillance des étapes suivantes : F199144

1. Réduisez le nombre de routes que chaque commutateur doit gérer afin de respecter l’évolutivité définie pour le modèle matériel. Consultez le guide d'évolutivité à l'adresse https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/4-x/verified-scalability/Cisco-ACI-Verified-Scalability-Guide-412.html

2. Envisagez de modifier le profil d'échelle de transfert en fonction de l'échelle. https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-overview-and-guidelines.html

3. Suppression du sous-réseau 0.0.0.0/0 dans L3Out et configuration des sous-réseaux requis uniquement

4. Si vous utilisez la génération 1, mettez à niveau votre matériel de la génération 1 à la génération 2, car les commutateurs de la génération 2 autorisent plus de 20 000 routes v4 externes.

Défaut : F93337

"Code" : "F93337",

"Description" : "TCA: memory usage current value(compHostStats15min:memUsageLast) value 100% raised above threshold 99%",

"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93337"

Cette erreur spécifique est déclenchée lorsque l'hôte de la machine virtuelle consomme plus de mémoire que le seuil. Le contrôleur APIC surveille ces hôtes via VCenter. Comp : HostStats15min est une classe qui représente les statistiques les plus récentes pour l'hôte dans un intervalle d'échantillonnage de 15 minutes. Ce cours est mis à jour toutes les 5 minutes.

Démarrage rapide pour résoudre les pannes : F93337

1.  Commande « moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<ID de machine virtuelle du DN de la panne> »

Cette commande fournit des informations sur la machine virtuelle concernée

# comp.Vm

oid          : vm-1071

cfgdOs       : Ubuntu Linux (64-bit)

childAction  :

descr        :

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071

ftRole       : unset

guid         : 501030b8-028a-be5c-6794-0b7bee827557

id           : 0

issues       :

lcOwn        : local

modTs        : 2022-04-21T17:16:06.572+05:30

monPolDn     : uni/tn-692673613-VSPAN/monepg-test

name         : VM3

nameAlias    :

os           :

rn           : vm-vm-1071

state        : poweredOn

status       :

template     : no

type         : virt

uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2.  Commande "moquery -c compRsHv | grep 'vm-1071'"

Cette commande fournit des informations sur l'hôte sur lequel la machine virtuelle est hébergée. Dans cet exemple, la machine virtuelle se trouve sur l'hôte 347

apic2# moquery -c compRsHv | grep vm-1071

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3.  Commande "moquery -c compHv -f 'comp.Hv.oid=="host-1068"'"

Cette commande donne des détails sur l'hôte

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'

Total Objects shown: 1

# comp.Hv

oid                  : host-1068

availAdminSt         : gray

availOperSt          : gray

childAction          :

countUplink          : 0

descr                :

dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068

enteringMaintenance  : no

guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35

id                   : 0

issues               :

lcOwn                : local

modTs                : 2022-04-21T14:23:26.654+05:30

monPolDn             : uni/infra/moninfra-default

name                 : myhost

nameAlias            :

operIssues           :

os                   :

rn                   : hv-host-1068

state                : poweredOn

status               :

type                 : hv

uuid                 :

Défaillance des étapes suivantes : F93337

1. Modifiez la mémoire allouée à la machine virtuelle sur l'hôte.

2. Si la mémoire est attendue, vous pouvez supprimer l'erreur en créant une stratégie de collecte de statistiques pour modifier la valeur de seuil.

a. Sous le locataire de la VM, créez une nouvelle stratégie de surveillance.

b. Sous votre stratégie de surveillance, sélectionnez la stratégie de collecte des statistiques.

c. Cliquez sur l'icône d'édition en regard de la liste déroulante Objet de surveillance et cochez la case Machine virtuelle (comp.Vm) en tant qu'objet de surveillance. Après l'envoi, sélectionnez l'objet compVm dans la liste déroulante Objet de surveillance.

d. Cliquez sur l'icône de modification en regard de Type de statistiques, puis vérifiez l'utilisation du processeur.

e. Dans la liste déroulante des statistiques, cliquez sur sélectionner l'hôte, cliquez sur le signe + et saisissez votre granularité, votre état d'administration et votre période de conservation de l'historique, puis cliquez sur Mettre à jour.

f. Cliquez sur le signe + sous le seuil de configuration et ajoutez « valeur maximale d'utilisation de la mémoire » comme propriété.

g. Remplacez la valeur normale par le seuil de votre choix.

h. Application de la stratégie de surveillance sur l'EPG

I. Pour confirmer si la stratégie est appliquée à la machine virtuelle, exécutez « moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>" »

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn

monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

Défaut : F93241

"Code" : "F93241",

"Description" : "TCA: CPU usage average value(compHostStats15min:cpuUsageAvg) value 100% raised above threshold 99%",

"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93241"

Cette erreur spécifique est déclenchée lorsque l'hôte de la machine virtuelle consomme plus de CPU que le seuil. Le contrôleur APIC surveille ces hôtes via VCenter. Comp : HostStats15min est une classe qui représente les statistiques les plus récentes pour l'hôte dans un intervalle d'échantillonnage de 15 minutes. Ce cours est mis à jour toutes les 5 minutes.

Démarrage rapide pour résoudre les pannes : F93241

1.  Commande « moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<ID de machine virtuelle du DN de la panne> »

Cette commande fournit des informations sur la machine virtuelle concernée

# comp.Vm

oid          : vm-1071

cfgdOs       : Ubuntu Linux (64-bit)

childAction  :

descr        :

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071

ftRole       : unset

guid         : 501030b8-028a-be5c-6794-0b7bee827557

id           : 0

issues       :

lcOwn        : local

modTs        : 2022-04-21T17:16:06.572+05:30

monPolDn     : uni/tn-692673613-VSPAN/monepg-test

name         : VM3

nameAlias    :

os           :

rn           : vm-vm-1071

state        : poweredOn

status       :

template     : no

type         : virt

uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

2.  Commande "moquery -c compRsHv | grep 'vm-1071'"

Cette commande fournit des informations sur l'hôte sur lequel la machine virtuelle est hébergée. Dans cet exemple, la machine virtuelle se trouve sur l'hôte 347

apic2# moquery -c compRsHv | grep vm-1071

dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

3.  Commande "moquery -c compHv -f 'comp.Hv.oid=="host-1068"'"

Cette commande donne des détails sur l'hôte

apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'

Total Objects shown: 1

# comp.Hv

oid                  : host-1068

availAdminSt         : gray

availOperSt          : gray

childAction          :

countUplink          : 0

descr                :

dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068

enteringMaintenance  : no

guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35

id                   : 0

issues               :

lcOwn                : local

modTs                : 2022-04-21T14:23:26.654+05:30

monPolDn             : uni/infra/moninfra-default

name                 : myhost

nameAlias            :

operIssues           :

os                   :

rn                   : hv-host-1068

state                : poweredOn

status               :

type                 : hv

uuid                 :

Défaillance des étapes suivantes : F93241

1. Mettez à niveau le processeur alloué pour la machine virtuelle sur l'hôte.

2. Si le processeur est prévu, vous pouvez supprimer l'erreur en créant une stratégie de collecte de statistiques pour modifier la valeur de seuil.

a. Sous le locataire de la VM, créez une nouvelle stratégie de surveillance.

b. Sous votre stratégie de surveillance, sélectionnez la stratégie de collecte des statistiques.

c. Cliquez sur l'icône d'édition en regard de la liste déroulante Objet de surveillance et cochez la case Machine virtuelle (comp.Vm) en tant qu'objet de surveillance. Après l'envoi, sélectionnez l'objet compVm dans la liste déroulante Objet de surveillance.

d. Cliquez sur l'icône de modification en regard de Type de statistiques, puis vérifiez l'utilisation du processeur.

e. Dans la liste déroulante des statistiques, cliquez sur sélectionner l'hôte, cliquez sur le signe + et saisissez votre granularité, votre état d'administration et votre période de conservation de l'historique, puis cliquez sur Mettre à jour.

f. Cliquez sur le signe + sous le seuil de configuration et ajoutez « CPU usage maximum value » comme propriété.

g. Remplacez la valeur normale par le seuil de votre choix.

h. Application de la stratégie de surveillance sur l'EPG

I. Pour confirmer si la stratégie est appliquée à la machine virtuelle, exécutez « moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>" »

apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn

monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

Défaut : F381328

"Code" : "F381328",

"Description" : "TCA: CRC Align Errors current value(eqptIngrErrPkts5min:crcLast) value 50% raised above threshold 25%",

"Dn" : "topology/

/

/sys/phys-<[interface]>/fault-F381328"

Cette erreur spécifique est déclenchée lorsque des erreurs CRC sur une interface dépassent le seuil. Il existe deux types courants d'erreurs CRC : les erreurs FCS et les erreurs CRC estompées. Les erreurs CRC sont propagées en raison d'un chemin commuté cut-through et sont le résultat d'erreurs FCS initiales. Puisque l'ACI suit la commutation cut-through, ces trames finissent par traverser le fabric ACI et que nous voyons des erreurs CRC Stop le long du chemin, cela ne signifie pas que toutes les interfaces avec des erreurs CRC sont des pannes. Il est recommandé d'identifier la source du CRC et de résoudre le problème SFP/Port/Fibre.

Démarrage rapide pour résoudre les pannes : F381328

1. Videz le plus grand nombre d’interfaces avec CRC dans le fabric

moquery -c rmonEtherStats -f 'rmon.EtherStats.cRCAlignErrors>="1"' | egrep "dn|cRCAlignErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/([[:digit:]]+)\s/\n\1 /g' | awk '{printf "%-65s %-15s\n", $2,$1}' | sort -rnk 2

topology/pod-1/node-103/sys/phys-[eth1/50]/dbgEtherStats          399158

topology/pod-1/node-101/sys/phys-[eth1/51]/dbgEtherStats          399158

topology/pod-1/node-1001/sys/phys-[eth2/24]/dbgEtherStats         399158

2. Déposez le plus grand nombre de FCS dans le fabric

moquery -c rmonDot3Stats -f 'rmon.Dot3Stats.fCSErrors>="1"' | egrep "dn|fCSErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/topology/\ntopology/g' | awk '{printf "%-65s %-15s\n", $1,$2}' | sort -rnk 2

Défaillance des étapes suivantes : F381328

1. Si le fabric comporte des erreurs FCS, corrigez-les. Ces erreurs indiquent généralement des problèmes de couche 1.

2. S'il y a des erreurs CRC Stop sur le port du panneau avant, vérifiez le périphérique connecté sur le port et identifiez la raison pour laquelle les erreurs Stop proviennent de ce périphérique.

Script Python pour la faute : F381328

Ce processus complet peut également être automatisé à l'aide d'un script python. Reportez-vous à https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/217577-how-to-use-fcs-and-crc-troubleshooting-s.html

Défaut : F450296

"Code" : "F450296",

"Description" : "TCA: Multicast usage current value(eqptcapacityMcastEntry5min:perLast) value 91% raised above threshold 90%",

"Dn" : "sys/eqptcapacity/fault-F450296"

Cette erreur spécifique est déclenchée lorsque le nombre d'entrées de multidiffusion dépasse le seuil.

Démarrage rapide pour résoudre les pannes : F450296

1. Commande "show platform internal hal health-stats asic-unit all"

module-1# show platform internal hal health-stats asic-unit all

|Sandbox_ID: 0  Asic Bitmap: 0x0

|-------------------------------------

L2 stats:

=========

bds:                          : 1979

max_bds:                      : 3500

external_bds:               : 0

vsan_bds:                   : 0

legacy_bds:                 : 0

regular_bds:                : 0

control_bds:                : 0

fds                           : 1976

max_fds                       : 3500

fd_vlans                    : 0

fd_vxlans                   : 0

vlans                         : 3955

max vlans                     : 3960

vlan_xlates                 : 6739

max vlan_xlates             : 32768

ports                       : 52

pcs                           : 47

hifs                          : 0

nif_pcs                       : 0

l2_local_host_entries         : 1979

max_l2_local_host_entries     : 32768

l2_local_host_entries_norm    : 6

l2_total_host_entries         : 1979

max_l2_total_host_entries     : 65536

l2_total_host_entries_norm    : 3

L3 stats:

=========

l3_v4_local_ep_entries        : 3953

max_l3_v4_local_ep_entries    : 32768

l3_v4_local_ep_entries_norm   : 12

l3_v6_local_ep_entries        : 1976

max_l3_v6_local_ep_entries    : 24576

l3_v6_local_ep_entries_norm   : 8

l3_v4_total_ep_entries        : 3953

max_l3_v4_total_ep_entries    : 65536

l3_v4_total_ep_entries_norm   : 6

l3_v6_total_ep_entries        : 1976

max_l3_v6_total_ep_entries    : 49152

l3_v6_total_ep_entries_norm   : 4

max_l3_v4_32_entries          : 98304

total_l3_v4_32_entries        : 35590

l3_v4_total_ep_entries      : 3953

l3_v4_host_uc_entries       : 37

l3_v4_host_mc_entries       : 31600

total_l3_v4_32_entries_norm   : 36

max_l3_v6_128_entries         : 49152

total_l3_v6_128_entries       : 3952

l3_v6_total_ep_entries      : 1976

l3_v6_host_uc_entries       : 1976

l3_v6_host_mc_entries       : 0

total_l3_v6_128_entries_norm  : 8

max_l3_lpm_entries            : 38912

l3_lpm_entries                : 9384

l3_v4_lpm_entries           : 3940

l3_v6_lpm_entries           : 5444

l3_lpm_entries_norm           : 31

max_l3_lpm_tcam_entries       : 4096

max_l3_v6_wide_lpm_tcam_entries: 1000

l3_lpm_tcam_entries           : 2689

l3_v4_lpm_tcam_entries      : 2557

l3_v6_lpm_tcam_entries      : 132

l3_v6_wide_lpm_tcam_entries : 0

l3_lpm_tcam_entries_norm      : 65

l3_v6_lpm_tcam_entries_norm   : 0

l3_host_uc_entries            : 2013

l3_v4_host_uc_entries       : 37

l3_v6_host_uc_entries       : 1976

max_uc_ecmp_entries           : 32768

uc_ecmp_entries               : 1

uc_ecmp_entries_norm          : 0

max_uc_adj_entries            : 8192

uc_adj_entries                : 1033

uc_adj_entries_norm           : 12

vrfs                          : 1806

infra_vrfs                  : 0

tenant_vrfs                 : 1804

rtd_ifs                       : 2

sub_ifs                       : 2

svi_ifs                       : 1978

Mcast stats:

============

mcast_count                   : 31616   <<<<<<<

max_mcast_count               : 32768

Policy stats:

=============

policy_count                  : 127116

max_policy_count              : 131072

policy_otcam_count            : 2920

max_policy_otcam_count            : 8192

policy_label_count                : 0

max_policy_label_count            : 0

Dci Stats:

=============

vlan_xlate_entries            : 0

vlan_xlate_entries_tcam       : 0

max_vlan_xlate_entries        : 0

sclass_xlate_entries          : 0

sclass_xlate_entries_tcam     : 0

max_sclass_xlate_entries      : 0

Défaillance des étapes suivantes : F450296

1. Envisagez de déplacer une partie du trafic de multidiffusion vers d'autres leafs.

2. Explorez différents profils d'échelle de transfert pour augmenter l'échelle de multidiffusion. voir le lien https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-forwarding-scale-profiles-523.html