Einleitung
In diesem Dokument wird beschrieben, wie ein Unified Computing System (UCS) identifiziert und Fehlereinträge in diesem System in der Cloud Native Deployment Platform (CNDP) überprüft werden.
Hintergrundinformationen
Die hardwarebezogenen Warnmeldungen werden in der Common Execution Environment (CEE) des SMI (Ultra Cloud Core Subscriber Microservices Infrastructure) Cluster Manager (CM) gemeldet. Kubernete (K8s), Docker usw. werden in der virtuellen CM-IP (VIP) gemeldet.
Vorsicht: Informationen zur Verifizierung der IP-Adressen finden Sie im Fragebogen zum Netzwerkdesign und zu Kundeninformationen (CIQ).
Problem
Der Fehler "Equipment Alarm" (Gerätealarm) wird in den Alarmen angezeigt.
- Melden Sie sich bei CM-CEE an, führen Sie den Befehl show alarm active detail aus, und show history summary, um alle Aktiv- und Verlaufswarnungen anzuzeigen.
- Beachten Sie die Server-IP, die in der Warnung angezeigt wird.
[lab-deployer/labceec01] cee# show alerts active detail
alerts active detail server-alert 9c367ce5ee48
severity major
type "Equipment Alarm"
startsAt 2021-10-27T17:10:37.025Z
source 10.10.10.10
summary "DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM"
labels [ "alertname: server-alert" "cluster: cr-chr-deployer" "description: DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM" "fault_id: sys/rack-unit-1/board/memarray-1/mem-5/fault-F0185" "id: 134219020" "monitor: prometheus" "replica: cr-chr-deployer" "server: 10.10.10.10" "severity: major" ]
annotations [ "dn: cr-chr-deployer/10.10.10.10/sys/rack-unit-1/board/memarray-1/mem-5/fault-F0185/134219020" "summary: DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM" "type: Equipment Alarm" ]
[lab-deployer/labceec01] cee# show alerts history summary
NAME UID SEVERITY STARTS AT DURATION SOURCE SUMMARY
---------------------------------------------------------------------------------------------
vm-alive f6a65030b593 minor 09-02T10:28:28 1m40s 10-192-0-13 labd0123 is alive.
vm-error 3a6d840e3eda major 09-02T10:27:18 1m 10-192-0-13 labd0123 is down.
vm-alive 49b2c1941dc6 minor 09-02T10:25:38 1m40s 10-192-0-14 labd0123 is alive.
Lösung
Identifizieren Sie die Dienste (Container) und/oder das virtuelle System (VM) oder das Kernel-basierte virtuelle System (KVM), die auf dem Server im SMI CM gehostet werden, führen Sie den Befehl show running-config aus und suchen Sie die Konfiguration für die Server-IP.
- Melden Sie sich beim CM VIP an (Benutzername: Cloud-Benutzer)
- Abrufen der IP vom OPS Center für den smi-cm-Namespace
- Melden Sie sich beim OPS Center an, und überprüfen Sie die Clusterkonfiguration.
- Identifizieren von Knoten und VMs, die auf dem Server ausgeführt werden
cloud-user@lab-deployer-cm-primary:~$ kubectl get svc -n smi-cm
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
cluster-files-offline-smi-cluster-deployer ClusterIP 10.102.200.178 <none> 8080/TCP 98d
iso-host-cluster-files-smi-cluster-deployer ClusterIP 10.102.100.208 192.168.1.102 80/TCP 98d
iso-host-ops-center-smi-cluster-deployer ClusterIP 10.102.200.73 192.168.1.102 3001/TCP 98d
netconf-ops-center-smi-cluster-deployer ClusterIP 10.102.100.207 192.168.184.193 3022/TCP,22/TCP 98d
ops-center-smi-cluster-deployer ClusterIP 10.10.20.20 <none> 8008/TCP,2024/TCP,2022/TCP,7681/TCP,3000/TCP,3001/TCP 98d
squid-proxy-node-port NodePort 10.102.60.114 <none> 3128:32261/TCP 98d
cloud-user@lab-deployer-cm-primary:~$ ssh -p 2024 admin@10.10.20.20
admin@10.10.20.20's password:
Welcome to the Cisco SMI Cluster Deployer on lab-deployer-cm-primary
Copyright © 2016-2020, Cisco Systems, Inc.
All rights reserved.
admin connected from 192.168.1.100 using ssh on ops-center-smi-cluster-deployer-7848c69844-xzdw6
[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters
Beispielausgabe für Container
In diesem Beispiel wird der Server von knoten primary-1 verwendet.
[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters lab01-smf nodes primary-1
clusters lab01-smf
nodes primary-1
maintenance false
k8s node-type primary
k8s ssh-ip 10.192.10.22
k8s sshd-bind-to-ssh-ip true
k8s node-ip 10.192.10.22
k8s node-labels smi.cisco.com/node-type oam
exit
k8s node-labels smi.cisco.com/node-type-1 proto
exit
ucs-server cimc user admin
ucs-server cimc ip-address 10.10.10.10
Beispielausgabe für VMs
Der Server kann für das KVM-basierte virtuelle System verwendet werden.
In diesem Beispiel verfügt der Server über User Plane Functions (UPFs) - upf1 und upf2.
[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters lab01-upf nodes labupf
clusters lab01-upf
nodes labupf
maintenance false
ssh-ip 10.192.30.7
type kvm
vms upf1
upf software lab...
...
type upf
exit
vms upf2
upf software lab...
...
type upf
exit
ucs-server cimc user admin
...
ucs-server cimc ip-address 10.10.10.10
...
exit
SSH in den UCS-Host
Stellen Sie eine Verbindung zum UCS-Host her, und überprüfen Sie Fehlereinträge mit Fehler im Gültigkeitsbereich, zeigen Sie Fehlereinträge an und zeigen Sie den Fehlerverlauf an.
labucs111-cmp1-11 /fault # show fault-entries
Time Severity Description ------------------------- ------------- ---------------------------------------
2021-03-26T10:10:10 major "DDR4_P1_C1_ECC: DIMM 19 is inoperable : Check or replace DIMM"
LABCP0222-Server22-02 /fault # show fault-history
Time Severity Source Cause Description
------------------- ------------- --------------- ------------------------- ----------------------------------------
2021 Dec 10 02:02:02 UTC info %CIMC EQUIPMENT_INOPERABLE "[F0174][cleared][equipment-inoperable][sys/rack-unit-1/board] IERR: A catastrophic fault has occurred on one of the processors: Cleared "
2021 Dec 1 01:01:01 UTC critical %CIMC EQUIPMENT_INOPERABLE "[F0174][critical][equipment-inoperable][sys/rack-unit-1/board] IERR: A catastrophic fault has occurred on one of the processors: Please check the processor's status. "
Feedback