Inhalt

Einleitung

Hintergrundinformationen

Problem

Lösung

Beispielausgabe für Container

Beispielausgabe für VMs

SSH in den UCS-Host

Einleitung

In diesem Dokument wird beschrieben, wie ein Unified Computing System (UCS) identifiziert und Fehlereinträge in diesem System in der Cloud Native Deployment Platform (CNDP) überprüft werden.

Hintergrundinformationen

Die hardwarebezogenen Warnmeldungen werden in der Common Execution Environment (CEE) des SMI (Ultra Cloud Core Subscriber Microservices Infrastructure) Cluster Manager (CM) gemeldet. Kubernete (K8s), Docker usw. werden in der virtuellen CM-IP (VIP) gemeldet.

Vorsicht: Informationen zur Verifizierung der IP-Adressen finden Sie im Fragebogen zum Netzwerkdesign und zu Kundeninformationen (CIQ).

Problem

Der Fehler "Equipment Alarm" (Gerätealarm) wird in den Alarmen angezeigt.

- Melden Sie sich bei CM-CEE an, führen Sie den Befehl show alarm active detail aus, und show history summary, um alle Aktiv- und Verlaufswarnungen anzuzeigen.

- Beachten Sie die Server-IP, die in der Warnung angezeigt wird.

[lab-deployer/labceec01] cee# show alerts active detail

alerts active detail server-alert 9c367ce5ee48

severity    major

type        "Equipment Alarm"

startsAt    2021-10-27T17:10:37.025Z

source      10.10.10.10

summary     "DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM"

labels      [ "alertname: server-alert" "cluster: cr-chr-deployer" "description: DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM" "fault_id: sys/rack-unit-1/board/memarray-1/mem-5/fault-F0185" "id: 134219020" "monitor: prometheus" "replica: cr-chr-deployer" "server: 10.10.10.10" "severity: major" ]

annotations [ "dn: cr-chr-deployer/10.10.10.10/sys/rack-unit-1/board/memarray-1/mem-5/fault-F0185/134219020" "summary: DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM" "type: Equipment Alarm" ]

[lab-deployer/labceec01] cee# show alerts history summary

NAME      UID           SEVERITY  STARTS AT       DURATION  SOURCE       SUMMARY

---------------------------------------------------------------------------------------------

vm-alive  f6a65030b593  minor     09-02T10:28:28  1m40s     10-192-0-13  labd0123 is alive.

vm-error  3a6d840e3eda  major     09-02T10:27:18  1m        10-192-0-13  labd0123 is down.

vm-alive  49b2c1941dc6  minor     09-02T10:25:38  1m40s     10-192-0-14  labd0123 is alive.

Lösung

Identifizieren Sie die Dienste (Container) und/oder das virtuelle System (VM) oder das Kernel-basierte virtuelle System (KVM), die auf dem Server im SMI CM gehostet werden, führen Sie den Befehl show running-config aus und suchen Sie die Konfiguration für die Server-IP.

1. Melden Sie sich beim CM VIP an (Benutzername: Cloud-Benutzer)

2. Abrufen der IP vom OPS Center für den smi-cm-Namespace

3. Melden Sie sich beim OPS Center an, und überprüfen Sie die Clusterkonfiguration.

4. Identifizieren von Knoten und VMs, die auf dem Server ausgeführt werden

cloud-user@lab-deployer-cm-primary:~$ kubectl get svc -n smi-cm

NAME                                          TYPE        CLUSTER-IP       EXTERNAL-IP      PORT(S)                                                 AGE

cluster-files-offline-smi-cluster-deployer    ClusterIP   10.102.200.178   <none>           8080/TCP                                                98d

iso-host-cluster-files-smi-cluster-deployer   ClusterIP   10.102.100.208     192.168.1.102    80/TCP                                                  98d

iso-host-ops-center-smi-cluster-deployer      ClusterIP   10.102.200.73    192.168.1.102    3001/TCP                                                98d

netconf-ops-center-smi-cluster-deployer       ClusterIP   10.102.100.207   192.168.184.193   3022/TCP,22/TCP                                         98d

ops-center-smi-cluster-deployer               ClusterIP   10.10.20.20     <none>           8008/TCP,2024/TCP,2022/TCP,7681/TCP,3000/TCP,3001/TCP   98d

squid-proxy-node-port                         NodePort    10.102.60.114    <none>           3128:32261/TCP                                          98d

cloud-user@lab-deployer-cm-primary:~$ ssh -p 2024 admin@10.10.20.20

admin@10.10.20.20's password:

Welcome to the Cisco SMI Cluster Deployer on lab-deployer-cm-primary

Copyright © 2016-2020, Cisco Systems, Inc.

All rights reserved.

admin connected from 192.168.1.100 using ssh on ops-center-smi-cluster-deployer-7848c69844-xzdw6

[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters

Beispielausgabe für Container

In diesem Beispiel wird der Server von knoten primary-1 verwendet.

[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters lab01-smf nodes primary-1

clusters lab01-smf

nodes primary-1

maintenance false

k8s node-type       primary

k8s ssh-ip          10.192.10.22

k8s sshd-bind-to-ssh-ip true

k8s node-ip         10.192.10.22

k8s node-labels smi.cisco.com/node-type oam

exit

k8s node-labels smi.cisco.com/node-type-1 proto

exit

ucs-server cimc user admin

ucs-server cimc ip-address 10.10.10.10

Beispielausgabe für VMs

Der Server kann für das KVM-basierte virtuelle System verwendet werden.

In diesem Beispiel verfügt der Server über User Plane Functions (UPFs) - upf1 und upf2.

[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters lab01-upf nodes labupf

clusters lab01-upf

nodes labupf

maintenance false

ssh-ip      10.192.30.7

type        kvm

vms upf1

upf software lab...

...

type upf

exit

vms upf2

upf software lab...

...

type upf

exit

ucs-server cimc user admin

...

ucs-server cimc ip-address 10.10.10.10

...

exit

SSH in den UCS-Host

Stellen Sie eine Verbindung zum UCS-Host her, und überprüfen Sie Fehlereinträge mit Fehler im Gültigkeitsbereich, zeigen Sie Fehlereinträge an und zeigen Sie den Fehlerverlauf an.

labucs111-cmp1-11 /fault # show fault-entries

Time Severity Description ------------------------- ------------- ---------------------------------------

2021-03-26T10:10:10 major "DDR4_P1_C1_ECC: DIMM 19 is inoperable : Check or replace DIMM"

LABCP0222-Server22-02 /fault # show fault-history

Time                Severity      Source          Cause                     Description

------------------- ------------- --------------- ------------------------- ----------------------------------------

2021 Dec 10 02:02:02 UTC info          %CIMC           EQUIPMENT_INOPERABLE      "[F0174][cleared][equipment-inoperable][sys/rack-unit-1/board] IERR: A catastrophic fault has occurred on one of the processors: Cleared "

2021 Dec 1 01:01:01 UTC critical      %CIMC           EQUIPMENT_INOPERABLE      "[F0174][critical][equipment-inoperable][sys/rack-unit-1/board] IERR: A catastrophic fault has occurred on one of the processors: Please check the processor's status. "