Contents

Introduction

Informações de Apoio

Problema

Solução

Exemplo de saída para contêineres

Exemplo de saída para VMs

SSH para o host UCS

Introduction

Este documento descreve como identificar um Unified Computing System (UCS) e verificar entradas de falhas nele na Cloud Native Deployment Platform (CNDP).

Informações de Apoio

Os alertas relacionados ao hardware são relatados no ambiente de execução comum (CEE) do Gerente de cluster (CM) do Ultra Cloud Core Subscriber Microservices Infrastructure (SMI). Os Kubernetes (K8s), docker, etc., são relatados no CM virtual IP (VIP).

Caution: Consulte Projeto de rede e Questionário de informações do cliente (CIQ) para verificar os IPs.

Problema

O erro "Alarme do equipamento" é relatado em mostrar alertas.

- Efetue login no CM-CEE, execute o comando show alert ative detail e show alert history summary para exibir todos os alertas ativos e históricos.

- Observe o IP do servidor relatado no alerta.

[lab-deployer/labceec01] cee# show alerts active detail

alerts active detail server-alert 9c367ce5ee48

severity    major

type        "Equipment Alarm"

startsAt    2021-10-27T17:10:37.025Z

source      10.10.10.10

summary     "DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM"

labels      [ "alertname: server-alert" "cluster: cr-chr-deployer" "description: DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM" "fault_id: sys/rack-unit-1/board/memarray-1/mem-5/fault-F0185" "id: 134219020" "monitor: prometheus" "replica: cr-chr-deployer" "server: 10.10.10.10" "severity: major" ]

annotations [ "dn: cr-chr-deployer/10.10.10.10/sys/rack-unit-1/board/memarray-1/mem-5/fault-F0185/134219020" "summary: DDR4_P1_C1_ECC: DIMM 5 is inoperable : Check or replace DIMM" "type: Equipment Alarm" ]

[lab-deployer/labceec01] cee# show alerts history summary

NAME      UID           SEVERITY  STARTS AT       DURATION  SOURCE       SUMMARY

---------------------------------------------------------------------------------------------

vm-alive  f6a65030b593  minor     09-02T10:28:28  1m40s     10-192-0-13  labd0123 is alive.

vm-error  3a6d840e3eda  major     09-02T10:27:18  1m        10-192-0-13  labd0123 is down.

vm-alive  49b2c1941dc6  minor     09-02T10:25:38  1m40s     10-192-0-14  labd0123 is alive.

Solução

Identifique os serviços (contêineres) e/ou a máquina virtual (VM) ou a máquina virtual baseada em kernel (KVM) hospedada no servidor no SMI, execute o comando show running-config e encontre a configuração para o IP do servidor.

1. Faça login no CM VIP (nome de usuário: usuário de nuvem)

2. Obtenha o IP do Centro OPS para o namespace smi-cm

3. Faça login no Centro OPS e verifique a configuração do cluster

4. Identificar nós e VMs que são executados no servidor

cloud-user@lab-deployer-cm-primary:~$ kubectl get svc -n smi-cm

NAME                                          TYPE        CLUSTER-IP       EXTERNAL-IP      PORT(S)                                                 AGE

cluster-files-offline-smi-cluster-deployer    ClusterIP   10.102.200.178   <none>           8080/TCP                                                98d

iso-host-cluster-files-smi-cluster-deployer   ClusterIP   10.102.100.208     192.168.1.102    80/TCP                                                  98d

iso-host-ops-center-smi-cluster-deployer      ClusterIP   10.102.200.73    192.168.1.102    3001/TCP                                                98d

netconf-ops-center-smi-cluster-deployer       ClusterIP   10.102.100.207   192.168.184.193   3022/TCP,22/TCP                                         98d

ops-center-smi-cluster-deployer               ClusterIP   10.10.20.20     <none>           8008/TCP,2024/TCP,2022/TCP,7681/TCP,3000/TCP,3001/TCP   98d

squid-proxy-node-port                         NodePort    10.102.60.114    <none>           3128:32261/TCP                                          98d

cloud-user@lab-deployer-cm-primary:~$ ssh -p 2024 admin@10.10.20.20

admin@10.10.20.20's password:

Welcome to the Cisco SMI Cluster Deployer on lab-deployer-cm-primary

Copyright © 2016-2020, Cisco Systems, Inc.

All rights reserved.

admin connected from 192.168.1.100 using ssh on ops-center-smi-cluster-deployer-7848c69844-xzdw6

[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters

Exemplo de saída para contêineres

Neste exemplo, o servidor é usado pelo nó primary-1.

[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters lab01-smf nodes primary-1

clusters lab01-smf

nodes primary-1

maintenance false

k8s node-type       primary

k8s ssh-ip          10.192.10.22

k8s sshd-bind-to-ssh-ip true

k8s node-ip         10.192.10.22

k8s node-labels smi.cisco.com/node-type oam

exit

k8s node-labels smi.cisco.com/node-type-1 proto

exit

ucs-server cimc user admin

ucs-server cimc ip-address 10.10.10.10

Exemplo de saída para VMs

O servidor pode ser usado para a VM baseada em KVM.

Neste exemplo, o servidor tem UPFs (User Plane Functions, Funções do Plano do Usuário) - upf1 e upf2.

[lab-deployer-cm-primary] SMI Cluster Deployer# show running-config clusters lab01-upf nodes labupf

clusters lab01-upf

nodes labupf

maintenance false

ssh-ip      10.192.30.7

type        kvm

vms upf1

upf software lab...

...

type upf

exit

vms upf2

upf software lab...

...

type upf

exit

ucs-server cimc user admin

...

ucs-server cimc ip-address 10.10.10.10

...

exit

SSH para o host UCS

Conecte-se ao host UCS e verifique as entradas de falha com falha de escopo, mostre as entradas de falha e mostre o histórico de falhas.

labucs111-cmp1-11 /fault # show fault-entries

Time Severity Description ------------------------- ------------- ---------------------------------------

2021-03-26T10:10:10 major "DDR4_P1_C1_ECC: DIMM 19 is inoperable : Check or replace DIMM"

LABCP0222-Server22-02 /fault # show fault-history

Time                Severity      Source          Cause                     Description

------------------- ------------- --------------- ------------------------- ----------------------------------------

2021 Dec 10 02:02:02 UTC info          %CIMC           EQUIPMENT_INOPERABLE      "[F0174][cleared][equipment-inoperable][sys/rack-unit-1/board] IERR: A catastrophic fault has occurred on one of the processors: Cleared "

2021 Dec 1 01:01:01 UTC critical      %CIMC           EQUIPMENT_INOPERABLE      "[F0174][critical][equipment-inoperable][sys/rack-unit-1/board] IERR: A catastrophic fault has occurred on one of the processors: Please check the processor's status. "