Sommario

Introduzione

Problema

Soluzione

Introduzione

In questo documento viene descritto come risolvere i problemi di riavvio delle macchine virtuali CPS (Cisco Policy Suite) causati da un arresto anomalo del kernel CentOS.

Problema

Ogni VM CPS (qns, lb, pcrfclient e così via) viene eseguita in base a CentOS. Queste VM possono essere riavviate a causa di un problema sul lato CentOS piuttosto che sul lato applicazione CPS. Se si verifica un riavvio a causa di un problema con il kernel CentOS, la causa principale non può essere individuata anche se si esamina il file capture_env di CPS. I log di capture_env non contengono alcun log degli errori dalla macchina virtuale riavviata durante il riavvio. In questi casi, i registri sotto /var/crash possono essere utilizzati per l'indagine.

Soluzione

CentOS può generare un dump di arresto anomalo del kernel quando si verifica un problema con il kernel. Per impostazione predefinita, CPS è configurato per raccogliere i dump di arresto anomalo del kernel per tutte le VM.

Per controllare lo stato, usare questo comando.

[root@dc1-qns01 ~]# systemctl status kdump.service

● kdump.service - Crash recovery kernel arming

Loaded: loaded (/usr/lib/systemd/system/kdump.service; enabled; vendor preset: enabled)

Active: active (exited) since Tue 2023-01-10 07:29:35 UTC; 4 months 4 days ago

Main PID: 1023 (code=exited, status=0/SUCCESS)

Tasks: 0 (limit: 75300)

Memory: 0

CGroup: /system.slice/kdump.service

Se si verifica un arresto anomalo del kernel con kdump.service abilitato, in /var/crash viene generata una directory denominata "address-YYYY-MM-DD-HH:MM:SS". CentOS genera 2 file in questa directory.

[root@dc1-lb02 127.0.0.1-2022-10-18-06:18:41]# pwd

/var/crash/127.0.0.1-2022-10-18-06:18:41

[root@dc1-lb02 127.0.0.1-2022-10-18-06:18:41]# ls -rtl

total 161436

-rw-r--r-- 1 root root     89787 Oct 18  2022 vmcore-dmesg.txt

-rw------- 1 root root 165215218 Oct 18  2022 vmcore

- vmcore:

File che memorizza il contenuto della memoria del kernel come file binario. L'analisi richiede strumenti quali kernel-debuginfo e crash.

- vmcore-dmesg.txt:

file di testo dmesg in caso di arresto anomalo.

Ad esempio, nel log sul lato CPS, i log degli errori immediatamente prima del riavvio non sono stati confermati dai log della VM riavviata. L'analisi è stata eseguita dal lato VMWare, il riavvio è stato causato da questo log degli errori, causato dal sistema operativo guest.

The CPU has been disabled by the guest operating system. Power off or reset the virtual machine.

Controllare /var/crash della macchina virtuale riavviata, se esiste una directory corrispondente all'ora di riavvio. È risultato che il riavvio era dovuto a un problema del kernel sul lato CentOS, e siamo stati in grado di procedere con ulteriori indagini.