Introduzione
Questo documento descrive il problema completo rilevato dal disco di esportazione dei nodi nella rete di un utente.
Sfondo
Quando viene eseguito un controllo di Cluster Manager Common Execution Environment (CEE), il risultato del controllo indica che il disco di esportazione dei nodi è pieno.
Problema
Esiste una condizione di avviso di severità critica perché si prevede che si verifichi una condizione di disco pieno nelle prossime 24 ore. Questo avviso è stato rilevato su CEE:
" Si prevede che il dispositivo /dev/sda3 di node-export cee03/node-EXPORT-4dd4a4dd4a sia pieno entro le prossime 24 ore"
Analisi
L'avviso viene visualizzato sul CEE che tiene traccia dei problemi hardware per il rack e prevede che la condizione completa del disco si verifichi nelle prossime 24 ore.
cisco@deployer-cm-primary:~$ kubectl get pods -A -o wide | grep node
cee03 node-exporter-4dd4a4dd4a 1/1 Running 1 111d 10.10.1.1 deployer-cm-primary <none> <none>
root@deployer-cm-primary:/# df -h
Filesystem Size Used Avail Use% Mounted on
overlay 568G 171G 368G 32% /
tmpfs 64M 0 64M 0% /dev
tmpfs 189G 0 189G 0% /sys/fs/cgroup
tmpfs 189G 0 189G 0% /host/sys/fs/cgroup
/dev/sda1 9.8G 3.5G 5.9G 37% /host/root
udev 189G 0 189G 0% /host/root/dev
tmpfs 189G 0 189G 0% /host/root/dev/shm
tmpfs 38G 15M 38G 1% /host/root/run
tmpfs 5.0M 0 5.0M 0% /host/root/run/lock
/dev/sda3 71G 67G 435M 100% /host/root/var/log
Quando viene eseguito un controllo, il disco /dev/sda3 viene riempito.
root@deployer-cm-primary:/host/root/var/log# du -h --max-depth=1
76M ./sysstat
16K ./lost+found
4.0K ./containers
4.0K ./landscape
9.3M ./calico
1.1G ./apiserver
808K ./pods
5.6G ./journal
60G ./audit
36K ./apt
67G .
Una verifica del controllo mostra che i registri vengono conservati e, di conseguenza, è probabile che si verifichi la condizione server del disco del nodo di esportazione pieno.
cisco@deployer-cm-primary:~$ sudo cat /etc/audit/auditd.conf
#
# This file controls the configuration of the audit daemon
#
local_events = yes
write_logs = yes
log_file = /var/log/audit/audit.log
log_group = adm
log_format = RAW
flush = INCREMENTAL_ASYNC
freq = 50
max_log_file = 8
num_logs = 5
priority_boost = 4
disp_qos = lossy
dispatcher = /sbin/audispd
name_format = NONE
##name = mydomain
max_log_file_action = keep_logs
space_left = 75
space_left_action = email
verify_email = yes
action_mail_acct = root
admin_space_left = 50
admin_space_left_action = halt
disk_full_action = SUSPEND
disk_error_action = SUSPEND
use_libwrap = yes
##tcp_listen_port = 60
tcp_listen_queue = 5
tcp_max_per_addr = 1
##tcp_client_ports = 1024-65535
tcp_client_max_idle = 0
enable_krb5 = no
krb5_principal = auditd
##krb5_key_file = /etc/audit/audit.key
distribute_network = no
cisco@deployer-cm-primary:~$
Soluzione
Eseguire il codice di comando riportato di seguito, sia sul database deployer-cm-primary che su quello deployer-cm-secondari, per risolvere la potenziale condizione di disco pieno del database di esportazione dei nodi.
sudo vim /etc/audit/auditd.conf
Quindi, utilizzare il codice elencato di seguito per modificare il file interno da keep_logs a rotate.
max_log_file_action = rotate
Dopo aver modificato il codice, riavviare il servizio.
sudo systemctl restart auditd.service
Verificare che l'avviso critico sia stato rimosso.
Feedback