Comprendre et dépanner les intervalles de données manquants de 3 minutes sur le suivi des messages SMA

Introduction

Ce document décrit la raison et la façon de dépanner les données de suivi des messages manquantes avec des intervalles de données de plage de 3 minutes sur SMA.

Exigences

Connaissance de ces sujets :

• Appliance de gestion de la sécurité Cisco (SMA)
• Appliance de sécurisation de la messagerie Cisco (ESA)
• Suivi centralisé des messages

Composants utilisés

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Problème

SMA détecte de nombreux intervalles de données manquants de 3 minutes dans les appliances ESA.

Solution

Workflow de suivi des messages local et centralisé

Le suivi fonctionne selon deux modes :
I. Suivi local ESA.
  1. Trackerd analyse les données des fichiers journaux binaires d'informations de suivi traités par qlogd (tracking.@*.s)

  2. Trackerd l'enregistre sous haystack.

II. Suivi centralisé ESA.
  1. qlogd écrit les fichiers journaux binaires d'informations de suivi (tracking.@*.s.gz) dans le répertoire /data/pub/export/tracking
  2. SMA smad process vérifie, extrait, puis supprime les données brutes de suivi (tracking.@*.s.gz) du répertoire /data/pub/export/tracking de ESA.
  3. Les fichiers de suivi extraits des ESA sont enregistrés dans le répertoire /data/log/tracking/<ESA_IP>/ de SMA.
  4. Trackerd déplace les fichiers vers le répertoire /data/tracking/incoming_queue/0/<ESA_IP>, traite les fichiers.
  5. Les fichiers traités stockés dans la base de données MT et les fichiers de suivi sont supprimés.

Étapes d'investigation

Étape 1. Analyse ESA trackerd_logs

Après avoir observé trackerd_logs dans /data/pub/trackerd_logs/ dossier, identifié que généralement qlogd sur ESA écrit des fichiers de données de suivi d'intervalle de 3 minutes.

Dans cet exemple, les fichiers de données du dossier /data/pub/export/tracking/ T* partie du nom de fichier représente l'heure de génération du fichier. La différence entre les valeurs T est de 3 minutes.

grep "172.16.200.12" trackerd.current | tail
Wed Mar  8 22:07:36 2023 Info: Tracking parser moved /data/log/tracking/172.16.200.12/tracking.@20230308T205758Z_20230308T210058Z.s.gz to /data/tracking/incoming_queue/0/172.16.200.12/tracking.@20230308T205758Z_20230308T210058Z.s.gz.
Wed Mar  8 22:12:03 2023 Info: Tracking parser moved /data/log/tracking/172.16.200.12/tracking.@20230308T210058Z_20230308T210358Z.s.gz to /data/tracking/incoming_queue/0/172.16.200.12/tracking.@20230308T210058Z_20230308T210358Z.s.gz.
Wed Mar  8 22:14:28 2023 Info: Tracking parser moved /data/log/tracking/172.16.200.12/tracking.@20230308T210358Z_20230308T210658Z.s.gz to /data/tracking/incoming_queue/0/172.16.200.12/tracking.@20230308T210358Z_20230308T210658Z.s.gz.
Wed Mar  8 22:16:53 2023 Info: Tracking parser moved /data/log/tracking/172.16.200.12/tracking.@20230308T210658Z_20230308T210958Z.s.gz to /data/tracking/incoming_queue/0/172.16.200.12/tracking.@20230308T210658Z_20230308T210958Z.s.gz.
Wed Mar  8 22:19:19 2023 Info: Tracking parser moved /data/log/tracking/172.16.200.12/tracking.@20230308T210958Z_20230308T211258Z.s.gz to /data/tracking/incoming_queue/0/172.16.200.12/tracking.@20230308T210958Z_20230308T211258Z.s.gz.
Wed Mar  8 22:23:48 2023 Info: Tracking parser moved /data/log/tracking/172.16.200.12/tracking.@20230308T211258Z_20230308T211558Z.s.gz to /data/tracking/incoming_queue/0/172.16.200.12/tracking.@20230308T211258Z_20230308T211558Z.s.gz.

Étape 2. Analyse de trackerd_logs SMA

En fonction des informations obtenues à l'étape 1, vérifiez /data/pub/trackerd_logs sur SMA afin de découvrir et de confirmer les fichiers de données manqués dans la section Problem.

Les échantillons de log pertinents avec les résultats sont décrits dans cette trame. Trackerd_logs filtrés sur SMA uniquement pour le premier ESA (192.168.235.64) :

/data/pub/trackerd_log on SMA - filtered only for ESA 192.168.235.64

Mon Feb 13 20:11:06 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T190731Z_20230213T191031Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T190731Z_20230213T191031Z.s.gz.
Mon Feb 13 20:15:18 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T191031Z_20230213T191331Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T191031Z_20230213T191331Z.s.gz.
Mon Feb 13 20:17:26 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T191331Z_20230213T191631Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T191331Z_20230213T191631Z.s.gz.
tracking.@20230213T191631Z_20230213T191931Z.s.gz    -  the file is missing  -- this line is manually added by owner.
Mon Feb 13 20:23:40 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T191931Z_20230213T192231Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T191931Z_20230213T192231Z.s.gz.
Mon Feb 13 20:25:51 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T192231Z_20230213T192531Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T192231Z_20230213T192531Z.s.gz.


Mon Feb 13 23:15:20 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T221032Z_20230213T221332Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T221032Z_20230213T221332Z.s.gz.
Mon Feb 13 23:17:27 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T221332Z_20230213T221632Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T221332Z_20230213T221632Z.s.gz.
tracking.@20230213T221632Z_20230213T221932Z.s.gz    -  the file is missing  -- this line is manually added by owner.
Mon Feb 13 23:23:42 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T221932Z_20230213T222232Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T221932Z_20230213T222232Z.s.gz.
Mon Feb 13 23:25:52 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T222232Z_20230213T222532Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T222232Z_20230213T222532Z.s.gz.
Mon Feb 13 23:30:04 2023 Info: Tracking parser moved /data/log/tracking/192.168.235.64/tracking.@20230213T222532Z_20230213T222832Z.s.gz to /data/tracking/incoming_queue/0/192.168.235.64/tracking.@20230213T222532Z_20230213T222832Z.s.gz.

...... Log examples for two missed files can be considered satisfactory. Omitted logs for other files to avoid complexity.


In Summary, Missing file examples on SMA from ESA 192.168.235.64:
tracking.@20230213T191631Z_20230213T191931Z.s.gz
tracking.@20230213T221632Z_20230213T221932Z.s.gz
tracking.@20230214T041633Z_20230214T041933Z.s.gz
tracking.@20230214T064034Z_20230214T064334Z.s.gz
tracking.@20230214T070134Z_20230214T070434Z.s.gz

Étape 3. Analyse des actions des utilisateurs intelligents

L'étape suivante consiste à vérifier le comportement de SMA smad sur /data/pub/cli_logs/ de ESA.

Comme mentionné, smad recherche les fichiers de ESA dans /data/pub/export/tracking (ls -AF), copie le fichier (scp -f /../tracking.*.s.gz) puis le supprime (rm /../tracking.*.s.gz) par smaduser via l'accès SSH.

Dans cette étape, il a été identifié qu'il y a un autre SMA (IP : 192.168.251.92) que le SMA principal (IP : 172.24.81.94) se connecte aux téléchargements ESA et supprime le fichier avant le SMA principal.

Lorsque le SMA principal recherche des fichiers dans le répertoire (ls -AF), il ne peut pas voir le fichier car il a déjà été supprimé par 192.168.251.92 smaduser.
L'exemple de journal pertinent est le suivant :

for file tracking.@20230213T191631Z_20230213T191931Z.s.gz

grep -i "tracking.@20230213T191631Z_20230213T191931Z.s.gz" cli.current   (missing file on SMA)
Mon Feb 13 20:19:29 2023 Info: PID 51423: User smaduser login from 172.24.81.94 on 192.168.235.64
Mon Feb 13 20:19:29 2023 Info: PID 51423: User smaduser executed batch command: 'ls -AF /export/tracking/'
Mon Feb 13 20:19:29 2023 Info: PID 51423: User smaduser logged out of Command Line Interface using SSH connection.
Mon Feb 13 20:19:32 2023 Info: PID 51485: User smaduser login from 192.168.251.92 on 192.168.235.64
Mon Feb 13 20:19:32 2023 Info: PID 51485: User smaduser executed batch command: 'ls -AF /export/tracking/'
Mon Feb 13 20:19:32 2023 Info: PID 51485: User smaduser logged out of Command Line Interface using SSH connection.
Mon Feb 13 20:19:35 2023 Info: PID 51541: User smaduser login from 192.168.251.92 on 192.168.235.64
Mon Feb 13 20:19:35 2023 Info: PID 51541: User smaduser executed batch command: 'scp -f /export/tracking/tracking.@20230213T191631Z_20230213T191931Z.s.gz'
Mon Feb 13 20:19:38 2023 Info: PID 51599: User smaduser login from 192.168.251.92 on 192.168.235.64
Mon Feb 13 20:19:38 2023 Info: PID 51599: User smaduser executed batch command: 'rm /export/tracking/tracking.@20230213T191631Z_20230213T191931Z.s.gz'
Mon Feb 13 20:19:39 2023 Info: PID 51599: User smaduser logged out of Command Line Interface using SSH connection.


for file tracking.@20230213T221632Z_20230213T221932Z.s.gz

grep -i "tracking.@20230213T221632Z_20230213T221932Z.s.gz" cli.current
Mon Feb 13 23:19:33 2023 Info: PID 19143: User smaduser login from 192.168.251.92 on 192.168.235.64
Mon Feb 13 23:19:33 2023 Info: PID 19143: User smaduser executed batch command: 'ls -AF /export/tracking/'
Mon Feb 13 23:19:33 2023 Info: PID 19143: User smaduser logged out of Command Line Interface using SSH connection.
Mon Feb 13 23:19:37 2023 Info: PID 19231: User smaduser login from 192.168.251.92 on 192.168.235.64
Mon Feb 13 23:19:37 2023 Info: PID 19231: User smaduser executed batch command: 'scp -f /export/tracking/tracking.@20230213T221632Z_20230213T221932Z.s.gz'
Mon Feb 13 23:19:40 2023 Info: PID 19339: User smaduser login from 192.168.251.92 on 192.168.235.64
Mon Feb 13 23:19:40 2023 Info: PID 19339: User smaduser executed batch command: 'rm /export/tracking/tracking.@20230213T221632Z_20230213T221932Z.s.gz'
Mon Feb 13 23:19:40 2023 Info: PID 19339: User smaduser logged out of Command Line Interface using SSH connection.


...... Log examples for two missed files can be considered satisfactory. Omitted logs for other files to avoid complexity.

Résumé de la solution

Le suivi du processus de suivi des messages lui-même a permis de résoudre le problème.
Via cli_logs sur ESA, un autre SMA a été identifié. Il se connecte à ESA, extrait puis supprime le fichier avant le SMA principal. Le fichier devient indisponible pour le SMA principal.

Supprimez les ESA / désactivez les services ESA sur les « appliances de sécurité » SMA redondants ou désactivez complètement les SMA redondants de la production.