Membre du cluster de tête de recherche coincé dans la restauration de magasin KV.

Applicabilité

Description

La réplication du magasin KV est bloquée sur l'état initial de synchronisation ou de récupération.

Erreurs trouvées sur $SPLUNK_HOME/var/log/splunk/splunkd.log de l'instance affectée.
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

Enquête

Comment l'identifier :
1. Certaines des têtes de recherche sont bloquées dans l'état de récupération pour le magasin KV.

2. Après la resynchronisation, le magasin KB de la documentation Splunk n'a pas résolu le problème :

• Déterminez quel noeud est actuellement le responsable de cluster de la tête de recherche à l'aide de la commande CLI splunk show shcluster-status.
• Connectez-vous à l'interpréteur de commandes sur le noeud capitaine du cluster de tête de recherche.
• Exécutez la commande splunk resync kvstore [-source sourceId]. -source est un paramètre facultatif, si un membre autre que le capitaine du cluster de tête de recherche doit être utilisé comme source. SourceId fait référence au GUID du membre d'en-tête de recherche qui sera utilisé pour la synchronisation.
•  Saisissez les identifiants de connexion admin.
•  Attendez un message de confirmation sur la ligne de commande.
•  Utilisez la commande splunk show kvstore-status pour vérifier que le cluster est resynchronisé.

Résolution

Comment le réparer :
1. Exécutez 'splunk resync kvstore' à partir de SH capitaine, KV capitaine magasin viendra comme prêt.

2. Sur les autres noeuds (ceux qui sont bloqués dans l'état de récupération), arrêtez le processus Splunk et exécutez un "splunk clean kvstore —local", puis redémarrez Splunk.

Les noeuds apparaîtront dans la 'synchronisation initiale' sur le magasin KV jusqu'à ce qu'ils soient terminés. Surveillez la 'synchronisation initiale' en vérifiant que les fichiers kvstore sont transférés avec cette taille de $SPLUNK_HOME/var/lib/splunk/kvstore augmente.

Exemple de commande :

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

Ensuite, ils seront dans l'état prêt avec non-capitaine KV membre magasin.

Si la solution ci-dessus ne résout pas le problème, suivez les étapes suivantes : 

1. Supprimez le membre du cluster, exécutez la commande ci-dessous à partir de l'instance qui doit être supprimée :

./splunk remove shcluster-member

Pour exécuter la commande splunk remove à partir d'un autre membre, utilisez cette version de la commande :

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2. Arrêter le débordement
3. Pour confirmer que cette instance a été supprimée du magasin KV, exécutez la commande suivante sur tout membre de cluster restant.

./splunk show kvstore-status 

4. Avant de redémarrer le Splunk, exécutez :

./splunk clean all

REMARQUE : la commande clean all supprime le compte d'administrateur local. Un fichier nommé user-seed.conf peut être utilisé pour reconfigurer un utilisateur admin après le déplacement ou la suppression du fichier passwd de $SPLUNK_HOME/etc. Pour plus d'informations, consultez le fichier de spécification : User-seed.conf 

5. Commencez le Splunk. 
6. Ajoutez l'instance au cluster : 
Lorsque vous exécutez la commande Splunk add sur le nouveau membre lui-même, utilisez cette version de la commande :

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

Lors de l'exécution de la commande Splunk add à partir d'un membre de cluster actuel, utilisez cette version de la commande :

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7. Attendez que l'instance termine le processus de synchronisation.

Liens connexes

Documentation Splunk

Resynchroniser le magasin KV

Supprimer un membre du cluster

Ajouter un membre au cluster