Membro del cluster head della ricerca bloccato nell'archivio KV durante il ripristino.

Applicabilità

Descrizione

Replica archivio KV bloccata nello stato di sincronizzazione o ripristino iniziale.

Rilevati errori in $SPLUNK_HOME/var/log/splunk/splunkd.log dell'istanza interessata.
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

Indagine

Come identificarlo:
1. Alcune testine di ricerca sono bloccate nel recupero dello stato per il negozio KV.

2. dopo la risincronizzazione dell'archivio della Knowledge Base nella documentazione di Splunk, il problema non è stato risolto:

• Determinare quale nodo è attualmente il capitano del cluster di testa della ricerca utilizzando il comando splunk show shcluster-status della CLI.
• Accedere alla shell nel nodo del cluster di testa ricerca.
• Eseguire il comando splunk resync kvstore [-sourcesourceId]. -source è un parametro facoltativo, se è necessario utilizzare come origine un membro diverso dal capitano del cluster di testa della ricerca. SourceId fa riferimento al GUID del membro dell'intestazione di ricerca che verrà utilizzato per la sincronizzazione.
•  Immettere le credenziali di accesso dell'amministratore.
•  Attendere un messaggio di conferma sulla riga di comando.
•  Utilizzare il comando splunk show kvstore-status per verificare che il cluster venga risincronizzato.

Risoluzione

Come risolvere il problema:
1. Eseguire 'splunk resync kvstore' dal capitano SSH, il capitano dell'archivio KV verrà come pronto.

2. Sugli altri nodi (quelli bloccati nel ripristino dello stato), arrestare il processo Splunk ed eseguire un "splunk clean kvstore —local", quindi riavviare Splunk.

I nodi verranno visualizzati nella 'sincronizzazione iniziale' nell'archivio KV fino al completamento. Monitorare la 'sincronizzazione iniziale' verificando che i file kvstore siano trasferiti con le dimensioni di $SPLUNK_HOME/var/lib/splunk/kvstore che stanno aumentando.

Comando di esempio:

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

Quindi saranno in stato Pronto con il membro del negozio KV non-capitano.

Se la soluzione indicata sopra non risolve il problema, procedere come segue: 

1. Rimuovere il membro dal cluster, eseguire il comando seguente dall'istanza da rimuovere:

./splunk remove shcluster-member

Per eseguire il comando splunk remove da un altro membro, utilizzare questa versione del comando:

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2. Arresta splunk
3. Per confermare che l'istanza è stata rimossa dall'archivio KV, eseguire il comando seguente su qualsiasi membro rimanente del cluster.

./splunk show kvstore-status 

4. Prima di avviare nuovamente Splunk, eseguire:

./splunk clean all

NOTA: il comando clean all rimuoverà l'account admin locale. Un file denominato user-seed.conf può essere utilizzato per riconfigurare un utente amministratore dopo lo spostamento o la rimozione del file della password da $SPLUNK_HOME/etc. Consultare il file delle specifiche per ulteriori informazioni: User-seed.conf 

5. Avviare Splunk. 
6. Aggiungere l'istanza al cluster: 
Quando si esegue il comando Splunk add sul nuovo membro, utilizzare questa versione del comando:

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

Quando si esegue il comando Splunk add da un membro del cluster corrente, utilizzare questa versione del comando:

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7. Attendere che l'istanza completi il processo di sincronizzazione.

Collegamenti correlati

Documentazione relativa a Splunk

Risincronizza archivio KV

Rimuovere un membro del cluster

Aggiungi un membro al cluster