Buscar miembro del clúster de cabeza atascado en KV Store recuperación.

Aplicabilidad

Descripción

Replicación del almacén de KV atascada en la sincronización inicial o el estado de recuperación.

Se encontraron errores en $SPLUNK_HOME/var/log/splunk/splunkd.log de la instancia afectada.
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

Investigación

Cómo identificarlo:
1. Algunos de los cabezales de búsqueda están atascados en estado de recuperación para el almacén KV.

2. Después de Resync, el almacén de KB en la documentación de Splunk no solucionó el problema:

• Determine qué nodo es actualmente el capitán del clúster de cabecera de búsqueda mediante el comando CLI splunk show shcluster-status.
• Inicie sesión en el shell en el nodo de capitán del clúster de cabecera de búsqueda.
• Ejecute el comando splunk resync kvstore [-source source sourceId]. -source es un parámetro opcional, si un miembro que no sea el capitán del clúster de cabecera de búsqueda necesita ser utilizado como el origen. SourceId hace referencia al GUID del miembro del encabezado de búsqueda que se utilizará para sincronizar.
•  Introduzca las credenciales de inicio de sesión del administrador.
•  Espere a recibir un mensaje de confirmación en la línea de comandos.
•  Utilice el comando splunk show kvstore-status para verificar que el clúster está resincronizado.

Resolución

Cómo solucionarlo:
1. Ejecute 'splunk resync kvstore' de SH capitán, el capitán de la tienda KV aparecerá como listo.

2. En los otros nodos (los que están atascados en estado de recuperación), detenga el proceso Splunk y realice un "splunk clean kvstore —local", luego reinicie Splunk.

Los nodos se activarán en la "sincronización inicial" en el almacén de KV hasta que se completen. Controle la 'sincronización inicial' comprobando que los archivos kvstore se transfieren con ese tamaño de $SPLUNK_HOME/var/lib/splunk/kvstore está creciendo.

Ejemplo de comando:

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

Entonces estarán en estado listo con no capitán KV miembro de la tienda.

Si la solución anterior no soluciona el problema, siga los siguientes pasos: 

1. Quite el miembro del cluster, ejecute el siguiente comando de la instancia que debe eliminarse:

./splunk remove shcluster-member

Para ejecutar el comando splunk remove desde otro miembro, utilice esta versión del comando:

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2. Detener la caída
3. Para confirmar que esta instancia se ha eliminado del almacén de KV, ejecute el siguiente comando en cualquier miembro restante del clúster.

./splunk show kvstore-status 

4. Antes de iniciar Splunk otra vez ejecutar:

./splunk clean all

NOTA: El comando clean all eliminará la cuenta de administrador local. Un archivo llamado user-seed.conf se puede utilizar para reconfigurar un usuario admin después de que el archivo passwd se mueva o se elimine de $SPLUNK_HOME/etc. Consulte el archivo de especificaciones para obtener más información: User-seed.conf 

5. Iniciar Splunk. 
6. Agregue la instancia al cluster: 
Cuando ejecute el comando Splunk add en el miembro nuevo, utilice esta versión del comando:

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

Cuando ejecute el comando Splunk add desde un miembro del clúster actual, utilice esta versión del comando:

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7. Deje tiempo para que la instancia complete el proceso de sincronización.

Enlaces relacionados

Documentación de Splunk

Resincronización del almacén de KV

Quitar un miembro del clúster

Agregar un miembro al clúster