Membro do Cluster Principal de Pesquisa Preso na Recuperação do Repositório KV.

Aplicabilidade

Descrição

Replicação do Repositório KV travada no status de sincronização ou recuperação inicial.

Erros encontrados em $SPLUNK_HOME/var/log/splunk/splunkd.log da instância afetada.
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

Investigação

Como identificá-lo:
1. Alguns dos cabeçotes de pesquisa estão presos no status de recuperação para a loja KV.

2. após a ressincronização do armazenamento do KB na documentação do Splunk, o problema não foi corrigido:

• Determine qual nó é atualmente o capitão do cluster do cabeçote de pesquisa usando o comando CLI splunk show shcluster-status.
• Efetue login no shell no nó do capitão do cluster do cabeçote de pesquisa.
• Execute o comando splunk resync kvstore [-sourceId]. -source é um parâmetro opcional, se um membro que não seja o capitão do cluster principal de pesquisa precisar ser usado como a origem. SourceId refere-se ao GUID do membro do cabeçalho de pesquisa que será usado para sincronizar.
•  Insira as credenciais de login do administrador.
•  Aguarde uma mensagem de confirmação na linha de comando.
•  Use o comando splunk show kvstore-status para verificar se o cluster está sincronizado novamente.

Resolução

Como corrigi-lo:
1. Execute 'splunk resync kvstore' do SH capitão, o capitão da loja KV virá como pronto.

2. Nos outros nós (os que estão presos no estado de recuperação), pare o processo de Splunk e execute um "splunk clean kvstore —local", depois reinicie o Splunk.

Os nós aparecerão na 'sincronização inicial' no repositório KV até serem concluídos. Monitore a 'sincronização inicial' verificando se os arquivos kvstore são transferidos com esse tamanho de $SPLUNK_HOME/var/lib/splunk/kvstore está crescendo.

Comando de exemplo:

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

Em seguida, eles estarão em status de pronto com o membro da loja KV não capitão.

Se a solução acima não corrigir o problema, siga as próximas etapas: 

1. Remova o membro do cluster e execute o comando a seguir da instância que precisa ser removida:

./splunk remove shcluster-member

Para executar o comando splunk remove de outro membro, use esta versão do comando:

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2. Parar Splunk
3. Para confirmar que esta instância foi removida do repositório KV, execute o seguinte comando em qualquer membro de cluster restante.

./splunk show kvstore-status 

4. Antes de iniciar o Splunk novamente, execute:

./splunk clean all

OBSERVAÇÃO: o comando clean all removerá a conta do administrador local. Um arquivo chamado user-seed.conf pode ser usado para reconfigurar um usuário admin após o arquivo passwd ser movido ou removido de $SPLUNK_HOME/etc. Consulte o arquivo de especificação para obter mais informações: User-seed.conf 

5. Iniciar Splunk. 
6. Adicione a instância ao cluster: 
Ao executar o comando Splunk add no próprio novo membro, use esta versão do comando:

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

Ao executar o comando Splunk add a partir de um membro de cluster atual, use esta versão do comando:

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7. Espere até que a instância conclua o processo de sincronização.

Links relacionados

Documentação do Splunk

Ressincronizar o repositório KV

Remover um membro do cluster

Adicionar um membro ao cluster