KV存储恢复中滞留的搜索头群集成员。

适用范围

描述

KV存储复制在初始同步或恢复状态时停滞。

在受影响的实例的$SPLUNK_HOME/var/log/splunk/splunkd.log上发现错误。
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

调查

如何识别：
1、KV存储的一些搜索头处于恢复状态。

2.重新同步Splunk文档中的KB存储后，未解决此问题：

• 使用CLI命令splunk show shcluster-status确定当前哪个节点是搜索报头集群队长。
• 登录搜索头群集队长节点上的shell。
• 运行命令splunk resync kvstore [-sourceId]。-source是一个可选参数，如果除搜索头群集队长之外的成员需要用作源。SourceId是指将用于同步的搜索头成员的GUID。
•  输入管理员登录凭证。
•  在命令行上等待确认消息。
•  使用splunk show kvstore-status命令验证集群是否已重新同步。

分辨率

如何修复：
1.从SH captain运行“splunk resync kvstore”，KV store captain将准备就绪。

2.在其他节点（处于恢复状态的节点）上，停止Splunk进程并执行“splunk clean kvstore —local”，然后重新启动Splunk。

节点将在KV存储上“initial sync”中启动，直到完成。通过检查大小为$SPLUNK_HOME/var/lib/splunk/kvstore正在增长的kvstore文件是否正在传输，来监控“初始同步”。

命令示例：

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

然后他们就可以与非机长的KV店员准备好。

如果上述解决方案无法解决问题，请按照以下步骤操作： 

1.从集群中删除成员，从需要删除的实例运行以下命令：

./splunk remove shcluster-member

要从另一个成员运行splunk remove命令，请使用此版本的命令：

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2.停止Splunk
3.要确认此实例已从KV存储中删除，请对剩余的任何集群成员运行以下命令。

./splunk show kvstore-status 

4.再次启动Splunk之前，请运行：

./splunk clean all

注意：clean all命令将删除本地管理员帐户。名为user-seed.conf的文件可用于在$SPLUNK_HOME/etc中移动或删除passwd文件后重新配置管理员用户。有关详细信息，请参阅规范文件:User-seed.conf 

5.启动Splunk。 
6.将实例添加到群集： 
在新成员本身上运行Splunk add命令时，请使用以下版本的命令：

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

从当前集群成员运行Splunk add命令时，请使用以下版本的命令：

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7.让实例有时间完成同步过程。

相关链接

Splunk文档

重新同步KV存储

删除集群成员

向集群添加成员