搜尋頭群整合員在KV儲存恢復中停滯。

適用性

說明

KV儲存複製在初始同步或恢復狀態時停滯。

在受影響的例項的$SPLUNK_HOME/var/log/splunk/splunkd.log上發現錯誤。
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

調查

如何識別：
1.部分搜尋頭停滯在KV儲存的恢復狀態。

2.在Splunk文檔中重新同步知識庫儲存後，未解決此問題：

• 使用CLI命令splunk show shcluster-status確定當前哪個節點是搜尋報頭群集報頭。
• 登入到搜尋頭群集隊長節點上的shell。
• 運行命令splunk resync kvstore [-source sourceId]。-source是一個可選引數，如果需要使用除搜尋頭群集引腳之外的成員作為源。SourceId是指將用於同步的搜尋頭成員的GUID。
•  輸入管理員登入憑據。
•  在命令列中等待確認消息。
•  使用splunk show kvstore-status命令驗證群集是否已重新同步。

解析

如何修復：
1.運行SH captain的「splunk resync kvstore」，KV store captain將準備就緒。

2.在其他節點（處於恢復狀態的節點）上，停止Splunk進程並執行「splunk clean kvstore —local」，然後重新啟動Splunk。

節點將進入KV儲存中的「初始同步」狀態，直到完成。通過檢查kvstore檔案是否正在以$SPLUNK_HOME/var/lib/splunk/kvstore大小傳輸來監視「初始同步」。

示例命令：

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

然後他們就會與非機長的KV店員一起準備好

如果上述解決方案無法解決問題，請按照以下步驟操作： 

1.從群集中移除成員，從需要移除的例項中運行以下命令：

./splunk remove shcluster-member

要從另一個成員運行splunk remove命令，請使用以下版本的命令：

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2.停止Splunk
3.要確認此例項已從KV儲存中刪除，請對剩餘的任何群整合員運行以下命令。

./splunk show kvstore-status 

4.再次啟動Splunk之前，請運行：

./splunk clean all

注意：clean all命令將刪除本地管理員帳戶。名為user-seed.conf的檔案可用於在將passwd檔案從$SPLUNK_HOME/etc移動或移除後重新配置管理員使用者。有關詳細資訊，請參閱spec檔案：User-seed.conf 

5.啟動Splunk。 
6.將例項新增到群集： 
在新成員本身上運行Splunk add命令時，請使用以下版本的命令：

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

從當前集群成員運行Splunk add命令時，請使用以下版本的命令：

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7.為例項留出時間完成同步過程。

相關連結

Splunk文檔

重新同步KV儲存

刪除集群成員

向群集新增成員