検索ヘッドクラスタメンバーがKVストアでスタックしています。回復しています。

適用性

説明

KVストアのレプリケーションが初期同期または復元の状態でスタックしました。

影響を受けるインスタンスの$SPLUNK_HOME/var/log/splunk/splunkd.logで見つかったエラー。
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

調査

識別方法：
1. KVストアの一部の検索ヘッドが復旧状態でスタックしています。

2. SplunkドキュメントのKBストアを再同期しても、問題は解決しませんでした。

• CLIコマンドsplunk show shcluster-statusを使用して、現在どのノードが検索ヘッドクラスタキャプテンであるかを判断します。
• 検索ヘッドクラスタキャプテンノードのシェルにログインします。
• コマンドsplunk resync kvstore [-source sourceId]を実行します。-sourceは、検索ヘッドクラスタキャプテン以外のメンバーをソースとして使用する必要がある場合のオプションパラメータです。SourceIdは、同期に使用される検索ヘッドメンバのGUIDを参照します。
•  管理者ログインクレデンシャルを入力します。
•  確認メッセージがコマンドラインに表示されるまで待ちます。
•  クラスタが再同期されていることを確認するには、splunk show kvstore-statusコマンドを使用します。

解決方法

修正方法：
1. SHキャプテンから「splunk resync kvstore」を実行すると、KVストアキャプテンは準備完了として起動します。

2. その他のノード（リカバリステータスのままになっているノード）で、Splunkプロセスを停止し、「splunk clean kvstore —local」を実行してからSplunkを再起動します。

完了するまで、ノードはKVストアの「初期同期」で起動します。$SPLUNK_HOME/var/lib/splunk/kvstore のサイズが拡大しているkvstoreファイルが転送されていることを確認して、「初期同期」をモニタします。

サンプルコマンド：

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

その後、彼らはキャプテン以外のKVストアメンバーと準備状態になります。

上記の解決策で問題が解決しない場合は、次の手順に従います。 

1. クラスタからメンバーを削除し、削除する必要があるインスタンスから次のコマンドを実行します。

./splunk remove shcluster-member

別のメンバからsplunk removeコマンドを実行するには、次のバージョンのコマンドを使用します。

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2. Splunkの停止
3. このインスタンスがKVストアから削除されたことを確認するには、残りのクラスターメンバーに対して次のコマンドを実行します。

./splunk show kvstore-status 

4. Splunkを再起動する前に、次のコマンドを実行します。

./splunk clean all

注：clean allコマンドを実行すると、ローカル管理者アカウントが削除されます。passwdファイルを$SPLUNK_HOME/etcから移動または削除した後で、user-seed.confというファイルを使用して管理者ユーザを再設定できます。詳細については、スペックファイルを参照：User-seed.conf 

5. Splunkを起動します。 
6. インスタンスをクラスタに追加します。 
新しいメンバ自体でSplunkのaddコマンドを実行するときは、次のバージョンのコマンドを使用します。

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

現在のクラスタメンバからSplunk addコマンドを実行する場合は、次のバージョンのコマンドを使用します。

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7. インスタンスが同期プロセスを完了するまで待機します。

関連リンク

Splunkドキュメント

KVストアの再同期

クラスタメンバーの削除

クラスタにメンバを追加します