검색 헤드 클러스터 멤버가 KV 저장소 복구 중 멈춤.

적용 가능성

설명

초기 동기화 또는 복구 상태에서 KV 저장소 복제가 중단되었습니다.

영향을 받은 인스턴스의 $SPLUNK_HOME/var/log/splunk/splunkd.log에 오류가 있습니다.
 

ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Recovering..
ERROR KVStoreBulletinBoardManager - Local KV Store has replication issues. See introspection data and mongod.log for details. Local instance has state Initial Sync..
The member is too stale to use <cluster member host name> as a sync source. 

조사

식별 방법:
1. 일부 검색 헤드가 KV 매장에 대한 복구 상태에 머물러 있습니다.

2 . resync the KB store in the Splunk documentation(Splunk 설명서의 KB 저장소 재동기화)에서 문제를 해결하지 못했습니다.

• CLI 명령 splunk show shcluster-status를 사용하여 현재 검색 헤드 클러스터 캡틴인 노드를 확인합니다.
• 검색 헤드 클러스터 captain 노드의 셸에 로그인합니다.
• splunk resync kvstore [-source sourceId] 명령을 실행합니다. -source는 검색 헤드 클러스터 캡틴 이외의 멤버를 소스로 사용해야 하는 경우 선택적 매개 변수입니다. SourceId는 동기화하는 데 사용할 검색 헤드 멤버의 GUID를 나타냅니다.
•  관리자 로그인 자격 증명을 입력합니다.
•  명령줄에서 확인 메시지를 기다립니다.
•  splunk show kvstore-status 명령을 사용하여 클러스터가 재동기화되었는지 확인합니다.

해결

해결 방법:
1. SH captain에서 'splunk resync kvstore'를 실행합니다. KV store captain이 준비된 상태로 표시됩니다.

2. 다른 노드(복구 상태에서 중단된 노드)에서 Splunk 프로세스를 중지하고 "splunk clean kvstore —local"을 수행한 다음 Splunk를 다시 시작합니다.

노드는 완료될 때까지 KV 저장소의 '초기 동기화'에 표시됩니다. $SPLUNK_HOME/var/lib/splunk/kvstore의 크기가 증가하는 상태로 kvstore 파일이 전송되는지 확인하여 '초기 동기화'를 모니터링합니다.

샘플 명령:

 du -sh $SPLUNK_HOME/var/lib/splunk/kvstore 

그러면 그들은 선장이 아닌 KV 매장 멤버와 함께 준비 상태가 됩니다.

위 솔루션으로 문제가 해결되지 않을 경우 다음 단계를 수행하십시오. 

1. 클러스터에서 멤버를 제거하고 제거해야 하는 인스턴스에서 아래 명령을 실행합니다.

./splunk remove shcluster-member

다른 멤버에서 splunk remove 명령을 실행하려면 다음 명령 버전을 사용합니다.

./splunk remove shcluster-member -mgmt_uri <URI>:<management_port>

2. Splunk 중지
3. 이 인스턴스가 KV 저장소에서 제거되었는지 확인하려면 나머지 클러스터 멤버에 대해 다음 명령을 실행합니다.

./splunk show kvstore-status 

4. Splunk를 다시 시작하기 전에 실행:

./splunk clean all

참고: clean all 명령은 로컬 관리자 계정을 제거합니다. user-seed.conf라는 파일은 passwd 파일이 $SPLUNK_HOME/etc에서 이동 또는 제거된 후 관리자 사용자를 재구성하는 데 사용할 수 있습니다. 자세한 내용은 사양 파일을 참조하십시오. User-seed.conf 

5. Splunk 시작 
6. 클러스터에 인스턴스를 추가합니다. 
새 멤버 자체에서 Splunk add 명령을 실행할 때 다음 명령 버전을 사용합니다.

./splunk add shcluster-member -current_member_uri <URI>:<management_port>

현재 클러스터 멤버에서 Splunk add 명령을 실행할 때 다음 명령 버전을 사용합니다.

./splunk add shcluster-member -new_member_uri <URI>:<management_port>

7. 인스턴스가 동기화 프로세스를 완료할 때까지 기다립니다.

관련 링크

Splunk 설명서

KV 저장소 다시 동기화

클러스터 멤버 제거

클러스터에 멤버 추가