クレデンシャルパッケージが重複しているため、ユニバーサルフォワーダがSplunk Cloudにデータを送信できない

適用性

説明

TcpInputProcコンポーネントの下にあるインデクサログには、次のエラーメッセージが表示されます。

ERROR TcpInputProc - Error encountered for connection from 
src=xxx.xxx.xxx.xxx:99999. error:1408F10B:SSL routines:SSL3_GET_RECORD:wrong version number

ユニバーサルフォワーダでは、インスタンス間のTCP接続が確立できることを確認する次のメッセージがsplunkd.logにあります。

INFO TcpOutputProc - Removing quarantine from idx=xxx.xxx.xxx.xxx:9997ERROR TcpOutputFd - Read error. Connection reset by peerWARN TcpOutputProc - Applying quarantine to ip=xxx.xxx.xxx.xxx port=9997 _numberOfFailures=2WARN TcpOutputProc - The TCP output processor has paused the data flow. Forwarding to output 
group splunkcloud has been blocked for 82150 seconds. This will probably stall the data flow towards indexing and other network outputs. Review the receiving system's health in the Splunk Monitoring Console. It is probably not accepting data.ERROR TcpOutputProc - Processing server from outputs.conf: can't resolve a valid IP address 
for host="inputsN.<SplunkDeployment>.splunkcloud.com"

調査

正しく設定されているように見えるクレデンシャルパッケージの使用後のoutputs.confの表示を次に示します。

[tcpout:splunkcloud]
compressed = false
server = inputs1.<SplunkDeployment>.splunkcloud.com:9997, inputs2.<SplunkDeployment>.splunkcloud.com:9997, 
inputs3.<SplunkDeployment>.splunkcloud.com:9997, inputs4.<SplunkDeployment>.splunkcloud.com:9997, 
inputs5.<SplunkDeployment>.splunkcloud.com:9997, inputs6.<SplunkDeployment>.splunkcloud.com:9997, 
inputs7.<SplunkDeployment>.splunkcloud.com:9997, inputs8.<SplunkDeployment>.splunkcloud.com:9997
sslCertPath = $SPLUNK_HOME/etc/apps/100_splunk_splunkcloud/default/splunk_server.pem
sslCommonNameToCheck = *.<SplunkDeployment>.splunkcloud.com
sslPassword = DIAG_REDACTED_ENCRYPTED_PASSWORD
sslRootCAPath = $SPLUNK_HOME/etc/apps/100_splunk_splunkcloud/default/splunk_cacert.pem
sslVerifyServerCert = true etc/apps/100_splunk_splunkcloud/default/outputs.conf 
useClientSSLCompression = true

また、server.pemへのパスが正しいことがわかっていても、（100_<SplunkDeployment>_splunkcloudアプリケーション）の認証を試行するsplunkd.logに次のメッセージが記録されます。

ERROR SSLCommon - Can't read key file /opt/splunk/etc/apps/100_splunk_splunkcloud/default/<SplunkDeployment>_server.pem errno=151404653 error:0906406D:PEM routines:PEM_def_callback:problems getting password.

解決方法

Splunk Cloudに接続できないユニバーサルフォワーダのエラーは、クレデンシャルパッケージが正しく設定されていないことが原因と考えられます。

これを解決するには、クレデンシャルパッケージをインスタンスにプッシュする必要があります。インスタンスにプッシュする新しいパッケージを配置サーバーに配置します。配置サーバーに資格情報パッケージをインストールしないでください。

クレデンシャルパッケージは、次の手順で個別にインストールすることもできます。
1) Splunk Cloud環境にログインします。
2) Linux用Splunk Universal Forwarderをダウンロードします。
3) Linux用Splunk Universal Forwarderをインストールします。
4)ユニバーサルフォワーダのクレデンシャルをダウンロードしてインストールします。

Splunk Cloud Platformユニバーサルフォワーダ資格情報パッケージのインストールと設定

証明書パスワードが無効なため、ポート9997が開きません。そのため、資格情報パッケージSPLは、パスワードを2回ハッシュした別のフォワーダで再利用されたと判断され、インデクサは新しいフォワーダを認識できません。