DB connect inputがインデクサへのイベント送信を停止しましたが、他のDB connect inputは正常に動作しています

適用性

SplunkエンタープライズSplunkデータベース接続

説明

DB connect inputがインデクサへのイベント送信を停止しましたが、他のDB connect inputは正常に動作しています

 

調査

識別方法:

db_connectログ(index=_internal sourcetype=dbx*)を参照してください。
 

2018-10-01 12:07:33.885 +0100 INFO c.s.dbx.server.task.listeners.JobMetricsListener - action=collect_job_metrics connection=XXXXX jdbc_url=null 
db_read_time=91 hec_record_process_time=826 format_hec_success_count=1000 status=FAILED input_name=XXXXXXXXX batch_size=1000 error_threshold=N/A 
is_jmx_monitoring=false start_time=2018-10-01_12:07:27 end_time=2018-10-12_01:07:30 duration=3193 read_count=2095000 write_count=0 filtered_count=0 error_count=0
....
2018-10-01 12:07:33.885 +0100 [QuartzScheduler_Worker-27] INFO org.easybatch.core.job.BatchJob - Job 'XXXXXX' finished with status: FAILED
.....
at com.splunk.dbx.server.dbinput.recordwriter.HecEventWriter.writeRecords(HecEventWriter.java:36)
at com.splunk.dbx.server.dbinput.recordwriter.HttpEventCollector.uploadEvents(HttpEventCollector.java:89)
at com.splunk.dbx.server.dbinput.recordwriter.HttpEventCollector.uploadEventBatch(HttpEventCollector.java:112)
java.io (https://java.io) .IOException: HTTP Error 400: Bad Request
2018-10-01 12:07:33.885 +0100 [QuartzScheduler_Worker-27] ERROR org.easybatch.core.job.BatchJob - Unable to write records

 

解決方法

原因は次の不具合です（下記を参照）。

DBX-4614:DBX 3.1.3の入力で、大きなフィールド長が見つかった際に「HTTP Error 400: Bad Request」エラーがスローされる

これは、次の重複です。

SPL-156315 [回帰] 7.xへのアップグレード後、512KBを超えるHECイベントが解析エラーでドロップされ、インデックス作成スループットが低下する

512 KBを超えるイベントをHECに送信しようとすると、イベントはドロップされます。DBXがHECを介してイベントを送信し、この制限に達した場合、DBXはイベントの送信を試行し続け、失敗します。つまり、イベントが手動でスキップされるか、代わりにカラムのサブストリングが送信されない限り、それ以上のイベントはインデックス付けされません。

この問題は、Splunk 7.0.5以降、7.1.3以降、および7.2.0以降では、デフォルトの最大HECイベントサイズを512Kから5MBに増やすことで修正されています。新しい設定オプションmaxEventSizeもinputs.confに追加され、必要に応じてこの値を増やすことができるようになりました（このオプションはデフォルトで有効になっています）。


https://docs.splunk.com/Documentation/Splunk/latest/Admin/Inputsconf#http:_.28HTTP_Event_Collector.29
 

maxEventSize = <positive integer>[KB|MB|GB]
* The maximum size of a single HEC (HTTP Event Collector) event.
* HEC disregards and triggers a parsing error for events whose size is
greater than 'maxEventSize'.
* Default: 5MB.

 

関連リンク

Splunkドキュメント

http: (HTTPイベントコレクタ)
https://docs.splunk.com/Documentation/Splunk/latest/Admin/Inputsconf#http:_.28HTTP_Event_Collector.29

 

更新履歴

改定	発行日	コメント
1.0	28-Sep-2026	初版