数据库连接输入停止向索引器发送事件，但其他数据库连接输入运行正常

适用范围

Splunk Enterprise Splunk DB连接

描述

数据库连接输入停止向索引器发送事件，但其他数据库连接输入运行正常

 

调查

如何识别:

检查db_connect日志(index=_internal sourcetype=dbx*)，用于类似于以下示例的消息：
 

2018-10-01 12:07:33.885 +0100 INFO c.s.dbx.server.task.listeners.JobMetricsListener - action=collect_job_metrics connection=XXXXX jdbc_url=null 
db_read_time=91 hec_record_process_time=826 format_hec_success_count=1000 status=FAILED input_name=XXXXXXXXX batch_size=1000 error_threshold=N/A 
is_jmx_monitoring=false start_time=2018-10-01_12:07:27 end_time=2018-10-12_01:07:30 duration=3193 read_count=2095000 write_count=0 filtered_count=0 error_count=0
....
2018-10-01 12:07:33.885 +0100 [QuartzScheduler_Worker-27] INFO org.easybatch.core.job.BatchJob - Job 'XXXXXX' finished with status: FAILED
.....
at com.splunk.dbx.server.dbinput.recordwriter.HecEventWriter.writeRecords(HecEventWriter.java:36)
at com.splunk.dbx.server.dbinput.recordwriter.HttpEventCollector.uploadEvents(HttpEventCollector.java:89)
at com.splunk.dbx.server.dbinput.recordwriter.HttpEventCollector.uploadEventBatch(HttpEventCollector.java:112)
java.io (https://java.io) .IOException: HTTP Error 400: Bad Request
2018-10-01 12:07:33.885 +0100 [QuartzScheduler_Worker-27] ERROR org.easybatch.core.job.BatchJob - Unable to write records

 

分辨率

由以下Bug导致：

DBX-4614 - DBX 3.1.3输入引出“HTTP错误400:遇到大字段长度时出现“错误请求”错误

是的副本：

SPL-156315 [Regression]升级到7.x后，会丢弃大于512KB的HEC事件，并出现解析错误，从而导致索引吞吐量下降

如果您尝试向HEC（大于512KB）发送事件，则事件将被丢弃。如果DBX通过HEC发送事件并达到此限制，它将继续尝试发送事件并失败，这意味着除非手动跳过该事件或改为发送该列的子字符串，否则不会再对事件编制索引。

通过将默认最大HEC事件大小从512K增加到5MB，此问题在Splunk 7.0.5及更高版本、7.1.3及更高版本以及7.2.0及更高版本中得到修复。还向inputs.conf中添加了一个新的配置选项maxEventSize，以允许根据需要增加此值：


https://docs.splunk.com/Documentation/Splunk/latest/Admin/Inputsconf#http:_.28HTTP_Event_Collector.29
 

maxEventSize = <positive integer>[KB|MB|GB]
* The maximum size of a single HEC (HTTP Event Collector) event.
* HEC disregards and triggers a parsing error for events whose size is
greater than 'maxEventSize'.
* Default: 5MB.

 

相关链接

Splunk文档

http:（HTTP事件收集器）
https://docs.splunk.com/Documentation/Splunk/latest/Admin/Inputsconf#http:_.28HTTP_Event_Collector.29

 

修订历史记录

版本	发布日期	备注
1.0	28-Sep-2026	初始版本