Splunkインスタンスの健全性がバケットコンポーネントの赤で表示されています

適用性

Splunkエンタープライズ

説明

過去1時間に作成された小さなバケット(100)の割合が非常に高く、このインデクサのindex=<index name>（場合によってはそれ以上のインデックス）の赤いしきい値(50)を超えています。

[正常性チェック]タブのエラーメッセージ：

Buckets 
Root Cause(s): 
The percentage of small of buckets created (100) over the last hour is very high and exceeded the red thresholds (50) for index=mbam, and possibly more indexes, on this indexer 

最近50件の関連メッセージ： 

07-02-2019 02:16:05.989 -0700 INFO HotBucketRoller - finished moving hot to warm bid=_internal~4984~99D2CFA5-1005-45DA-8C68-0E8A5FB0C95C idx=_internal 
from=hot_v1_4984 to=db_1562087584_1562043339_4984 size=1048645632 caller=size_exceeded _maxHotBucketSize=1048576000 (1000MB), bucketSize=1048641536 (1000MB) 
07-02-2019 00:22:57.931 -0700 INFO HotBucketRoller - finished moving hot to warm bid=_introspection~2046~99D2CFA5-1005-45DA-8C68-0E8A5FB0C95C idx=_introspection 
from=hot_v1_2046 to=db_1562027109_1562015374_2046 size=569110528 caller=lru maxHotBuckets=3, count=4 hot buckets,evicting_count=1 LRU hots 
07-02-2019 00:00:22.067 -0700 INFO HotBucketRoller - finished moving hot to warm bid=cloudflare~324~99D2CFA5-1005-45DA-8C68-0E8A5FB0C95C idx=cloudflare 
from=hot_v1_324 to=db_1561885206_1561791602_324 size=394207232 caller=lru maxHotBuckets=3, count=4 hot buckets,evicting_count=1 LRU hots 
07-01-2019 23:03:37.981 -0700 INFO HotBucketRoller - finished moving hot to warm bid=_internal~4983~99D2CFA5-1005-45DA-8C68-0E8A5FB0C95C idx=_internal 
from=hot_v1_4983 to=db_1562076172_1562032683_4983 size=1054523392 caller=size_exceeded _maxHotBucketSize=1048576000 (1000MB), bucketSize=1054404608 (1005MB) 
07-01-2019 22:43:06.030 -0700 INFO HotBucketRoller - finished moving hot to warm bid=clearpass~362~99D2CFA5-1005-45DA-8C68-0E8A5FB0C95C idx=clearpass 
from=hot_v1_362 to=db_1561787045_1561538116_362 size=393191424 caller=lru maxHotBuckets=3, count=4 hot buckets,evicting_count=1 LRU hots

 

調査

上記のメッセージは、過去24時間に作成されたバケットの100 %がmaxDataSizeの10 %未満であることを示しています。これにより、パフォーマンスの問題は発生しません。この警告を修正するには、次のように、しきい値を50から150に増やすことができます。

デフォルト設定は、$SPLUNK_HOME/etc/system/default/health.confにあります。

[feature:buckets]
display_name = Buckets
indicator:percent_small_buckets_created_last_24h:description = "This indicator tracks the percentage of small buckets created over the last 24 hours. 
small bucket is defined as less than 10 % of the ‘maxDataSize’ setting in indexes.conf."
indicator:percent_small_buckets_created_last_24h:red = 50
indicator:percent_small_buckets_created_last_24h:yellow = 30

 

また、特定の時間/日のデータをインデックスするために作成されたホットバケットの数が、system/health.confで定義されているしきい値を超えるか、またはしきい値の制限に達した場合にも、上記と同じヘルス警告メッセージが表示されます。
 

ホットバケットが多過ぎる理由
 

Splunkは、データのインデックスを作成するためにインデックスディレクトリとしてバケットを使用します。これで、インデックス作成のためにイベントがSplunkに到着すると、そのイベントに対して新しいホットバケットが作成されるか、イベントのタイムスタンプとインデックスに対する制約に従って、イベントがホットバケットの既存の1つにインデックス作成されます。

indexes.confのmaxHotBuckets、maxHotSpanSecs、およびquarantinePastSecsの各パラメータを参照してください
 

そのため、イベントのタイムスタンプが既存のバケットで許容されるタイムスタンプよりも古い（異常な）場合、Splunkは新しいホットバケットを作成してイベントのインデックスを作成します。したがって、作成されるホットバケットの数がしきい値に達するか、しきい値を超える可能性があります。
 

props.confのDATETIME_CONFIGパラメータが明示的に設定されていない場合、Splunkはイベント自体のタイムスタンプを検出しようとします。


そのため、イベントからタイムスタンプを抽出する際に、Splunkが有効なタイムスタンプ形式と一致する値を見つけると、イベント時刻と同じ値を解析し、そのタイムスタンプのみを使用してインデックスを作成します。これにより、タイムスタンプが正しく抽出されないためにSplunkが新しいホットバケットを作成する可能性があります。

Splunkがタイムスタンプを正しく抽出できるように、props.confにタイムスタンプ属性を追加することを検討してください。 タイムスタンプ認識の設定
 

タイムスタンプの問題：

また、タイムスタンプに関するsplunkd.logの次のメッセージを見つけました。また、正しい設定を適用することによってそれらを修正します。ログ形式によって異なります。
 

06-02-2019 22:37:36.976 -0700 WARN DateParserVerbose - Failed to parse timestamp in first MAX_TIMESTAMP_LOOKAHEAD (30) characters of event. 
Defaulting to timestamp of previous event (Mon Jun 3 02:37:35 2019). Context: source=/data/syslogng/asa/richmond-vpn-inside/20190603.log|host=richmond-vpn-inside
|cisco:asa|48952806-21-2019 09:48:48.467 -0700 WARN DateParserVerbose - Failed to parse timestamp in first MAX_TIMESTAMP_LOOKAHEAD (44) characters of event. 
Defaulting to timestamp of previous event (Fri Jun 21 06:48:45 2019). Context: source=/data/syslogng/pan/vcadcl-fw-mgmt/20190621.log|host=vcadcl-fw-mgmt|pan_log|86736606-20-2019 11:29:10.742 -0700 WARN DateParserVerbose - Failed to parse timestamp in first MAX_TIMESTAMP_LOOKAHEAD (128) characters of event. 
Defaulting to timestamp of previous event (Thu Jun 20 11:29:10 2019). Context: source=/scratch/data/syslogng/vlsj-securelog/sj-anliu1/20190620.log|host=sj-anliu1
|linux_secure|526909106-14-2019 12:46:38.301 -0700 WARN DateParserVerbose - Accepted time format has changed ((?i)\s([01]\d)([0123]\d\d)\s), possibly indicating a problem 
in extracting timestamps. Context: source=C:\Windows\debug\netlogon.log|host=DC2SJGLOBAL|MSAD:NT6:Netlogon|4001606-02-2019 16:17:18.106 -0700 WARN DateParserVerbose - Accepted time format has changed ((?i)(?<!\w|\d[:\.\-])(?i)(?<![\d\w])(jan|\x{3127}\x{6708}|feb|\x{4E8C}\x{6708}
|mar|\x{4E09}\x{6708}|apr|\x{56DB}\x{6708}|may|\x{4E94}\x{6708}|jun|\x{516D}\x{6708}|jul|\x{4E03}\x{6708}|aug|\x{516B}\x{6708}|sep|\x{4E5D}\x{6708}|oct|\x{5341}\x{6708}
|nov|\x{5341}\x{3127}\x{6708}|dec|\x{5341}\x{4E8C}\x{6708})[a-z,\.;]*([/\- ]) {0,2}(?i)(0?[1-9]|[12]\d|3[01])(?!:) {0,2}(?:\d\d:\d\d:\d\d(?:[\.\,]\d+)? {0,2}(?i)((?:(?:
UT|UTC|GMT(?![+-])|CET|CEST|CETDST|MET|MEST|METDST|MEZ|MESZ|EET|EEST|EETDST|WET|WEST|WETDST|MSK|MSD|IST|JST|KST|HKT|AST|ADT|EST|EDT|CST|CDT|MST|MDT|PST|PDT|CAST|CADT|EAST
|EADT|WAST|WADT|Z)|(?:GMT)?[+-]\d\d?:?(?:\d\d)?)(?!\w))?)?((?:\2|,) {0,2}(?i)(20\d\d|19\d\d|[901]\d(?!\d)))?(?!/|\w|\.\d)), possibly indicating a problem 
in extracting timestamps. Context: source=C:\Windows\System32\DHCP\DhcpSrvLog-Mon.log|host=srv07-seoul|DhcpSrvLog|286986

 

解決方法

1.$SPLUNK_HOME/etc/system/local/health.confに移動し、次のスタンザを追加します
 

[feature:buckets]
indicator:percent_small_buckets_created_last_24h:red = 150

2. Splunkを再起動して変更を有効にします。

タイムスタンプまたはDATETIME_CONFIGの問題の場合は、適切な正規表現を記述してイベントからの日付と時刻を正しく特定し、問題を修正します。

関連リンク

Splunkドキュメント
タイムスタンプ認識の設定 


Splunkの回答
ヘルスステータス：作成された小さいバケットの割合 

更新履歴

改定	発行日	コメント
1.0	28-Sep-2026	初版