散布的日志已被截断

问题描述

我正在使用Fluentd将我的Kubernetes荚日志转发到splunk，但是在splunk中，由于它们被截断，所以我看不到荚日志的完整长度。例如，我们的单行日志长度为74286个字符，但splunk仅显示16385个字符。 我该怎么解决这个问题？

通过这种方式，我可以在流畅的configmap中进行配置。

<match **>
      @id splunk
      @type splunk-hec
      @log_level info
      server "#{ENV['FLUENT_SPLUNK_HOST']}"
      protocol https
      verify false
      host "#{ENV['CLUSTER_NAME']}_#{ENV['NODE_NAME']}"
      token "#{ENV['FLUENT_SPLUNK_TOKEN']}"
      index "#{ENV['SPLUNK_INDEX']}"
      buffer_type memory
      buffer_queue_limit 256
      buffer_chunk_limit 8m
      batch_size_limit 8000000
      flush_interval 1s
    </match>

解决方法

默认情况下，Splunk应该截断10,000个字符。您可以在props.conf文件中进行更改。

[mysourcetype]
TRUNCATE = 75000

这将是“魔术” 6其余设置的补充：TIME_PREFIX，TIME_FORMAT，MAX_TIMESTAMP_LOOKAHEAD，SHOULD_LINEMERGE和LINE_BREAKER。