使用 google-fluend 解析从 nginx 日志到堆栈驱动程序的错误消息

问题描述

我们尝试通过解析 Nginx 错误来设置警报，我们只需要具有 [error] 级别的消息。 ([error] 27720#27720: *29765923 access forbidden by rule,client: blalbablab)。主要目标是不发送我们不需要的 gcp stackdriver 日志（减少使用的日志存储空间）。所以我用日志流创建了 google-fluend，但我一直在解析错误消息。这是我的配置。

<source>
  @type tail
  tag Nginx-error
  path /var/log/Nginx/error.log
  format multiline
  format_firstline /^\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2} \[\w+\] (?<pid>\d+).(?<tid>\d+): /
  format1 /^(?<time>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[(?<log_level>\w+)\] (?<pid>\d+).(?<tid>\d+): (?<message>$      multiline_flush_interval 3s
  #<parse>
    #@type regexp
    #expression (\s\[error+\])
    #time_key name
    #types id:integer
  #</parse>
</source>

在这种情况下使用带有正则表达式规则的解析是否正确？请帮我解决这个问题。

解决方法

经过一些测试，我得到了一个工作版本。

 <source>
  @type tail
  format /^(?<message>.*\[error\].*)$/
  path /var/log/nginx/error.log
  pos_file /var/lib/google-fluentd/pos/nginx-error.pos
  read_from_head true
  tag nginx-error
</source>