使用telegraf进行查询:filestat插件

问题描述

我有一个应用程序可以处理文件夹(/app/myapp/data/in/)中的文件,并在成功完成处理后将其移至/app/myapp/data/in/archive/<folder created with date of when the app restart>(例如,如果我今天部署了该应用程序,则该文件夹将是/app/myapp/data/in/archive/2020-08-13/,如果我由于某种原因在2020年8月15日重新启动应用程序,则文件名称将为/app/myapp/data/in/archive/2020-08-15/。因此,尤其是从应用程序启动到下次重启之间,经过处理的文件都位于此文件夹中。

此应用程序处理的文件以州码开头,例如:CA1234.txt,VA23456.txt等。目前没有机制可以监控我们是否错过了当天要处理的任何州文件。同样,我们每天在美国标准时间上午9点处理每个州的文件

对于这个应用程序,我正在尝试对正在使用telegraf处理的文件进行监视。我创建了如下自定义telegraf配置文件

# Read stats about given file(s)

[[inputs.filestat]]
  ## Files to gather stats about.
  ## These accept standard unix glob matching rules,but with the addition of
  ## ** as a "super asterisk". See https://github.com/gobwas/glob.
  files = [/app/myapp/data/in/archive/2020-08-13/*.txt"]
  ## If true,read the entire file and calculate an md5 checksum.
  md5 = false
interval = "1h"

在这里看到的问题:

  1. 如何使用存档文件夹下的最新文件夹?我不想硬编码该配置文件中的文件夹。我在telegraf文档中看不到任何正则表达式或某种机制。
  2. 文件/app/myapp/data/in/archive/2020-08-13/中,它提供了从应用启动之日到下次重启的所有文件。我该如何仅过滤文件呢?

telegraf:filestat插件是我进行此类监视的好选择吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)