用普罗米修斯监测定期报告

问题描述

在我们公司,我们有开发人员团队开发火花作业,这些作业定期运行并生成对hdfs的报告。每个报告的生成时间表都不同,但是很容易获取所有报告的设置并计算所有细节。

我想为这些报告创建Prometheus监视,以在未及时生成某些报告时发出警报。为此,我想创建一个简单的Prometheus导出器,该导出器将转到每个报表的目录,并公开一些度量,以指示是否创建了该报告。

HDFS上的报告如下:

root@report_server:/# hdfs dfs -ls -R /reports/my_daily_report_v1
drwxr-xr-x   - root supergroup          0 2018-12-06 02:12 /reports/my_daily_report_v1/2018.12.05
-rw-r--r--   3 root supergroup     468728 2018-12-06 02:12 /reports/my_daily_report_v1/2018.12.05/report-2018.12.05-0
drwxr-xr-x   - root supergroup          0 2018-12-07 01:33 /reports/my_daily_report_v1/2018.12.06
-rw-r--r--   3 root supergroup     324157 2018-12-07 01:33 /reports/my_daily_report_v1/2018.12.06/report-2018.12.06-0
drwxr-xr-x   - root supergroup          0 2018-12-08 02:12 /reports/my_daily_report_v1/2018.12.07
-rw-r--r--   3 root supergroup     320552 2018-12-08 02:12 /reports/my_daily_report_v1/2018.12.07/report-2018.12.07-0
drwxr-xr-x   - root supergroup          0 2018-12-09 00:15 /reports/my_daily_report_v1/2018.12.08
-rw-r--r--   3 root supergroup     296208 2018-12-09 00:15 /reports/my_daily_report_v1/2018.12.08/report-2018.12.08-0
drwxr-xr-x   - root supergroup          0 2018-12-10 03:53 /reports/my_daily_report_v1/2018.12.09
-rw-r--r--   3 root supergroup     314851 2018-12-10 03:53 /reports/my_daily_report_v1/2018.12.09/report-2018.12.09-0
drwxr-xr-x   - root supergroup          0 2018-12-11 03:21 /reports/my_daily_report_v1/2018.12.10
-rw-r--r--   3 root supergroup     309709 2018-12-11 03:21 /reports/my_daily_report_v1/2018.12.10/report-2018.12.10-0
drwxr-xr-x   - root supergroup          0 2018-12-12 00:45 /reports/my_daily_report_v1/2018.12.11
-rw-r--r--   3 root supergroup     183871 2018-12-12 00:45 /reports/my_daily_report_v1/2018.12.11/report-2018.12.11-0

问题是-为此目的正确的度量标准格式是什么?

我的最初想法是-了解每份报告的时间表-以报告日期为标签来报告某种存在性度量标准。

my_shiny_report_exists{date="2018.12.11",report="my_daily_report_v1"} 0 (or 1 if report already exists)

出口商将在应生成报告时开始为即将到来的报告提供指标,因此,如果该指标等于零(例如2个小时),则会生成警报。

但是这种方法对我来说似乎有点错误,因此请帮助我了解解决问题的正确方法。预先谢谢你!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)