问题描述
在我们公司,我们有开发人员团队开发火花作业,这些作业定期运行并生成对hdfs的报告。每个报告的生成时间表都不同,但是很容易获取所有报告的设置并计算所有细节。
我想为这些报告创建Prometheus监视,以在未及时生成某些报告时发出警报。为此,我想创建一个简单的Prometheus导出器,该导出器将转到每个报表的目录,并公开一些度量,以指示是否创建了该报告。
HDFS上的报告如下:
root@report_server:/# hdfs dfs -ls -R /reports/my_daily_report_v1
drwxr-xr-x - root supergroup 0 2018-12-06 02:12 /reports/my_daily_report_v1/2018.12.05
-rw-r--r-- 3 root supergroup 468728 2018-12-06 02:12 /reports/my_daily_report_v1/2018.12.05/report-2018.12.05-0
drwxr-xr-x - root supergroup 0 2018-12-07 01:33 /reports/my_daily_report_v1/2018.12.06
-rw-r--r-- 3 root supergroup 324157 2018-12-07 01:33 /reports/my_daily_report_v1/2018.12.06/report-2018.12.06-0
drwxr-xr-x - root supergroup 0 2018-12-08 02:12 /reports/my_daily_report_v1/2018.12.07
-rw-r--r-- 3 root supergroup 320552 2018-12-08 02:12 /reports/my_daily_report_v1/2018.12.07/report-2018.12.07-0
drwxr-xr-x - root supergroup 0 2018-12-09 00:15 /reports/my_daily_report_v1/2018.12.08
-rw-r--r-- 3 root supergroup 296208 2018-12-09 00:15 /reports/my_daily_report_v1/2018.12.08/report-2018.12.08-0
drwxr-xr-x - root supergroup 0 2018-12-10 03:53 /reports/my_daily_report_v1/2018.12.09
-rw-r--r-- 3 root supergroup 314851 2018-12-10 03:53 /reports/my_daily_report_v1/2018.12.09/report-2018.12.09-0
drwxr-xr-x - root supergroup 0 2018-12-11 03:21 /reports/my_daily_report_v1/2018.12.10
-rw-r--r-- 3 root supergroup 309709 2018-12-11 03:21 /reports/my_daily_report_v1/2018.12.10/report-2018.12.10-0
drwxr-xr-x - root supergroup 0 2018-12-12 00:45 /reports/my_daily_report_v1/2018.12.11
-rw-r--r-- 3 root supergroup 183871 2018-12-12 00:45 /reports/my_daily_report_v1/2018.12.11/report-2018.12.11-0
问题是-为此目的正确的度量标准格式是什么?
我的最初想法是-了解每份报告的时间表-以报告日期为标签来报告某种存在性度量标准。
my_shiny_report_exists{date="2018.12.11",report="my_daily_report_v1"} 0 (or 1 if report already exists)
出口商将在应生成报告时开始为即将到来的报告提供指标,因此,如果该指标等于零(例如2个小时),则会生成警报。
但是这种方法对我来说似乎有点错误,因此请帮助我了解解决问题的正确方法。预先谢谢你!
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)