中央电子邮件通知气流

问题描述

我们正在AWS环境中使用apache气流来调度作业。 Airflow在任务级别提供故障通知。但是,我想在气流水平上配置通知。因此,即使dag没有配置任何通知,如果任何DAG失败,某些组也会收到通知

我正在为此关注。

  1. 将日志重定向到s3
  2. 监听新日志文件的AWS Lambda
  3. 解析日志文件,如果包含错误,则发送通知

问题是。 如果安装了aws lambda,则一旦创建文件,它将触发lambda,并且可能没有完整的日志文件

否则,我想将日志推送到cloudwatch并从中发出警报。

不确定如何实现。我也没有从AWS工程师那里获得信息。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)