问题描述
我正在用Celery执行器在K8s上运行Airflow。
通常，我的任务使用emr_add_steps_operator触发EMR步骤。
当工作吊舱发生故障（将其重新安排到其他节点）时，Airflow任务将失败，而该步骤将继续在EMR中运行。
任务重试时，它会向EMR添加另一个相同的步骤，因此当第一个完成时，第二个开始运行。这会造成不必要的重复。 Pod重新安排它是我期望的，所以我只想避免重复步骤。
有什么办法可以做到这一点？ 谢谢
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）