查询S3路径时,AWS Spectrum返回AccesDenied

问题描述

我在Airflow中有一个进程,该进程将一些CSV读取到Pandas DF,然后对其执行一些操作,并将结果另存为实木复合地板文件,并存储在S3的另一个存储桶中。

然后我们通过另一个过程读取这些实木复合地板文件

它在95%的时间内都能正常工作,但有时在读取镶木地板文件时会出现“访问被拒绝”错误

附带的屏幕截图:

enter image description here

我了解了有关ACL的信息,因此我将代码设置为:

console.log

但是在为已中断的任务实例再次运行作业之后,它仍然出现相同的问题。

关于如何避免它的任何想法?正如我所说,它只发生了三到四次,并且每小时运行一次。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)