aws Glue-JOB 问题

问题描述

我有一个粘合工作，负责将 csv 文件转换为镶木地板格式。

Input to the glue job : number of s3 csv files<N csv files>
Output from glue JOB : One parquet file per each glue-job run

我的 glue 作业是使用 pyspark 和 glue dataframes 编写的。它一直工作到 26th march。通常需要 30 minutes 才能完成作业。

问题：最近我看到我的胶水作业连续运行 2-days 并返回 timeout error。

注意事项：

Recently           I didnt changed glue code

                   I didn't changed the infrastructure setup

                   No high load of CSV files

我不知道为什么这个粘合作业需要 2 天的时间来处理并返回 TimeOut Error

谁能告诉我解决方案？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）