如何停止Spark文件流作业从HDFS读取.tmp文件?

问题描述

我正在使用Spark文件流从Hadoop文件夹读取和处理。 但它也从Hadoop流式传输.tmp文件。请帮助我仅从Hadoop流式传输完成的文件

我正面临这个问题。

作业由于阶段故障而中止:257.0阶段中的任务1失败了4次,最近一次失败:257.0阶段中的任务1.3丢失(TID 18830,Cassandra1,执行器1):java.io.FileNotFoundException:文件不存在: /mmi_traffic/listenerTransaction/2020/09/18/18/listenerTransaction.1600433700521.gz.tmp

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)