使用Spark的HDFS文件流

问题描述

我无法通过Spark作业从HDFS中流式传输“旧”文件。如果我的Spark作业由于某种原因(例如演示,部署)而关闭,但是连续写入/移动到HDFS目录中。

我们可以处理最后处理的文件中的所有文件吗?

我该怎么办?

我在Java中使用它:

JavaDStream<String> dStream = streamingContext.textFileStream(filePath).cache();

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)