在 AWS EMR 中运行 FileWriter 后创建的输出文件在哪里

问题描述

这就是我写入文件的方式。 (Scala 代码)

import java.io.FileWriter
val fw = new FileWriter("my_output_filename.txt",true)
fw.write("something to write into output file")
fw.close()

这是我在 AWS EMR 上运行的 Spark 作业的一部分。 Thw 作业运行并成功完成。问题是一旦完成，我就无法在任何地方找到 my_output_filename.txt。

更多的上下文： 我想要做的是：对数据帧的每一行进行一些处理并将其写入文件。所以它看起来像这样：

myDF.collect().foreach( row => {
import java.io.FileWriter
val fw = new FileWriter("my_output_filename.txt",true)
fw.write("row data to be written into file")
fw.close()
})

我是如何检查的：
当我在本地运行它时，我在代码所在的同一目录中找到了新创建的文件。但是在远程节点中找不到它。 我跑了find / -name "my_output_filename.txt"。
我还检查了 HDFS：hdfs dfs -find / -name "my_output_filename.txt"

1. 在哪里可以找到输出文件？
2. 有没有更好的方法来做到这一点？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）