问题描述
我有一个泊坞窗文件,该文件可以在容器中运行我想要的所有内容。在这种情况下,我想运行一个spark代码,并在dockerfile中授予在特定目录中写入的spark权限。
现在,我还希望允许spark在hdfs上运行。为此,我像在其他情况下一样使用“ chown -R”,但对于HDFS则不起作用。
1
这样,我可以在“ / usr / spark”目录中写入文件,但不能在hdfs中。有人可以告诉我我在做什么错吗?我不能对HDFS做同样的事情吗?
解决方法
chown
本身用于本地文件
您希望hadoop fs chown
用于HDFS文件。
但是,您实际上应该在容器构建过程之外执行此操作,因为localhost:8020
是容器本身,并且不是可访问的HDFS位置