Oozie - 通过 shell 操作无法在远程服务器上运行 Spark-Submit

编程问答 2022-05-29

问题描述

当我登录到我的边缘节点并运行以下命令时，我的应用程序已成功提交并成功完成。

spark-submit --master yarn mydir/myscript.py

但是，我正在尝试通过 oozie shell 操作来运行它。

这里是xml：

<workflow-app xmlns="uri:oozie:workflow:0.5" name="my_wf">
  <start to="sparksub"/>
  <action name="sparksub">
    <shell xmlns="uri:oozie:shell-action:0.2">
      <job-tracker>${jobTracker}</job-tracker>
      <name-node>${nameNode}</name-node>
      <configuration>
        <property>
          <name>mapred.job.queue.name</name>
          <value>${queueName}</value>
        </property>
      </configuration>
      <exec>rem.sh</exec>
      <file>${nameNode}/hdfs_path/rem.sh</file>
      <file>${nameNode}/hdfs_path/id_pvt</file>
    </shell>
    <ok to="end"/>
    <error to="failure-email"/>
  </action>

id_pvt 是连接服务器的 ssh 私钥，rem.sh 包含：

set -e
ssh -i id_pvt -o StrictHostKeyChecking=no my_user@my_node "spark-submit --master yarn mydir/myscript.py"

这不起作用。在 oozie 日志中，我只看到消息

Heart Beat
Heart Beat
...

没有错误，它只是一直这样。

请帮助我了解我做错了什么并完成这项工作。 谢谢

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparkooziepysparkpyspark