如何覆盖Oozie配置值

问题描述

我使用Cloudera，我有一个Oozie工作流程，可通过Spark触发python的脚本。
在Oozie作业的“选项列表”字段中，我向火花提交添加了以下配置：

--name "My app" --conf 'spark.yarn.tags=my-yarn-tag'

Oozie运行此作业时，Oozie的默认配置将覆盖我的值。这是我得到的输出：

Oozie Spark action configuration
=================================================================

                    --master
                    yarn
                    --deploy-mode
                    client
                    --name
                    Oozie Hello World!
                    --class
                    python.py
                    --conf
                    spark.oozie.action.id=xxx
                    --conf
                    spark.oozie.child.mapreduce.job.tags=oozie-475557d4ba0074063442b4da13eeaa64
                    --conf
                    spark.oozie.action.rootlogger.log.level=INFO
                    --name
                    My app
                    --conf
                    'spark.yarn.tags=my-yarn-tag'
                    --conf
                    spark.yarn.localizeConfig=false
                    --conf
                    spark.executor.extraClasspath=$PWD/*
                    --conf
                    spark.driver.extraClasspath=$PWD/*
                    --conf
                    spark.yarn.tags=oozie-475557d4ba0074063442b4da13eeaa64 <-- this one overridden my value

如您所见。 --name "My app"已覆盖Oozie的名称，但是我的--conf 'spark.yarn.tags=my-yarn-tag'已被Oozie的默认标签覆盖。

我的问题是：
是否可以在Oozie中覆盖/更改spark配置值的顺序？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）