hadoop jar 指定配置位置

问题描述

我想运行一个运行 Scala jar 的 hadoop 作业，该 jar 碰巧有多个类型安全的配置文件。

我的目录如下所示：

myApplicationFolder
./application.jar
./application.conf
./connection.conf
./someotherconf.conf

当我运行 jar 时

hadoop jar application.jar class.runner

在 myApplicationFolder 中，一切正常：application.conf 和 connection.conf 中的内容可以被我的应用程序获取：

val appConfig = ConfigFactory.load()
val connectionConfig = ConfigFactory.load("connection")

但是，如果我想在其他目录中运行 jar，我如何将位置指向 application.conf 和 connection.conf？

我尝试使用

export HADOOP_OPTS='-Dconfig.file=application.conf -Dconfig.file=connection.conf'

但这基本上忽略了application.conf并使用了connection.conf，并且程序在application.conf中找不到必要的信息。

另外，假设我可以将 application.conf 构建到 jar 中，我如何告诉应用程序查找 connection.conf？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）