如何在 spark-submit 期间从 S3 获取类型安全配置文件？

问题描述

因此，我最初将 application.properties 文件保存在运行 spark-submit 的同一目录中。

我的命令是这样的：

spark-submit --class MyPackage.MyClass 
--jars s3://dir1/dep1.jar,s3://dir1/dep2.jar 
--files application.properties
--conf spark.driver.extrajavaoptions=-Dconfig.file=./application.properties 
--conf spark.executor.extrajavaoptions=-Dconfig.file=./application.properties
s3://dir1/my_code.jar 
arg1 arg2

这按预期工作。

现在我也想在 S3 中保留我的 application.properties 文件。我编辑了 --files 标志以包含我的配置文件的 S3 路径。但它仍在获取我之前使用的文件，而不是新的 S3 文件。这可能与我的 --conf 标志有关。

请让我知道我需要做什么才能完成这项工作。

目标：从 S3 中提取并使用配置文件 注意：我在 EMR 上执行此操作，因此连接到 S3 不是问题。无论如何，jar 只是从 S3 加载，所以连接到 S3 没有问题。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）