问题描述
我们为平台的每个版本运行了许多脚本，我们希望使用 Snakemake 自动运行这些脚本。计划是在 Google Cloud 上启动一个虚拟机并在那里运行 snakemake，从 yaml 文件中读取输入/输出文件的位置。
除了使用 pyspark 和从 Google 存储桶读取源文件的脚本外，一切都很好。 pyspark 似乎使用 hadoop 从 gs:// 位置读取文件，因此需要使用 spark 正确配置 hadoop。
我们还没有弄清楚如何正确构建 Hadoop 环境，当我们运行 spark 脚本时，它总是说：
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
当使用 dataproc 时，我们没有这样的问题，但我们无法重现那个环境，我不确定是否可以将完整的蛇形管道及其所有依赖项提交给 dataproc。
是否可以在不使用 Dataproc 的情况下设置 Hadoop 环境？ 关于如何处理此工作流程，您还有其他建议吗？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）