无法导入带有py文件的压缩库

问题描述

我必须维护与pyspark一起运行的oll代码。 它使用的是我从未见过的方法。 我将一些可重用的代码压缩到了一个ingestion.zip文件中。 然后，使用如下这样的pipeline.cfg文件调用该文件：

[spark]
master=spark://master
py-files=${HOME}/lib/ingestion.zip
spark-submit=${SPARK_HOME}/bin/spark-submit

当我尝试如下所示导入库时，我无法让Pycharm理解lib应该指向zip文件。

from ingestion.data import csv,storage

我已经看到zip是spark-submit使用py-files提出的解决方案，但是如何使它在我的IDE上运行？

解决方法

我还没有在pycharm中使用以下方法，但是它通过spark-submit对我们有用，我们可以使用常规的import语句来导入这些模块。 实际上，我们要导入的文件很少，我们需要快速进行一些操作。因此，如果您也有相同的用例，并且如果pycharm允许的话，也许可以尝试一下。

--py-files s3://bucket-name/module1.py,s3://bucket-name/module2.py,s3://bucket-name/module3.py,s3://bucket-name/module4.py" （请注意-不应有空格。）

（注意-此建议只是一个临时解决方案，直到有人答复更好的答案为止。）