如何使用已安装的软件包运行 PySpark？

问题描述

通常，当我使用 pyspark 运行 graphframes 时，我必须使用以下命令：

pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12

在第一次运行时，这将安装包 graphframes，但不会在下一次安装。在 .bashrc 文件中，我已经添加了：

export SPARK_OPTS="--packages graphframes:graphframes:0.8.1-spark3.0-s_2.12"

但如果我不添加选项 --packages，我将无法导入包。

如何使用这个简单的命令将 pyspark 与 graphframes 一起运行？

pyspark

解决方法

您可以制作一个像 myspark.sh 这样触发 pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12 的包装脚本，这将是最简单的解决方案。