如何在VS Code中设置pyspark？

问题描述

我试图在VS-Code中运行pypsark，但似乎无法将我的环境指向正确的pyspark驱动程序和路径。当我在终端窗口中运行pyspark时，它看起来像这样：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR,use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.0.1
      /_/

Using Python version 3.8.3 (default,Jul  2 2020 11:26:31)
SparkSession available as 'spark'.

当我用Vs代码运行文件时，出现此错误：

File "/Users/myuser/opt/anaconda3/lib/python3.8/site-packages/pyspark/python/lib/pyspark.zip/pyspark/worker.py",line 477,in main
    ("%d.%d" % sys.version_info[:2],version))
Exception: Python in worker has different version 2.7 than that in driver 3.8,PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

在我的bash_profile中，我认为设置正确：

export SPARK_PATH=~/spark-1.6.0-bin-hadoop2.6
export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

我发现它正在查看两个不同的版本，那么，我需要怎么做才能在VS代码中正确配置环境以运行pyspark？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

pyspark pyspark visual-studio-code vscode-settings