问题描述
我在Ubuntu VM上通过Jupyter运行有效的Pyspark安装。
只有一个Java版本(openjdk version "1.8.0_265"
),我可以像这样运行本地Spark(v2.4.4)会话,而不会出现问题:
import pyspark
from pyspark.sql import SparkSession
memory_gb = 24
conf = (
pyspark.SparkConf()
.setMaster('local[*]')
.set('spark.driver.memory','{}g'.format(memory_gb))
)
spark = SparkSession \
.builder \
.appName("My Name") \
.config(conf=conf) \
.getorCreate()
现在,我要使用spark-nlp
。我已经在我的Pyspark所在的虚拟环境中使用spark-nlp
安装了pip install spark-nlp
。
但是,当我尝试使用它时,出现错误Exception: Java gateway process exited before sending its port number
。
我尝试遵循documentation here中的说明,但没有成功。
这样做
spark = SparkSession \
.builder \
.appName("RevDNS Stats") \
.config(conf=conf) \
.config("spark.jars.packages","com.johnsNowlabs.nlp:spark-nlp_2.11:2.5.5")\
.getorCreate()
仅会导致上述错误。
我该如何解决?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)