无法使用 spark-submit 调用特定包

问题描述

你要使用的包是spark-redis

pyspark --master yarn  --packages com.redislabs:spark-redis:2.4.1 

上面的pyspark-shell允许你使用spark-redis包,但是如果你使用spark-submit传递包

/usr/bin/spark-submit /var/lib/jupyter/Spark2/test_redis.py --packages com.redislabs:spark-redis:2.3.0

: java.lang.classNotFoundException: Failed to find data source: org.apache.spark.sql.redis. Please find packages at http://spark.apache.org/ third-party-projects.html

我收到一条错误消息。 这是为什么?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)