问题描述
你要使用的包是spark-redis。
pyspark --master yarn --packages com.redislabs:spark-redis:2.4.1
上面的pyspark-shell允许你使用spark-redis包,但是如果你使用spark-submit传递包
/usr/bin/spark-submit /var/lib/jupyter/Spark2/test_redis.py --packages com.redislabs:spark-redis:2.3.0
: java.lang.classNotFoundException: Failed to find data source: org.apache.spark.sql.redis. Please find packages at http://spark.apache.org/ third-party-projects.html
我收到一条错误消息。 这是为什么?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)