无法在单元测试中通过pyspark连接到cassandra

编程问答 2022-08-15

问题描述

我遇到的问题是，在进行单元测试（或pytesting）时，pyspark无法加载com.datastax.spark:spark-cassandra-connector_2.11:2.5.1。 在正常代码中使用该软件包时，它可以很好地加载库，但是在单元测试中，库永远不会加载，并且会发生错误。

错误：

 java.lang.classNotFoundException: Failed to find data source: org.apache.spark.sql.cassandra. Please find packages at http://spark.apache.org/third-party-projects.html

代码段：

    conf = SparkConf()
    conf.setAppName(XXX)
    conf.setMaster(XXX)
    conf.set("spark.jars.packages","com.datastax.spark:spark-cassandra-connector_2.11:2.5.1")

    sc = SparkContext(conf=conf)
    spark = SparkSession(sc)

    df = spark.read.format("org.apache.spark.sql.cassandra") \
        .option("keyspace","system") \
        .option("table","local") \
        .option("spark.cassandra.auth.username",XXX) \
        .option("spark.cassandra.auth.password",XXX) \
        .option("spark.cassandra.connection.host",XXX) \
        .load()

是否有解决方案测试pyspark cassandra？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

cassandrapysparkpytestpythonpython-unittest