如何通过pyspark连接到远程Cassandra服务器以在cassandra中写入数据？

编程问答 2022-08-16

问题描述

我正在尝试通过pyspark连接到远程Cassandra服务器，但是在运行cronjob时，它没有在Cassandra中执行写操作。相同的代码在jupyter笔记本上的服务器上有效，但不能通过cronjob。

os.environ['PYSPARK_SUBMIT_ARGS'] = '--master local[*] pyspark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:2.5.0 --conf spark.cassandra.connection.host=127.0.0.1 pyspark-shell --conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions'

from pyspark import SparkContext sc = SparkContext("local","keyspace_name") 
sqlContext = sqlContext(sc)

Data_to_Write.write.format("org.apache.spark.sql.cassandra").mode('append')\
  .options(table="tablename",keyspace="keyspace_name").save()

我在cassandra日志中看到此错误：错误[Messaging-EventLoop-3-3] 2020-08-05 09：24：36,606 OutboundConnectionInitiator.java:373-无法与对等xx.xxx.xxx.xxx握手：9042（xx.xxx.xxx.xxx:9042）org.apache.cassandra.net.Crc $ InvalidCrc –

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparkcassandrapysparkwrite