Spark Cassandra Connector是否可以在K8S环境中从无头服务解析主机名？

问题描述

Datastax Spark Cassandra连接器采用“ spark.cassandra.connection.host”连接到cassandra群集。

1. 我们能否在此参数（“ spark.cassandra.connection.host”）的主机上提供K8S环境中C *群集的无头服务。

2. 它将解决联系点吗？

3. 使用Spark Cassandra Connector在K8s环境中与C *群集进行连接的首选方式是什么？

解决方法

默认情况下，SCC在第一次连接时将所有提供的联系点解析为IP地址，然后仅使用这些IP地址进行重新连接。初始连接发生后，它将发现集群的其余部分。通常这不是问题，因为SCC应该收到有关节点启动和关闭的通知并跟踪节点IP地址。但是在实践中，可能会发生节点重新启动速度太快，并且没有收到通知的情况，因此使用SCC的Spark作业可能会卡住，试图连接到不再有效的IP地址-我在DC上多次击中/ OS。

release of SCC 2.5.0解决了此问题，该问题包含针对SPARKC-571的修复程序。它引入了一个新的配置参数-spark.cassandra.connection.resolveContactPoints，当它设置为false（默认为true时）将始终使用接触点的主机名进行初始连接和重新连接，从而避免了更改了IP地址。

因此，在K8S上，我将尝试仅在正常的Cassandra部署中使用此配置参数。

,

是的，为什么不呢。 Kubernetes官方文档上有good example。您创建一个headless service with a selector：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: cassandra
  name: cassandra
spec:
  clusterIP: None
  ports:
  - port: 9042
  selector:
    app: cassandra

，基本上，当您指定spark.cassandra.connection.host=cassandra时（在同一K8s命名空间中，否则，您必须提供Cassandra..svc.cluster.local`，它将解析为Cassandra接触点（Cassandra所在的Pod IP地址）正在运行）

✌️