spark和kafka之间的版本兼容性

问题描述

我正在将Spring Boot从1.5升级到2.3，将kafka从0.11.0.3升级到2.5.0，spark 1.6.3与kafka 2.5.0兼容吗？

解决方法

Spark 2.3+已升级其内部Kafka客户端并弃用了Spark Streaming；我建议升级，而不要声明对kafka-clients的显式依赖，因为它已包含在spark-sql-kafka依赖中。

低于0.10.2的Kafka客户端将继续针对较新的经纪人发挥基本功能。