如何将spark-streaming-kafka-assembly.jar添加到python代码中的spark罐子中

问题描述

我是Spark和Kafka环境的新手。根据我的工作，我必须使用kafka生产程序来生成一些记录，然后使用python代码中的spark流将这些记录作为流接收。我对与我的问题有关的许多网站都加了红色。由此，我知道，我必须将spark-streaming-kafka-assemble-0.8 .... jar文件添加到spark jar文件。这样，我就可以使用此导入KafkaUtils，

from pyspark.streaming.kafka import KafkaUtils

当我尝试这样捐赠时，

from kafka import KafkaProducer
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils

显示类似错误

ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-2-5a4c58a69039> in <module>
----> 1 from kafka import KafkaProducer
      2 #from kafka import KafkaConsumer
      3 from pyspark import SparkContext
      4 from pyspark.streaming import StreamingContext
      5 from pyspark.streaming.kafka import KafkaUtils

ModuleNotFoundError: No module named 'kafka'

我知道这是因为缺少kafka jar文件。我尝试了很多次，将jar文件添加到spark jar，但是我做不到。我不知道我在python代码中犯了什么错误。许多文章说，使用spark-submit，可以添加jar文件。任何人都可以帮助我如何逐步将spark-streaming-kafka-assemble-0.8 .... jar文件添加到spark jar文件中。因为我不知道我必须在哪里存储下载的jar文件以及如何继续执行spark-submit。我对此完全陌生。我希望它在python中。因此，请分享您对我的疑问的看法。 预先感谢...

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）