如何连续运行docker spark应用程序?

问题描述

我想连续运行spark应用程序(正在docker容器中运行)。当前,它在ec2实例中运行。

这是我期待实现的用例。

应用程序在频繁地从Kafka接收日志的过程中,因此,即使kafka也不将任何日志推送到应用程序,它也不应停止..并且应保持监听状态。

下面是我使用的火花提交


sudo docker run --rm -it --link master:master --volumes-from par_v1 my/spark-submit spark-submit --master spark://172.17.0.1:7077 /data/kafka_spark.py

请让我知道如何实现此用例?

感谢帮助吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)