如何连续运行docker spark应用程序？

问题描述

我想连续运行spark应用程序（正在docker容器中运行）。当前，它在ec2实例中运行。

这是我期待实现的用例。

应用程序在频繁地从Kafka接收日志的过程中，因此，即使kafka也不将任何日志推送到应用程序，它也不应停止..并且应保持监听状态。

下面是我使用的火花提交

sudo docker run --rm -it --link master:master --volumes-from par_v1 my/spark-submit spark-submit --master spark://172.17.0.1:7077 /data/kafka_spark.py

请让我知道如何实现此用例？

感谢帮助吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）