停止正在运行的Spark应用程序Databricks交互式集群

问题描述

我正在将数据块与交互式群集一起使用。如果我查看他们的管理用户界面,则仅列出一个“应用程序”。当我尝试杀死它时,我总是收到此消息

HTTP错误405 访问/ app / kill /时出现问题。原因:

   Method Not Allowed

最终结果是我被迫重新启动整个集群。我使用他们的“集群池”功能,这使得等待时间减少了一些。但仍然需要等待大约一分钟,然后我才能恢复工作。

我需要重新启动应用程序的原因是将新鲜的jar交换到spark环境中。否则,当我重复使用addJar()时,我会遇到一些令人讨厌的jar-hell问题(类未找到错误等)。

为什么Databricks一次只在其“交互式”群集中列出一个应用程序? 为什么数据块没有办法停止一个应用程序并在其位置启动另一个应用程序(而无需重新启动整个集群)?

当我们无缘无故地被迫等待一分钟时,这会影响开发效率。要想产生火花,已经很难了。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)