常春藤会议被破坏

问题描述

我们正在使用 Apache Livy 服务器与Spark集群进行通信。我们注意到,某些语句在执行时出错并在之后的livy会话中变得不可用。例如,我们将 fbprophet 用于时间序列模型。 fbprophet pystan 产生一些控制台输出。一旦在会话中记录了此输出,该语句就会给出错误。尽管作业继续在群集上执行。之后,没有任何语句可以正确运行。 使用fbprophet代码运行语句后输出

Unrecognized token 'Iter': was expecting 'null','true','false' or NaN at [Source: Iter log prob ||dx|| ||grad|| alpha alpha0 # evals Notes ; line: 1,column: 9]

类似地,在使用 mlflow build-docker 命令创建Docker映像时,它还会生成有关映像创建过程的输出。同样,一旦生成输出,会话错误就会消失 以下是build-docker的输出

Unexpected character ('/' (code 47)): maybe a (non-standard) comment? (not recognized as one since ``````Feature 'ALLOW_COMMENTS' not enabled for parser) at [Source: /tmp/tmpq6gz1q3t/; line: 1,column: 2]

主要问题是在执行此类语句后,该会话变得无法使用。 有谁遇到过Apache livy这样的问题?

我可以想到的

一种分辨率是抑制pystan和docker进程的输出,但是我不知道这一点。我们如何抑制输出登录到livy会话?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)