Google Cloud AI Platform 训练作业:--stream-logs 无限期停止,没有输出

问题描述

我正在提交一份培训工作

gcloud ai-platform jobs submit training [...] --stream-logs

作业提交成功,但是终端没有日志。 “作业 [...] 提交成功”后没有输出。出现,但命令也不会终止。

当我查看在线控制台时,我看到作业正在运行并生成日志(这些日志没有显示在我运行命令的终端中)。即使作业成功完成,该命令仍不会终止。

如果我先在没有 gcloud ai-platform jobs submit training 的情况下运行 --stream-logs,然后在新作业上运行 gcloud ai-platform jobs stream-logs,也会发生同样的情况。

你知道发生这种情况的任何原因吗,和/或我有什么办法可以解决它?


编辑:我让命令运行了一段时间,在作业完成并成功后大约 20 分钟,突然所有日志都出现并且命令终止。所以它可以正常工作,但似乎需要很长时间才能同步。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)