在本地机器上运行 ML 训练作业并在 Google Cloud 上写入日志

问题描述

是否可以在本地机器上运行 ML 训练作业并在 Google Cloud (AI Platform/Vertex AI) 上写入日志?还是我必须使用 Google Cloud 机器运行训练才能记录我的训练作业?

谢谢大家!

解决方法

您可以将本地环境中的日志写入 Google Cloud Logging。您可以为此使用 Cloud Logging libraries。这是 Go 中的一个例子

vars.get('__jm__myLoopControllerName__idx')

如果您的目标是将 stdout 和 stderr 写入 Cloud Logging,因为您可以在 Google Cloud 上自动执行此操作,那么开箱即用是不可能的。

但是,您可以将训练执行包装在另一个应用中,该应用侦听训练作业的 stdout 和 stderr,并将日志条目写入 Cloud Logging。

,

如果您运行本地训练作业,则无法在 AI Platform 或 Vertex AI 上写入日志。 AI Platform/Vertex AI 仅在请求使用云资源时记录操作。

AI Platform Training 日志使用 AuditLog 对象并遵循 与其他 Cloud Audit Logs 日志的格式相同。日志包含信息 例如:

  • 提出请求的用户,包括该用户的电子邮件地址。
  • 发出请求的资源名称。
  • 请求的结果。

因此,要编写日志,您需要提交将使用 GCP 资源的在线培训作业。

有关更多信息,您可以查看 AI Platform logged operationsVertex AI logging audit information