ClearML 如何更改 AWS Sagemaker 中的 clearml.conf 文件

问题描述

我在 AWS Sagemaker Jupyter 笔记本中工作。 我已经在 J​​upyter 的 AWS Sagemaker 中安装了 clearml 包。 clearml 服务器安装在 AWS EC2 上。 我需要在 AWS S3 存储桶中存储工件和模型，因此我想在 clearml.conf 文件中指定 S3 的凭证。 如何更改 AWS Sagemaker 实例中的 clearml.conf 文件？看起来权限被拒绝对其上的所有文件夹。 或者，也许有人可以提出更好的方法。

解决方法

免责声明我是 ClearML（前身为 Trains）团队的一员。

要设置凭据（和 clearml-server 主机），您可以使用 Task.set_credentials。 要将 S3 存储桶指定为所有工件（以及与此相关的调试图像）的输出，您只需将其设置为 files_server。

例如：

from clearml import Task

Task.set_credentials(api_host='http://clearml-server:8008',web_host='http://clearml-server:8080',files_host='s3://my_bucket/folder/',key='add_clearml_key_here',secret='add_clearml_key_secret_here')

要传递您的 S3 凭证，只需在您的 jupyter notebook 顶部添加一个单元格，并设置标准的 AWS S3 环境变量：

import os
os.environ['AWS_ACCESS_KEY_ID'] = 's3_bucket_key_here'
os.environ['AWS_SECRET_ACCESS_KEY'] = 's3_bucket_secret_here'
# optional
os.environ['AWS_DEFAULT_REGION'] = 's3_bucket_region'