问题描述
我有一个客户希望每天将他们的数据从 S3 传输到 GCP 存储桶到 Google Cloud Storage 存储桶。有什么方法可以创建从 s3 到 GCS 的计划传输或定期传输。
解决方法
您可以使用名为 Storage Transfer 的服务：https://console.cloud.google.com/transfer
您可以创建一个管道并根据需要对其进行调度，然后运行以将所有数据从 AWS S3 克隆到 GCP。
这里的主要服务网址：https://cloud.google.com/storage-transfer-service
可以使用storage transfer service来传输bucket数据
- AWS S3 到 GCP，反之亦然
- Azure 到 GCP，反之亦然
- GCP 到 GCP，反之亦然
它还支持 TSV 文件。
您可以将此服务配置为每天在特定时间运行。