清理不完整/失败的上传谷歌云存储

问题描述

我们有一个应用程序可以将备份上传到谷歌云存储。有时备份无法完全上传副本。我正在寻找一种方法来清理不完整/失败的上传。有没有像 aws s3 这样的生命周期策略来清理不完整的上传

解决方法

您可以在 Cloud Storage 对象中应用生命周期管理 policies,但无法区分不完整的上传和实际完整的对象。

但是,对于上传容易失败的情况,您可以使用文档 resumable uploads 中所示的 here 以及指数退避等 retry strategy。您还可以通过在请求中使用 integrity check 来确认它是否已正确上传。

使用可恢复上传时,您的存储桶中只会显示已完成的可恢复上传,因此无论您决定恢复失败还是不完整的上传,都不会出现不完整的上传。

,

您使用的是可恢复上传吗?如果没有,那么不要担心,当上传中断时,数据会被简单地丢弃。如果您使用的是可恢复上传(这很可能是这种情况),请不要担心,上传 ID(及其相关数据)会在一周后被丢弃:

https://cloud.google.com/storage/docs/performing-resumable-uploads#resume-upload

AFAIK 认为“一周”参数不可调整。您也可以手动删除不完整的可恢复上传:

https://cloud.google.com/storage/docs/performing-resumable-uploads#cancel-upload