linux – 将200GB的文件上传到S3

在 Linux中将200GB tar.gz文件上传到S3的最佳方法是什么？在研究中我发现对象的S3限制已经增加到5TB并且开始了解用于加速上传的多部分上传机制.我发现了一个python脚本boto可能对此有所帮助.有人能否对这个话题有所了解？

解决方法

不要上传它.发表它.
http://aws.amazon.com/importexport/

亚马逊提供的服务是您向他们发送便携式媒体,并从他们的快速骨干网上为您上传数据.

如果你真的很想自己做,那就拿一份S3cmd并做s3cmd同步.

“Never underestimate the bandwidth of a station wagon full of tapes
hurtling down the highway.” – Andrew S Tanenbaum

编辑：
如果您真的希望能够对文件上传进行分块,我建议您执行以下操作.

>掌握具有足够临时存储空间的AWS EC2实例,以保存要上载的文件.>使用GNU Split将文件分成更小的块.>将块上传到临时EC2实例.>使用拆分选项重新组装块以重新组装.>从EC2上传块到S3(非常快！)>关闭EC2实例,但要保持方便.