问题描述
我最终购买了 snowballEdge 设备并尝试将文件从设备复制到我的系统。
设备上大约有 900 万个对象 @ 9TB。
最大的问题:
所有本地 aws cli 命令都有 1000 个对象的限制,因此我一次只能 cp
、mv
、ls
或 sync
1000 个对象。
当前解决方案:
就目前而言,我目前有 3 个脚本:
-
- 我尝试用
ls --recursive
引用它们,但它一次只列出 1000 个对象
- 我尝试用
-
创建一个 python 脚本,以使用 #1 中的文件在文件的迭代中调用 aws cli 命令。这是目前有 88 个线程的多线程:
aws s3 cp --bucket bucketname+/+filename ./filename
- 这似乎有硬件限制,因为它通过了对写入操作有一些限制的 NIC
- 我们已开启
--quiet
以关闭打印瓶颈
此解决方案在 1 分钟内处理了大约 9GB 的数据,而我需要大约 120 小时才能进行传输。
问题:
有没有办法优化将 AWS snowball Edge 的数据传输回本地设备的过程?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)