问题描述
我正在尝试从运行 Ubuntu 18.04 的虚拟机中的 Google 存储下载大型数据集,但我的下载中途停止。我正在使用命令:
gsutil cp -r gs://my-storage-bucket/dataset1 /home/user/data
我设法下载了一个较小的数据集,但这个数据集的大小接近 4 GB,但每次它都以 1.1 GB 的速度停止下载。首先 MB/S 下降,然后停在 0.0 MB/S。
我已经增加了 VM 的磁盘大小,但这也无济于事。我删除了位于我的文件夹中的文件,该文件确保可以随时恢复下载,因为它不起作用。
有什么建议吗?
解决方法
它是否以 0.0MB/s 的速度停顿并且不会出错? 能否请您尝试使用以下命令再次复制它?
gsutil \
-o "GSUtil:parallel_thread_count=1" \
-o "GSUtil:sliced_object_download_max_components=8" \
cp gs://my-storage-bucket/dataset1 /home/user/data
基本上,将两个参数传递给 gsutil 以设置切片对象的线程数和最大组件。