文件停止在 Ubuntu 18.04 VM 中从 Google Cloud 存储桶下载

问题描述

我正在尝试从运行 Ubuntu 18.04 的虚拟机中的 Google 存储下载大型数据集,但我的下载中途停止。我正在使用命令:

gsutil cp -r gs://my-storage-bucket/dataset1 /home/user/data

我设法下载了一个较小的数据集,但这个数据集的大小接近 4 GB,但每次它都以 1.1 GB 的速度停止下载。首先 MB/S 下降,然后停在 0.0 MB/S。

我已经增加了 VM 的磁盘大小,但这也无济于事。我删除了位于我的文件夹中的文件,该文件确保可以随时恢复下载,因为它不起作用。

有什么建议吗?

解决方法

它是否以 0.0MB/s 的速度停顿并且不会出错? 能否请您尝试使用以下命令再次复制它?

gsutil \
-o "GSUtil:parallel_thread_count=1" \
-o "GSUtil:sliced_object_download_max_components=8" \
cp gs://my-storage-bucket/dataset1 /home/user/data

基本上,将两个参数传递给 gsutil 以设置切片对象的线程数和最大组件。

参考:https://cloud.google.com/storage/docs/gsutil/commands/cp

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...