Azcopy 将数百万个小 Blob 从存储帐户复制到您的 VM

问题描述

我正在尝试使用 azcopy 命令将数百万个小型 csv 文件从我的存储帐户复制到一台物理机,但我注意到速度非常慢。

azcopy 命令的格式为 Azcopy 复制 --recursive --overwrite=True

并且命令是从物理机运行的。

有没有办法让 azcopy 同时下载多个 blob?而不是一一检查blob?我相信这就是为什么速度下降到 1 mb/秒的低值的原因,因为它正在对这些非常小的 blob 进行逐个检查。或者是否有其他方法可以提高这种 blob 传输的速度?

解决方法

azcopy 使用并行处理等对吞吐量进行了高度优化。我还没有遇到任何可以为您提供整体下载速度更快的工具。根据我的经验,主要的限制因素通常是(显然)网络带宽和 CPU 能力。它使用大量计算资源。那么您能否至少在下载期间在 VM 上增加这两个?