从远程服务器复制到s3的文件在s3存储桶上不显示状态

问题描述

我正在从远程服务器上将近7 TB的文件和文件夹上载到s3存储桶，但是我看不到s3存储桶上的任何文件。在复制成功的s3上，我只能看到很少的文件。

我有一台ec2服务器，我已经使用此link

安装了一个s3存储桶

在远程服务器上，我正在使用以下脚本。我还测试了此脚本，它对于较小的文件大小也能正常工作

rsync -uvPz --recursive -e "ssh -i /tmp/key.pem" /eb_bkup/OMCS_USB/* appadmin@10.118.33.124:/tmp/tmp/s3fs-demo/source/backups/eb/ >> /tmp/log.txt &

我正在生成的日志文件显示文件正在复制，并且所有相关信息（如传输速度，文件名等）都在复制。但是在s3存储桶中，复制第一个文件后看不到任何文件。>

每个文件大小从500MB到25GB。

为什么我在S3上看不到这些文件？

解决方法

Amazon S3是对象存储服务，而不是文件系统。我建议您使用AWS Command-Line Interface (CLI)复制文件，而不是将S3挂载为磁盘。

AWS CLI包含一个aws s3 sync命令，该命令非常适合您的用途-它将在两个位置之间同步文件。因此，如果出现故障，您可以重新运行它，并且不会复制已经复制的文件。

,

因此，我面临的问题rsync是在目标ec2上复制文件，然后首先创建一个临时文件，然后通过S3存储桶将其写入。因此，多个rsync作业正在运行，并且EC2服务器上的本地ebs卷存储已满。这就是为什么rsync无法创建临时文件，并一直在套接字上进行复制/写入的原因。