将s3文件下载到临时文件

问题描述

我正在编写一个脚本，该脚本将从s3下载大量文件。我知道我可以将所有文件写入目录，然后从那时开始使用这些文件。我确实希望这些s3文件中包含文本，但是考虑到我想避免全部下载，因此我想避免很多事情。过去，我将它们下载到一个垃圾目录，然后删除了该目录，但是我想要一个更优雅的解决方案。下面是我从s3下载信息的代码

s3 = boto3.resource('s3',aws_access_key_id=ACCESS_KEY,aws_secret_access_key=SECRET_KEY)
# select bucket
my_bucket = s3.Bucket('<bucket_name>')
for item in my_bucket.objects.all():
    my_bucket.download_file(item.key,f'../<junk_directory>/{filename}')

我希望理想地使用tempfile软件包，因为它似乎很适合我的需求。有没有办法将临时文件传递给filename中的download_file参数？

This堆栈问题讨论了有关操纵临时文件的问题，我不认为如何修改解决方案以与s3一起使用。我将如何临时下载s3内容以提高存储和性能？

提前谢谢！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）