从Azure Blob存储中获取最新文件

问题描述

我的azure blob存储中有多个文件,例如

上次修改名称 data-GUID1 1月1,20 data_guid2 1月2日,20

如何获取最近“最后修改”的文件,例如data_guid2?

目前,我对名称进行了硬编码:

 file_location=  /dbfs/mnt/blob/container/data_Guid1

谢谢。

解决方法

您可以获取所有文件名的列表,然后编写要查找的最新自定义代码(即,找到末尾编号最大的代码)

您可以使用dbutils.fs.ls(“”)函数获得此列表:https://kb.databricks.com/data-sources/wasb-check-blob-types.html

您的块容器的网址将具有以下格式:

wasbs://<containername>@<accountname>.blob.core.windows.net/<file.path>/

如果您在使用此方法时遇到麻烦,或者还想获取文件的“上次修改时间”时间戳,请查看此链接以获取在blob目录中列出文件的其他方法:https://kb.databricks.com/data-sources/wasb-check-blob-types.html