问题描述
使用python / dbutils,如何在Databricks文件系统(DBFS)中递归显示当前目录和子目录的文件。
解决方法
关于dbutils.fs.ls(和%fs magic命令)的令人惊讶的事情是它似乎不支持任何递归开关。但是,由于ls函数返回FileInfo对象的列表,因此以递归方式遍历它们以获取全部内容非常简单,例如:
def get_dir_content(ls_path):
dir_paths = dbutils.fs.ls(ls_path)
subdir_paths = [get_dir_content(p.path) for p in dir_paths if p.isDir() and p.path != ls_path]
flat_subdir_paths = [p for subdir in subdir_paths for p in subdir]
return list(map(lambda p: p.path,dir_paths)) + flat_subdir_paths
paths = get_dir_content('/databricks-datasets/COVID/CORD-19/2020-03-13')
[print(p) for p in paths]
,
可以使用生成器和 yield
运算符完成替代实现。您必须至少使用 Python 3.3+
作为 yield from
运算符并查看此 great post 以更好地理解 yield
运算符:
def get_dir_content(ls_path):
for dir_path in dbutils.fs.ls(ls_path):
if dir_path.isFile():
yield dir_path.path
elif dir_path.isDir() and ls_path != dir_path.path:
yield from get_dir_content(dir_path.path)
list(get_dir_content('/databricks-datasets/COVID/CORD-19/2020-03-13'))