Python 中的多进程执行器

问题描述

我正在尝试运行有关 Azure Gen2 数据湖存储的报告。我写了一个下面的递归函数，它进入每个文件夹并列出文件直到最后一级。

def recursive_ls(path: str):
  
    """List all files from path recursively."""
    for file in dbutils.fs.ls(path):
        if file.path[-1] is not '/':
            yield (file.path.split('/')[3:11],file.size)
        else:
            for folder in recursive_ls(file.path):
                yield folder

我有大量文件，因此即使在 2 小时后此功能也没有出现。

这可能会发生，因为它当前由一个进程处理。我需要某种方式在多处理环境中执行这些执行程序函数。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）