列出所有文件以及DBFS文件夹中的路径Azure Databricks

问题描述

我想列出dbfs中的所有文件，但我还将对文件的最后一次提交附加到路径中。

import sys,os
import pandas as pd

mylist = []
root = "/dbfs/FileStore/tables"
path = os.path.join(root,"Cleansed") 

for path,subdirs,files in os.walk(path):
    for name in files:
        mylist.append(os.path.join(path,name))


df = pd.DataFrame(mylist)
print(df)

这是输出（文件夹只有一个文件）

                                                  0
0  /dbfs/FileStore/tables/Cleansed/processed_file...
1  /dbfs/FileStore/tables/Cleansed/processed_file...
2  /dbfs/FileStore/tables/Cleansed/processed_file...
3  /dbfs/FileStore/tables/Cleansed/processed_file...
4  /dbfs/FileStore/tables/Cleansed/processed_file...

**提取第一行

print(df[0][1])

输出

/dbfs/FileStore/tables/Cleansed/processed_file.csv/_committed_5302825144935910733

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）