列出 Azure Synapse 中 Spark 代码中目录的内容

问题描述

在 Databricks 的 Scala 语言中,命令 dbutils.fs.ls 列出目录内容。但是,我正在 Azure Synapse 中处理笔记本,它没有 dbutils 包。 dbutils.fs.ls对应的Spark命令是什么?

%%scala
  dbutils.fs.ls("abfss://container@datalake.dfs.core.windows.net/outputs/wrangleddata")
%%spark
  // list the content of a directory. ????

解决方法

只需使用 mssparkutils,它是一个粗略的等价物,主要文档页面是 here。一个简单的例子:

mssparkutils.fs.ls("/")
mssparkutils.fs.ls("abfss://container@datalake.dfs.core.windows.net/outputs/wrangleddata")