如何通过 Azure 数据砖连接我的窗口网络共享路径

问题描述

我在本地 Windows 网络文件共享路径中有文件。我可以使用自托管 IR 通过 Azure ADF 访问该文件。但是我们需要通过数据块加载这些文件。

已经尝试过下面的代码

spark.read.csv('file:///networkpath/folder/',header="true",inferSchema="true")

还尝试通过用户界面上传手动加载文件，它工作正常。

但需要知道如何将此文件自动上传到 DFS 文件系统。

解决方法

很遗憾，Azure Databricks 不支持连接 Windows 网络共享。

注意：强烈建议：不要在默认 DBFS 文件夹中存储任何生产数据

有多种方法可以将文件从本地计算机上传到 Azure Databricks DBFS 文件夹。

方法 1：使用 Azure Databricks 门户。

方法 2：使用 Databricks CLI

DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开易于使用的命令行界面。使用此客户端，您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

方法三：使用第三方工具DBFS Explorer

DBFS Explorer 是为了快速上传和下载文件到 Databricks 文件系统 (DBFS) 而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名令牌才能进行连接。

第一步：下载并安装 DBFS Explorer 并安装。

Step2：打开 DBFS Explorer 并输入：Databricks URL 和 Personal Access Token

Step3：从本地选择你要上传文件的文件夹，拖拽到要上传的文件夹中，点击上传。