如何在Databricks自动化群集上安装库

问题描述

我正在Databricks自动化集群上运行作业，但是该作业继续失败，因为它需要以下库：

com.microsoft.azure:azure-sqldb-spark:1.0.2

但是，集群需要运行才能安装库，但是集群将永远无法运行，因为它会失败……出现catch 22情况。

因此，有人可以让我知道如何在Databricks自动化集群上安装库

从图像中可以看到，没有选择添加任何库

解决方法

可以在“作业”设置中将软件包/库作为依赖项加载。

以下是在自动集群中加载依赖项的步骤。

第一步：从maven存储库下载库。

示例：我已经从Maven存储库下载了（com.microsoft.azure:azure-sqldb-spark:1.0.2）jar文件。

第二步：：将库上传到Databricks工作区。

转到工作区 => 创建 => 库 => 上传先前下载的jar文件=>点击创建。

现在您的工作区中有jar文件。

第3步：：转到创建的作业，将库添加为作业的从属库。

转到创建的工作 => 单击相关库：添加 => 选择库，该库在工作区中可用=>点击确定。