问题描述
首先,我创建了一个天蓝色的databricks笔记本和集群,并能够从datalake访问数据。
现在我必须将此数据加载到本地sql数据库表中。如何将数据从Azure数据块加载到一个本地sql。
我已经看到有火花接头,但无法加载它。
P.S。我的目的地不是Azure sql数据库,而是在内部sql数据库中
解决方法
您可以使用通过JDBC使用的SQL数据库。
Databricks运行时包含用于 Microsoft SQL Server 和 Azure SQL数据库的JDBC驱动程序。
将Azure Databricks工作区连接到本地网络的步骤:
这是有关如何建立从Azure Databricks工作区到本地网络的连接的高级指南。它基于下图所示的中心辐射型拓扑,其中流量通过传输虚拟网络(VNet)路由到本地网络。
此过程需要将 Azure Databricks工作区部署在您自己的虚拟网络中(也称为VNet注入)。
步骤1:使用Azure虚拟网络网关设置传输虚拟网络
步骤2:与传输虚拟网络对等Azure Databricks虚拟网络
步骤3:创建用户定义的路由并将其与Azure Databricks虚拟网络子网关联
步骤4:验证设置
参考: Connect your Azure Databricks Workspace to your on-premises network