Azure Synapse Analytics Spark pool vnet 集成解决方案

问题描述

所以我希望能够将一些 ETL 管道从 Azure Databricks 转移到 Azure Synapse Analytics,但我在 vnet 集成方面遇到了一些问题。

案例如下: 我们有一个与 VNG-vnet 对等的 vnet,该 vnet 提供对本地 sql 服务器的访问。对于这些 ETL,我需要能够访问上述 sql 服务器。

Azure Databricks 通过让我分配特定子网而不是为我管理网络的工作区解决了这个问题:

resource "azurerm_subnet_network_security_group_association" "databricks_pub_sub_nsg_assos" {
  subnet_id                 = azurerm_subnet.databricks_pub_sub.id
  network_security_group_id = azurerm_network_security_group.databricks_nsg.id
}


resource "azurerm_subnet_network_security_group_association" "databricks_priv_sub_nsg_assos" {
  subnet_id                 = azurerm_subnet.databricks_priv_sub.id
  network_security_group_id = azurerm_network_security_group.databricks_nsg.id
}



resource "azurerm_databricks_workspace" "databricks" {
  name                        = "newcorp-databricks"
  resource_group_name         = azurerm_resource_group.main_rg.name
  managed_resource_group_name = "databricks-resources-rg"
  location                    = azurerm_resource_group.main_rg.location
  sku                         = "premium"
  custom_parameters{
    public_subnet_name  = azurerm_subnet.databricks_pub_sub.name
    private_subnet_name = azurerm_subnet.databricks_priv_sub.name
    virtual_network_id  = var.iver_vnet_id

  }

  depends_on = [azurerm_network_security_group.databricks_nsg]
}

基本上,我想知道是否有人知道如何注入我的 Azure Synapse Spark 集群可以运行的 vnet(子网)?

如果不是:任何人都可以想出一个聪明的方法解决我们仍然在代码中保留 ETL(或 ELT,如果您有存储帐户解决方案?)在代码中 -> 不喜欢 Azure 数据工厂拖/放/config 解决方案。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)