我可以在不使用管道的情况下从 Azure Synapse 查询 SQL Server 数据库吗？

问题描述

是否可以使用 Pyspark+sql 从 Azure 突触工作簿对 sql 服务器数据库执行“SELECT”语句查询？

我能够将数据从 sql Server 数据库提取到 Azure Synapse 的唯一方法是创建集成管道。

我刚开始使用 Azure Synapse 和 Apache Spark，因此非常感谢您提供的任何建议。

解决方法

这在理论上是可行的，我已经使用 Azure SQL 数据库进行了测试。我不是 100% 确定它可以与 SQL Server 一起使用。这将需要网络安全是正确的，并且两个数据库之间应该有一条视线。例如，您的 SQL Server 是否在 Azure 中，它们是在同一个 vnet 还是对等 vnet 上？

Synapse notebook 中的一个简单示例：

wp_strip_all_tags()

我的结果：

受 Jovan Popovic 这篇博文的启发：

https://techcommunity.microsoft.com/t5/azure-synapse-analytics/query-serverless-sql-pool-from-an-apache-spark-scala-notebook/ba-p/2250968

出于兴趣，您在笔记本中这样做有什么特殊原因吗？ Synapse 管道是一种完美的实现方式，典型的模式是将数据暂存到数据湖中，例如，您是否需要使用笔记本来实现某些特殊功能？