Synapse Analytics 与 SQL Server 2019 大数据集群

问题描述

除了 OLAP 和 OLTP 差异之外,有人可以解释 sql Server 2019 BDC 与 Azure Synapse Analytics 之间的差异吗?为什么要在 sql Server 2019 BDC 上使用 Analytics?

解决方法

Azure Synapse Analytics 是一个基于云的 DWH,与 DataLake、ADF 和 PowerBI 设计人员紧密集成。它是一种 PaaS 产品,在本地不可用。 DWH 引擎是 MPP,具有有限的 polybase 支持 (DataLake)。

它还允许 ypu 在需要时配置 Apache Spark。

SQLServer 2019 大数据集群是一个基于 Kubernetes 的 IaaS 平台。它可以在 VM 或 OpenShift 或 AKS Any 云上本地实施)。

它的数据虚拟化支持非常好,支持 ODBC 数据源和数据池以支持数据虚拟化 - 通过 Polybase 实现。

Apache Spark 构成了大数据计算。

虽然它不是像 Synapse 那样的 MPP,但由于 Kubernetes 中的 Pod,可以通过 VMSS 等可扩展性功能动态创建多个 Pod。

如果您想要本地分析功能,您将使用 SQLServer 2019 BDC,但如果您想要具有分析功能功能的基于云的 DWH,您将使用 Synapse

,

解释 SQL Server 2019 BDC 与 Azure Synapse Analytics 之间的区别

服务器是 OLTP,Synapse 是 OLAP。 :D

OLAP 和 OLTP 以外的区别?为什么要在 SQL Server 2019 BDC 上使用 Analytics?

纯粹从术语的角度来看,他们的产品管理人员不知道他们在做什么。

  • SQL Server”是一个 DYI/本地/由您管理的数据库。
  • 完全 Azure 托管的 SaaS 版本的 SQL Server 称为 Azure SQL Database
  • 他们还有“Azure SQL 托管实例”和“Azure VM 上的 SQL Server”。
  • Azure Synapse 更名为专用 SQL 池。
  • Azure Synapse On-demand 已重命名为 Serverless SQL-Pools。
  • Azure Synapse Analytics = 专用 + 无服务器 + 一系列机器学习服务。

假设您的问题是:

为什么要在 SQL Server 上使用“Azure Synapse Dedicated or Serverless”?

  • SQL Server 是本地 DIY,其他是 SaaS,完全由 Azure 管理。随之而来的是 SaaS 的所有优点/缺点,例如没有资本支出、没有管理、弹性、非常大的规模,......
  • Synapse 的 USP 是 it's MPP,而 SQL Server 没有。虽然我看到 SQL Server 支持 Polybase 和 EXTERNAL TABLES 之类的东西。
  • 由于 MPP 架构,Synapse 的事务性能迄今为止最差(我见过)。例如。执行 INSERT INTO xxx VALUES(...) 通过 JDBC 添加一行大约需要 1-2 秒,而使用 COPY 命令导入具有数十万行的 CSV 文件需要 10-12 秒。并且 INSERT INTO 不会随着 JDBC 批处理而扩展。批量插入 100 行需要 100 秒。

您感到困惑不是您的错。 IMO Azure 数据库产品管理(SQL Server、DW、ADP、Synapse、Analytics 和所有这些的其他 10 种风格)不知道从今天起 2 年后他们想要提供什么。每个产品都拥有大数据、Massive 这个那个、ML 和 Analytics、Elastic 这个那个。去图。

PS:如果您还没有,请查看 Snowflake

我不隶属于 Microsoft 或 Snowflake。