如何从突触中的数据库加载表到默认值spark？

问题描述

我正在尝试将位于突触天蓝色中的数据库中的表加载到默认值（spark），以便我可以调用该表来运行相应的 Pandas 代码。但是我做不到。

%%spark
val df = spark.read.sqlanalytics("emea***********.rpt.Vw_APInvoices") 
df.write.mode("overwrite").saveAsTable("default.t1")

错误：

Error : com.microsoft.spark.sqlanalytics.exception.sqlAnalyticsConnectorException: The specified table does not exist. Please provide a valid table.
  at com.microsoft.spark.sqlanalytics.read.sqlAnalyticsReader.readSchema(sqlAnalyticsReader.scala:103)
  at org.apache.spark.sql.execution.datasources.v2.DataSourceV2Relation$.create(DataSourceV2Relation.scala:175)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:204)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:167)
  at org.apache.spark.sql.sqlAnalyticsConnector$sqlAnalyticsFormatReader.sqlanalytics(sqlAnalyticsConnector.scala:42)
  ... 52 elided

解决方法

错误信息明确指出 - The specified table does not exist. Please provide a valid table.

Error : com.microsoft.spark.sqlanalytics.exception.SQLAnalyticsConnectorException: The specified table does not exist. Please provide a valid table.

在运行上面的代码之前确保指定的表存在。

参考： Azure Synapse Analytics - Load the NYC Taxi data into the Spark nyctaxi database.

azure azure azure azure-synapse