如何将Python结果写入synapse azure数据库？

问题描述

我正在尝试使用以下代码将笔记本中使用 pyspark 获得的结果作为表写入数据库：

%%pyspark
sample=sample.head()

%%spark
spark.conf.set("spark.sql.execution.arrow.pyspark.enabled","true")
park_df = spark.createDataFrame(sample)
park_df.write.mode("overwrite").saveAsTable("default.sample")

不幸的是，我收到以下错误：

Error : <console>:31: error: not found: value park_df
val $ires9 = park_df
             ^
<console>:29: error: not found: value park_df
       park_df = spark.createDataFrame(sample)

解决方法

您可以尝试下面的代码将python结果写入synapse azure数据库：

%%pyspark
sample = [('CA',22,45000),('WA',35,65000)]
spark.conf.set("spark.sql.execution.arrow.pyspark.enabled","true")
park_df = spark.createDataFrame(sample,['state','age','salary'])
park_df.write.mode("overwrite").saveAsTable("default.sample")