如何在突触分析Microsoft azure中将 spark_df 作为数据帧读取？

问题描述

如何在突触分析（Microsoft azure）中将 spark_df 读取为数据框，以便我可以在笔记本中使用 Pandas 的必要代码？

spark_df = spark.createDataFrame(filtered_df)
spark_df.write.mode("overwrite").saveAsTable("default.NYC_Taxi")

现在我想将该表作为数据框读取。我尝试了以下代码：

new_df = NYC_Taxi.to_pandas_dataframe()

错误：

NameError : name 'nyc_taxi' is not defined
Traceback (most recent call last):
NameError: name 'nyc_taxi' is not defined

解决方法

您可以像这样使用代码：

spark_df = spark.createDataFrame(filtered_df)

new_df = spark_df.select("*").toPandas()