如何从SparkR中的数据帧创建表

问题描述

我正在尝试找到一种将数据框转换为要在另一个Databricks笔记本中使用的表的方法。我在R中找不到有关执行此操作的任何文档。

解决方法

首先，使用 SparkR::createDataFrame(R_dataframe) 将 R 数据帧转换为 SparkR 数据帧。然后使用 saveAsTable 函数保存为永久表 - 可以通过其他笔记本访问。如果您尝试从不同的笔记本访问它，SparkR::createOrReplaceTempView 将无济于事。

require(SparkR)
data1 <- createDataFrame(output)
saveAsTable(data1,tableName = "default.sample_table",source="parquet",mode="overwrite") 

在上面的代码中，default 是一些现有的数据库名称，在该名称下将创建一个名称为 sample_table 的新表。