使用pyspark将RDD转换为DataFrame

问题描述

我有一个包含以下数据的 spark 文件

物业编号|位置|价格|卧室|浴室|大小|价格平方英尺|状态

我已经使用 rdd 读取了这个文件 a=sc.textFile("/FileStore/tables/realestate.txt")

现在我需要将此 rdd 转换为数据帧。我正在使用下面提到的命令

d=spark.createDataFrame(a).toDF("Property ID","Location","Price","bedrooms","Bathrooms","Size","Price SQ Ft","Status")

但是我收到一个错误 类型错误：无法推断类型的架构：

解决方法

您可以先拆分列：

d = spark.createDataFrame(a.map(lambda x: x.split('|'))).toDF("Property ID","Location","Price","Bedrooms","Bathrooms","Size","Price SQ Ft","Status")

或者等效地，直接在RDD上调用toDF

d = a.map(lambda x: x.split('|')).toDF(["Property ID","Status"])

事实上，我建议为此目的使用 Spark CSV 阅读器，它也可以适当地处理标题：

df = spark.read.csv('/FileStore/tables/realestate.txt',header=True,inferSchema=True,sep='|')