问题描述
test= {'kpiData': [{'date': '2020-06-03 10:05','a': 'MINIMUMINTERVAL','b': 0.0,'c': True},{'date': '2020-06-03 10:10',{'date': '2020-06-03 10:15',{'date': '2020-06-03 10:20',}
]}
我想将它传输到数据帧对象,如下所示:
rdd = sc.parallelize([test])
jsonDF = spark.read.json(rdd)
这会导致记录损坏。根据我的理解,原因是 True
和 False
不能是 Python 中的条目。所以我需要在 spark.read.json()
之前转换这些条目(为真、真或“真”)。 test 是一个字典,rdd 是一个 pyspark.rdd.RDD 对象。对于 datframe 对象,转换非常直接,但我没有找到这些对象的解决方案。
解决方法
spark.read.json
需要一个 JSON 字符串的 RDD,而不是 Python 字典的 RDD。如果您将字典转换为 JSON 字符串,您应该能够将其读入数据帧:
import json
df = spark.read.json(sc.parallelize([json.dumps(test)]))
另一种可能的方法是使用 spark.createDataFrame
在字典中阅读:
df = spark.createDataFrame([test])
这将使用映射而不是结构提供不同的模式。