创建具有可变架构的Pyspark数据框

问题描述

我想创建一个pyspark数据框，其中有一列具有可变模式。所以我的数据框看起来像这样：

| Id | Variable_Column                  |
|----|----------------------------------|
| 1  | [{"col1":"val1"}]                |
| 2  | [{"col1":"val2","col2":"val3"}] |

因此要实现这一目标。我是这样开始的：

schema = StructType([StructField("Id",IntegerType(),True),\
                      StructField("Variable_Column",ArrayType(StructType()),True)\
                               ])
valdict = dict()
valdict["col1"] = "val1"
values = [(1,[valdict])]
df = spark.createDataFrame(values,schema)
display(df)

| Id | Variable_Column |
|----|-----------------|
| 1  | [{}]            |

这样做，我正在创建一个空数组。同样感觉不对，我也希望保留内部列的类型。请提出插入数据的正确方法。 对于我的变量列，我使用的是“ ArrayType(StructType())”，这是要使用的正确列类型吗？

解决方法

您可以如下定义架构：

.checkbox-style {
  border-width: 2px;
  border-color: #ff7255;
}

这将给出如下输出：

schema = StructType([StructField("Id",IntegerType(),True),\
                      StructField("Variable_Column",ArrayType(MapType(StringType(),StringType())),True)\
                                ])

,

解决方案1 ​​

如果只想创建具有可变数量的值的列，则可以使用ArrayType中的StructType。在您的情况下，您定义了一个空的StructType，因此得到的结果。

您可以这样定义一个数据框：

df1 = spark.createDataFrame([ (1,[('name1','val1'),('name2','val2')]),(2,[('name3','val3')])],['Id','Variable_Column'])
df1.show(truncate=False)

与您提供的示例相对应：

+---+----------------------------+
|Id |Variable_Column             |
+---+----------------------------+
|1  |[[name1,val1],[name2,val2]]|
|2  |[[name3,val3]]              |
+---+----------------------------+

请注意，在这种情况下，您无需显式定义架构，但如果需要，它将看起来像这样（可以调用df1.schema进行打印）：

schema = StructType([
             StructField('Id',LongType()),StructField('Variable_Column',ArrayType(StructType([
                   StructField('name',StringType()),StructField('value',StringType())
             ])))
         ])

解决方案2

非常相似，您可以像这样使用MapType类型：

df2 = spark.createDataFrame([ (1,dict([('name1','val2')])),dict([('name3','val3')]) )
              ],'Variable_Column'])
df2.show(truncate=False)

+---+---------------------------------+
|Id |Variable_Column                  |
+---+---------------------------------+
|1  |Map(name2 -> val2,name1 -> val1)|
|2  |Map(name3 -> val3)               |
+---+---------------------------------+

解决方案3

在评论中，您说您还需要变量类型。使用数据框是不可能的。如果这确实是您想要的，那么您可能没有使用正确的工具。但是，如果只是一个极端的情况，您可以将数据类型的记录保存在这样的字符串中：

df3 = spark.createDataFrame([ (1,'val1','string'),'0.6','double')]),'3','integer')])],'Variable_Column'])
df3.show(truncate=False)

+---+-----------------------------------------+
|Id |Variable_Column                          |
+---+-----------------------------------------+
|1  |[[name1,val1,string],0.6,double]]|
|2  |[[name3,3,integer]]                      |
+---+-----------------------------------------+