仅当数据帧中存在列时才应用withColumn

问题描述

我在Java 8中使用spark-sql-2.4.1v。我有一种情况，我会将列名作为list / Seq传递给我，对于那些列，我只需要执行某些操作，例如sum，avg，百分比等。

在我的情况下，假设我有column1，column2，column3列。第一次，我将传递column1名称。

将拉/选择“ column1”数据并基于“ column1”执行一些操作。第二次，我将传递column2名称，但是这次没有拉出更早的column1，因此我的数据集不包含“ column1”，因此较早的条件因错误“ AnalysisException：给定输入列无法解析'column1'”而中断。 >

因此，我需要检查列，如果存在某些列，则仅执行与列相关的操作，否则忽略这些操作。

如何在Spark中执行此操作？

对数据库中的数据进行采样。

val data = List(
  ("20","score","school","2018-03-31",14,12,20),("21",13,21),("22","rate",11,22),23)
 )
    val df = data.toDF("id","code","entity","date","column1","column2","column3")
.select("id","column2") /// these are passed for each run....this set will keep changing.



  Dataset<Row> enrichedDs = df
             .withColumn("column1_org",col("column1"))
             .withColumn("column1",when(col("column1").isNotNull(),functions.callUDF("lookUpData",col("column1").cast(DataTypes.StringType)))
                  );

以上逻辑仅在选择列“ column1”可用时适用。这在第二个集合中失败，因为未选择“ column1”，因此我需要一些理解，为什么这仅在选定的列作为“ column1”可用时才适用。我需要一些逻辑来实现这一目标。

解决方法

检查是否有帮助-

you can filter out columns,and process only valid columns

df.show(false)
    /**
      * +---+-----+------+----------+-------+-------+-------+
      * |id |code |entity|date      |column1|column2|column3|
      * +---+-----+------+----------+-------+-------+-------+
      * |20 |score|school|2018-03-31|14     |12     |20     |
      * |21 |score|school|2018-03-31|13     |13     |21     |
      * |22 |rate |school|2018-03-31|11     |14     |22     |
      * |21 |rate |school|2018-03-31|13     |12     |23     |
      * +---+-----+------+----------+-------+-------+-------+
      */
    // list of columns
    val cols = Seq("column1","column2","column3","column4")
    val processColumns = cols.filter(df.columns.contains).map(sqrt)
    df.select(processColumns: _*).show(false)

    /**
      * +------------------+------------------+-----------------+
      * |SQRT(column1)     |SQRT(column2)     |SQRT(column3)    |
      * +------------------+------------------+-----------------+
      * |3.7416573867739413|3.4641016151377544|4.47213595499958 |
      * |3.605551275463989 |3.605551275463989 |4.58257569495584 |
      * |3.3166247903554   |3.7416573867739413|4.69041575982343 |
      * |3.605551275463989 |3.4641016151377544|4.795831523312719|
      * +------------------+------------------+-----------------+
      */

不确定我是否完全理解您的要求，但是您是否只是根据数据框中可用的哪些列（在执行之前不知道）来尝试执行一些条件操作？

如果是这样，Dataframe.columns将返回您可以解析并相应选择的列的列表

即

df.columns.foreach { println }

apache-spark apache-spark-sql dataframe