将 int YYYYMMDD 转换为日期 pyspark

问题描述

我正在尝试使用 Pyspark 将 Databricks 中的 INT 列转换为日期列。 该列如下所示：

['[0,1]','0','1'].flat_map { |e| e.scan(/\d+/) }
# ["0","1","0","1"] 

我正在尝试使用 CAST 功能

Report_Date
20210102
20210102
20210106
20210103
20210104

但我收到以下错误：

由于数据类型不匹配，无法解析 'CAST(`Report_Date` AS DATE)'：无法将 int 转换为日期；

你知道我怎样才能得到预期的输出吗？

解决方法

先转换为字符串类型，然后使用to_date：

import pyspark.sql.functions as F

df2 = df.withColumn(
    "Report_Date",F.to_date(F.col("Report_Date").cast("string"),"yyyyMMdd")
)