使用 Spark SQL 将字符串格式化为日期时间

问题描述

我正在尝试使用 spark sql 从看起来像这样的东西转换和重新格式化存储为字符串的日期列...

30/03/20 02:00

作为日期时间列的东西，看起来像这样......

2020-03-30 02:00 ('YYYY-MM-dd HH:mm')

我不是在使用 python，而是直接在 DBeaver 中将 sql 写入 Spark 数据湖。非常感谢任何帮助。

解决方法

使用 to_timestamp 将字符串日期解析为时间戳列并使用 date_format 将其格式化为所需的模式：

select date_format(to_timestamp(sting_date,'dd/MM/yy HH:mm'),'yyyy-MM-dd HH:mm') as date