如何从 AWS Glue Pyspark 中的 Rundate 减少一周

问题描述

我有一个场景，我在 AWS glue 作业中以“YYYY-MM-DD”格式传递了一个运行日期值。

假设是 2021-04-19。

现在，我将这个运行日期读为 'datetime.strptime(rundate,"%y-%m-%d")'

但现在我想从中创建 2 个变量变量 A 和变量 B，例如-

变量 A= rundate- 2 周（应以 YYYYMMDD 格式保存）

变量 B = rundate- 1 周（应以 YYYYMMDD 格式保存）

然后使用此变量过滤数据框中的数据。

解决方法

使用 datetime lib 使用 timedelta 从您的运行日期中减去 weeks/days..etc。

Example:

Using Python:

import datetime
varA=datetime.datetime.strftime(datetime.datetime.strptime(rundate,"%Y-%m-%d")-datetime.timedelta(days=7),"%Y-%m-%d")
#'2021-04-12'

varB=datetime.datetime.strftime(datetime.datetime.strptime(rundate,"%Y-%m-%d")-datetime.timedelta(days=14),"%Y-%m-%d")
#'2021-04-05'

Using pyspark's Spark session:

rundate='2021-04-19'
varA=spark.sql(f"select string(date_sub('{rundate}',7))").collect()[0][0]
#'2021-04-12'
varB=spark.sql(f"select string(date_sub('{rundate}',14))").collect()[0][0]
#'2021-04-05'