Spark Structured Streaming 自定义分区目录名

问题描述

我正在将流式作业（Kafka 主题 -> AWS S3 Parquet 文件）从 Kafka Connect 移植到 Spark 结构化流式作业。

我按年/月/日对数据进行分区。

代码很简单：

        df.withColumn("year",functions.date_format(col("createdAt"),"yyyy"))
        .withColumn("month","MM"))
        .withColumn("day","dd"))
        .writeStream()
        .trigger(processingTime='15 seconds')
        .outputMode(OutputMode.Append())
        .format("parquet")
        .option("checkpointLocation","/some/checkpoint/directory/")
        .option("path","/some/directory/")
        .option("truncate","false")
        .partitionBy("year","month","day")
        .start()
        .awaitTermination();

输出文件位于以下目录中（如预期）：

/s3-bucket/some/directory/year=2021/month=01/day=02/

问题：

有没有办法自定义输出目录名称？我需要它

/s3-bucket/some/directory/2021/01/02/

出于向后兼容的原因。

解决方法

不，无法将输出目录名称自定义为您在 Spark Structured Streaming 应用程序中提到的格式。

分区基于特定列的值，如果目录路径中没有它们的列名，它们的值属于哪一列就会不明确。您需要编写一个单独的应用程序，将这些目录转换为所需的格式。