如何使用 AWS Glue ETL 工具从 S3 读取文件名

问题描述

我在 S3 中有一些看起来像这样的文件（都在同一路径中）：

group1_20210415.csv
group2_20210415.csv
group1_20210416.csv
group2_20210416.csv

每个文件的架构相当简单：

group1_name,group1_id
group2_name,group2_id

我希望能够使用 Athena 从 S3 查询这些名称和 ID，并在存在新文件时使用 AWS glue 抓取该 S3 位置。

具体来说，我想在 Athena 中有一个带有架构的表：

group1_name,group1_id,group2_name,group2_id,hit_date

我的直觉是使用 AWS glue PySpark 将 S3 文件中的数据组合成单个 DataFrame，这很简单。但是，每个文件的日期存在于文件名本身中，而不存在于数据中。

有没有办法提取文件名的“日期”部分并将其用作 AWS glue PySpark DataFrame 中的列？如果没有，是否有人的直觉建议了另一种方法？

解决方法

你可以试试这个：data_frame.withColumn("input_file",input_file_name()) 然后，您可以转换此列以提取日期。