是否有适用于 S3 平面文件数据的数据如 SQL 统计的 AWS Athena 元数据?

问题描述

AWS Athena 是否有系统表/视图/函数来报告 S3 平面文件中包含的数据的元数据?

我正在尝试在 AWS athena 中为 S3 中平面文件中保存的数据创建数据质量/覆盖率查询。我可以找到简单的行数,但更高级的东西似乎很难或效率低下。

我来自 MSsql 背景,我可以在其中查询统计信息和索引元数据以查找列的填充情况、NULLS 百分比或最小值、最大值和平均值。

我会使用这种方法来报告 glue 表“Table_A”有 x 行,

Col1 是 100% 填充的,没有空值,最小 val y,最大 val z,平均 val aa。 Col2 已填充 40%,允许 NULL,min val ab,max val ad,avg val NULL

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)