我们如何在 AWS Athena 中生成统计信息,为什么 athena 不支持 Analyze Table Compute Statistics 命令?

问题描述

我需要计算 gluE 中表格的统计信息。以下是我为计算表的统计信息而创建的当前设置。

  1. 创建一个指向 S3 位置的外部表
  2. 读取数据帧中的 S3 位置数据
  3. 应用多个聚合函数生成统计信息,例如 - max,min,countdistinct,Average Length
  4. 使用update_column_statistics_for_table boto3 API 将此统计信息推送到 gluE 表

但是当前的设置需要很长时间才能生成 1 个表的统计信息。

我想直接运行一个分析表计算统计,就像我们在 Databricks 中所做的那样。

如果您有更好的选择/解决方案,请提供。

非常感谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)