Athena Engine V1 到 V2 在结构柱上变慢

问题描述

我在 Athena 上运行了一个 sql 查询，该查询已按计划可靠地运行了 6 个月，执行时间通常为 1-2 分钟。在 Athena 引擎从 V1 升级到 V2 之后，性能下降到 20 分钟以上，并且在许多情况下导致 Query 在此比例因子错误下耗尽资源。我认为这与结构列的使用有关。当我简单地为 struct 列返回 * 时，它会快速返回。

这是一个简化的例子


select 'CURRENT ACTIVE'     as record_type,value.file_timestamp as servicer_file_date,value.cardholder_base_segment.base_account_number,-- tokenized account id
                value.sls_syd_segment.card_actd_dt,-- card activation date
                value.cardholder_base_segment.orgn_acct_dt,-- Account Original Open Date
                value.current_activity_segment.current_balance,-- current balance
          where value.file_timestamp = (select max(value.file_timestamp) as max_file_date
          from datalake_database.my_credit_card_data);

有没有其他人遇到过同样的问题？如果是这样，您能否找到解决方法？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

amazon-athena presto