无法使用 reducer 和 mappers 在 hive 中加快查询速度

编程问答 2022-05-26

问题描述

所以我一直致力于将数据从 oracle 传输到具有 parquet 格式的 hive。

格式如下：

create external table if not exists 
partitioned by(datee string)
stored as parquet
tblproperties ('hive.exec.compress.output'='true','parquet.compression'='SNAPPY')

我的问题是如何将这个查询（大约 4 小时）调整为 5 分钟查询？

我已经尝试了这些组合的这个查询（放在我的查询之前）：

set hive.vectorized.execution.enabled = true;
sethive.vectorized.execution.reduce.enabled = true;

set hive.vectorized.execution.enabled=false;
set hive.vectorized.execution.reduce.enabled=false;
set hive.execution.engine=tez;

set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;

但结果无济于事。

任何想法将不胜感激！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

hiveqlparquetperformanceperformanceperformancequery-optimization