如何获得更好的性能将 ElasticSearch 数据加载到 Hive？

问题描述

我们使用 ElasticSearch StorageHandler 创建了 Hive 外部表，如下所示：

CREATE EXTERNAL TABLE DEFAULT.ES_TEST (
  REG_DATE STRING,STR1     STRING,STR2     STRING,STR3     STRING,STR4     STRING,STR5     STRING
)
ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe'
STORED BY 'org.elasticsearch.hadoop.hive.EsstorageHandler'
TBLPROPERTIES (
  'es.resource'          = 'log-22-20210120','es.nodes'             = '1.2.3.4','es.port'              = '9201','es.mapping.date.rich' = 'false'
);

然后我们尝试将 ES 数据加载到 Hive 托管表中，如下所示：

insert overwrite table elastic.es_log_tab partition(part_log_date)
select *,current_timestamp(),from_unixtime(unix_timestamp(reg_date),'yyyyMMdd')
from   DEFAULT.ES_TEST;

当给定日期的 ES 数据卷到大约 65GB 时，大约需要 10 小时或每分钟 110 万行（总共 6.7 亿行）。

为了在这种情况下获得更好的加载性能，是否有进一步的建议或检查点？如何增加映射器的数量？目前，它正在运行 16 个映射器。希望通过更多的映射器更快地获得它？

请与我分享您的想法和以前的经验。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）