为什么Impala花大量时间打开HDFS文件TotalRawHdfsOpenFileTime？

问题描述

我发现我的Impala群性能不稳定，通常只需要几秒钟（不到10s）即可完成查询，但是偶尔会花费40s以上的时间（这种情况会持续几分钟），发生这种情况时，根据配置文件，TotalRawHdfsOpenFileTime非常高，这意味着大部分时间都花在了打开HDFS文件上。

那么可能的原因是什么，我该如何解决呢？

解决方法

这是打开文件所花费的时间。如果您要查询HDFS，这通常意味着它在花时间从namenode获取数据。

通过启用文件句柄缓存-https://docs.cloudera.com/documentation/enterprise/5-15-x/topics/impala_scalability.html#scalability_file_handle_cache

，我们看到了许多生产部署中的重大改进，从而使该瓶颈陷入困境