Hive Tez查询失败，并出现java.io.IOException

问题描述

执行长时间运行的Hive Tez查询，它很少会因以下原因而失败：

java.io.IOException: File hdfs://XXX with newer attempt ID 1 is smaller than the file hdfs://YYY with older attempt ID 0

在我们的20节点HDP 3.1.5集群（Hive 3.1.0和Tez 0.9.1）中，它在执行大约200次后失败一次

解决方法

我们在哪里击中HIVE-23354

似乎没有解决方法。它在Hive 4.0.0中解决了

,

我在查询有很多大连接时遇到了同样的问题。减少（在我的情况下为 512 mb-> 16 mb）适合内存的表的大小，即 hive.auto.convert.join.noconditionaltask.size 为我解决了这个问题。

堆栈：HDP 3.1.4、Tez 0.9.1、Hive 3.1.0。