专注于TEZ查询，在Reducer跨产品上永远占有一席之地

问题描述

我有2张桌子：

db1.main_table (32 GB)
db2.lookup_table (2.5 KB)

查找表只有一列名为id的列，该列也存在并且是main_表的主键。目的是仅查看查询表中的值，并从main_table中删除存在这些值的所有行。 我正在使用此配置单元查询（在TEZ上）突然开始在Reduce中创建叉积 阶段。

insert overwrite table 
db1.main_table 
select * from db1.main_table where nvl(id,'NV') not in (select nvl(id,'RV') from db2.lookup_table);

我之所以使用nvl，是因为我不想删除id列在主表中的空值。

我的查询永远挂在Reducer 2（仅3个容器）上。

我收到有关Reducer 2的警告

INFO：警告：Shuffle Join MERGEJOIN [34] [tables = [$ hdt $ _0， $ hdt $ _1]]在“ Reducer 2”阶段是一个交叉产品

对于这个查询，我得到了以下计划，该计划被挂在TEZ的Reducer 2顶点上。

我们能否建议使用一种方法来使Reducer 2获得更多的容器，或者解决该长期运行的工作。解决方案将不胜感激。

解决方法

1. 如果查找表可以包含许多带有NULL的记录，这意味着至少“ RV”记录在查询中不是唯一的，最好使用DISTINCT来减小联接前的查找大小。但是您说的是“ ..id，它也存在并且是main_ table的主键...”主键是唯一的，并且不是NULL。如果PK约束确实由进程加载查找表强制实施，则不需要DISTINCT和NVL。与主表相同。 PK =唯一+不为空。

2. 如果主表具有许多NULL，并且它们在与之连接之前都将被转换为'NV'，则此值可能会在JOIN reducer上产生偏斜。如果应传递“ NV”，则可以将其从联接中完全排除。

3. 这是最重要的一个。如果查找表足够小以适合内存，请使用Map-Join。阅读有关mapjoin的问题：Hive Map-Join configuration mystery 而且它很小：（2.5 KB）-映射联接应该可以正常工作。

unique,counts = np.unique(x,return_counts=True)
d = {'unique':unique,'counts':count}  # pass the list to a dictionary
df = pd.DataFrame(d) #dictionary object can be easily passed to make a dataframe
df.sort_values(by = 'count',ascending=False,inplace = True)
df = df.reset_index(drop=True) #optional only if you want to use it further