如何从分区的配置单元表中删除行？

问题描述

我需要从已分区的 Hive 表中删除特定行。这些要删除的行符合某些条件，因此不能删除整个分区。假设表 Table 有三列：partner、date 和 source_key，它由 date 和 source_key 分区。>

众所周知，hive (See How to delete and update a record in Hive) 中不支持删除或更新特定记录集的操作。

在 this solution 之后，我成功地执行了以下查询，以便保留只匹配某些给定条件的记录，例如：属于某个给定的 date 范围，具有source_key='heaven' 和列 partner<>'angel'...

创建表 Table 的临时空副本。

CREATE TABLE IF NOT EXISTS tmpTable LIKE Table;

用当前行填充它。

INSERT OVERWRITE TABLE tmpTable
PARTITION (date,source_key)
SELECT * FROM Table
WHERE
date >= '2020-05-01' AND date < '2020-11-30' AND
source_key = 'heaven';

删除目标分区。

ALTER TABLE Table DROP IF EXISTS
PARTITION (source_key = 'heaven',date >= '2020-05-01',date < '2020-11-30' );

将编辑好的分区插入到目标表中。 （由于语法错误，无法插入 OVERWRITE）

INSERT INTO Table
PARTITION (source_key,date)
SELECT * FROM tmpTable
WHERE
partner <> 'angel';

删除临时表。

DROP TABLE IF EXISTS tmpTable;

查询运行良好。因为表 Table 是管理的，所以当分区被删除时，hdfs 文件应该被删除，但有些错误（可能在最后一个 INSERT INTO 语句中）因为在执行所有这些查询之后目标表 {{ 1}} 保留给定日期范围内带有 Table 的所有记录，带有 ，基本上保持不变。

错在哪里？有什么不见了？对于这样的Hive表，如何准确删除符合特定条件的特定行？

解决方法

表分区可以直接从自身选择+ WHERE 过滤器中覆盖。该场景非常简单，您不需要任何临时表。如果您不确定会发生什么，请制作备份表。

1. 如果要删除整个分区（而不是覆盖），请执行

   ALTER TABLE TableName DROP IF EXISTS
   PARTITION (<partition spec to be dropped>); --check partition spec to be dropped carefully
   

如果没有要删除的分区，请跳过此步骤。

2. 用过滤的行覆盖其他分区：

   set hive.exec.dynamic.partition=true;
   set hive.exec.dynamic.partition.mode=nonstrict;
   set hive.allow.move.on.s3=true; --If you are on Qubole/S3
   
   insert overwrite table TableName partition (date,source_key ) --partition spec should match table DDL
   select * from TableName 
    where <condition> --condition should be True for rows which NOT be deleted
   

您的代码相当混乱，因为您使用 LIKE 创建了临时表，但使用了不同的分区规范并选择了 *（与原始表中的列顺序相同）。列的顺序应该完全匹配，分区列是最后一个，也是相同的顺序。