Impala-在Nifi中完成复制后将数据Kudu表复制到镶木地板并删除Kudu数据的最佳做法

问题描述

当前，我正在使用以下INSERT INTO查询将数据从kudu复制到镶木地板，然后再从前者删除数据，同时等待时间窗口降落kudu partition。

PS-ts用作我的范围分区。

INSERT INTO db_name.parquet_table_name PARTITION (`year`,`month`,`day`)
SELECT *,CAST(YEAR(FROM_UNIXTIME(ts)) AS SMALLINT) AS `year`,CAST(MONTH(FROM_UNIXTIME(ts)) AS tinyint) AS `month`,CAST(DAY(FROM_UNIXTIME(ts)) AS tinyint) AS `day`

FROM db_name.kudu_table_name
WHERE ts BETWEEN ts_2_hours_ago AND  ts_4_hours_ago

将500万行复制到镶木地板中，然后我以相同的ts范围运行DELETE FROM查询，以从kudu中删除数据，以使两个表中都没有重复的数据。

DELETE FROM db_name.kudu_table_name
WHERE ts BETWEEN ts_2_hours_ago AND  ts_4_hours_ago

两个查询都使用Putsql处理器运行

通过使用更好的查询结构或Nifi处理器，是否有更好的方法来处理数据移动。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）