clickhouse如何保证每pk排序关键字一个数据行？

问题描述

我正在努力与Clickhouse保持每个PK的唯一数据行。

我选择此Column base DB来快速表示统计数据，并且对其速度非常满意。但是，这里出现了一些重复的数据问题。

测试表看起来像...

CREATE TABLE test2 (
    `uid`                String COMMENT 'User ID',`name`              String COMMENT 'name'
) ENGINE ReplacingMergeTree(uid)
ORDER BY uid
PRIMARY KEY uid;

让我们假设我将使用此表来联接显示名称（此表中的name字段）。但是，我可以在同一个PK（排序键）中插入很多数据。

例如

INSERT INTO test2
(uid,name) VALUES ('1','User1');
INSERT INTO test2
(uid,'User2');
INSERT INTO test2
(uid,'User3');
SELECT * FROM test2 WHERE uid = '1';

现在，我可以看到具有相同排序键的3行。有什么方法可以使密钥唯一，至少可以防止在密钥存在的情况下插入？

让我们考虑以下情况

表和数据是

CREATE TABLE blog (
    `blog_id` String,`blog_writer` String
) ENGINE MergeTree
ORDER BY tuple();


CREATE TABLE statistics (
    `date` UInt32,`blog_id` String,`read_cnt` UInt32,`like_cnt` UInt32
) ENGINE MergeTree
ORDER BY tuple();


INSERT INTO blog (blog_id,blog_writer) VALUES ('1','name1');
INSERT INTO blog (blog_id,blog_writer) VALUES ('2','name2');

INSERT INTO statistics(date,blog_id,read_cnt,like_cnt) VALUES (202007,'1',10,20);
INSERT INTO statistics(date,like_cnt) VALUES (202008,20,0);
INSERT INTO statistics(date,like_cnt) VALUES (202009,3,1);
INSERT INTO statistics(date,'2',11,2);

这是汇总查询

SELECT
    b.writer,a.read_sum,a.like_sum
FROM
     (
         SELECT
            blog_id,SUM(read_cnt) as read_sum,SUM(like_cnt) as like_sum
         FROM statistics
         GROUP BY blog_id
     ) a JOIN
     (
         SELECT blog_id,blog_writer as writer FROM blog
     ) b
    ON a.blog_id = b.blog_id;

此刻它可以正常工作，但是如果出现新的低点，如

INSERT INTO statistics(date,60,0);

我期望的是更新低，“ name1”'read_sum的总和为73。但它显示93，因为它允许重复插入。

有什么办法

• 防止重复插入
• 或在表格中设置唯一的保证PK

谢谢。

解决方法

我不认为这是解决问题的方法，但至少从商业角度来说，我以这种方式绕过了问题。

由于clickhouse正式不支持修改表数据。（它们提供ALTER TABLE ... UPDATE | DELETE，但最终它们将重写表）我将表分成多个小分区（在我的情况下，一个分区约有50,000个数据），如果出现重复的数据，则1）删除分区2）再次重新插入数据。在上述情况下，我总是在插入之前执行ALTER TABLE ... DROP PARTITION语句。

我也尝试过ReplacingMergeTree，但是仍然发生数据重复。（也许我不明白如何使用该表，但是我给出了一个排序键-当我插入重复的数据时，同一数据中有多个数据排序键）

,

想到的一件事是ReplacingMergeTree。它不能保证立即没有重复，但最终会做到。如文档所述：

重复数据删除仅在合并期间发生。合并发生在 背景在未知的时间，因此您无法为此做准备。某些 数据可能仍未处理。

我个人使用的另一种方法是引入另一个名为_ts的列-插入行时的时间戳。这样，您就可以跟踪更改，并借助clickhouse漂亮的{​​{1}}，可以轻松获取给定pk的行的最新版本。

limit by

选择看起来像这样：

CREATE TABLE test2 (
    `uid`               String COMMENT 'User ID',`name`              String COMMENT 'name',`_ts`               DateTime
) ENGINE MergeTree(uid)
ORDER BY uid;

实际上，您不需要pk，只需在SELECT uid,name FROM test2 ORDER BY _ts DESC LIMIT 1 BY uid; 中指定需要行唯一的行/行即可。

,

除了ReplacingMergeTree异步运行重复数据删除之外，因此您可以临时复制具有相同pk的行，还可以使用CollapsingMergeTree或VersionedCollapsingMergeTree。

使用CollapsingMergeTree，您可以执行以下操作：

CREATE TABLE statistics (
    `date` UInt32,`blog_id` String,`read_cnt` UInt32,`like_cnt` UInt32,`sign` Int8

) ENGINE CollapsingMergeTree(sign)
ORDER BY tuple()
PRIMARY KEY blog_id;

唯一的警告是在重复的PK的每个插入上，您必须取消先前的寄存器，如下所示：

# first insert
INSERT INTO statistics(date,blog_id,read_cnt,like_cnt,sign) VALUES (202008,'1',20,1);

# cancel previous insert and insert the new one
INSERT INTO statistics(date,-1);
INSERT INTO statistics(date,11,2,1);