在clickhouse中选择片键的最佳方法是什么?

问题描述

我想了解如何在 Clickhosue 中选择分片键?以及 clickhosue 如何选择哪个分片? 例如,我有一个包含 3 列的表: 用户身份, 时间戳, city_id。

我应该按 user_id 还是按城市分片?

我使用 murmurHash3_64 函数

murmurHash3_64(city_id = 1) 返回:

┌──murmurHash3_64(1)─┐
│ 956517343494314387 │
└────────────────────┘

我有 3 个分片或 2 个分片时,Clickhouse 中选择分片 ID 的机制是什么?

解决方法

https://clickhouse.tech/docs/en/engines/table-engines/special/distributed/

首先你需要明白为什么你需要通过一些有意义的列进行分片。为什么不能使用 rand()

通常用什么不是问题,因为分片很自然地遵循业务需求。如果您没有这样的要求,那么您应该使用 rand()

CH 使用模运算 + 权重。 这很简单。如果您有 6 个分片,则 956517343494314387 % 6 = 5 === 分片编号为 5。因此具有相同 city_id 的行将被放置在同一个分片上。

因此,如果您选择 city_id 作为分片键,并且城市的分布通常不相等,那么阴影也会不相等。 纽约或墨西哥等大城市的所有行都将在一个分片中。

所以 user_id 看起来更适合作为分片键。