Apache Pulsar Clickhouse Sink - 插入之间是否有间隔?

问题描述

Clickhouse 允许高性能写入,但前提是它们以批量和间隔完成(建议插入之间至少间隔 1 秒)。在用于 Clickhouse batchSize 选项的 JDBC 连接器的文档中存在,但没有关于插入之间的间隔,而且我没有设法在代码中找到插入逻辑(虽然我不是 Java 人)。

这是否意味着没有间隔,而 Pulsar 只是尽可能频繁地插入?

解决方法

我对 Pulsar 一无所知。

建议插入间隔至少为 1 秒

该建议是“每秒插入一次”。 1 秒左右的睡眠时间。

这个建议太基本而且很模糊。

每个项目都是独一无二的,都有自己的环境和要求。

在一个项目中,我插入了 10mil。使用带有 HDD 磁盘的 RAID 10 每分钟的非常宽的行。

在另一个项目中,我使用具有单个 NVME 磁盘的内存部件每秒执行 1000 次插入操作,每秒约 100 行窄行。