Clickhouse 将 kafka 导入线程优先于其他查询

问题描述

TLDR;有什么方法可以将 kafka 引擎导入线程的优先级置于任何其他 CH 线程之上,或者我可以为 kafka 消费者保留 cpu 吗?

在我的设置中,发出大查询时 kafkalag 增加太多。我猜,这是因为当 cpu 负载过多时,导入线程没有获得足够的 cpu 时间。我尝试为用户设置最大线程上限并设置不错的值。似乎没有任何效果,因此欢迎提供任何建议。

解决方法

升级到 20.9.7.11

使用设置 kafka_num_consumers=5(10),kafka_thread_per_consumer=1

重新创建 kafka 引擎表

添加到默认配置文件 (users.xml) background_schedule_pool_size=30