问题描述
我有Kafka集群, log.dirs = / data / kafka 设置为server.properties中的数据目录。 由于这些日志占据了很大一部分,因此我的DATA分区一直保持满满状态。 (谈论主题目录中的二进制日志,如000000000000000.log) 我在文档中阅读了有关此参数的信息 (log.dirs保留日志数据的目录。如果未设置,则使用log.dir中的值)
我还没有完全理解含义 此外,可以删除它们,并且应该配置哪个保留?是否建议将其与数据目录分开? 谢谢
解决方法
Kafka主题是一个或多个Kafka分区的逻辑分组。每个kafka分区本质上是磁盘上的(日志)文件。因此,您发布的kafka数据仅存储在这些文件(日志)中。
log.dirs 告诉kafka在哪里创建这些文件。因此,只要有了新分区(通过增加现有主题的分区或完全创建新主题),您就会在 log.dirs 中看到新文件。
您应该不手动从此文件夹中删除数据。使用 log.retention.hours 配置卡夫卡将数据保留多长时间。