旧数据的顺序 I/O 性能

问题描述

我正在学习使用 kafka 和顺序 I/O 是如何工作的。根据我的理解 - 所有数据按顺序写入硬盘(作为日志),因此 - 硬盘臂总是靠近实际数据,它不必移动很多(因为我们有小/没有寻道时间,与写入时间相同)。

但是如果我们在 HDD 中有很多 kafka 数据(具有最大允许保留策略)并且新的消费者组开始获取这些数据怎么办:据我所知 - 新的消费者组将从 0 偏移量和这个 0 偏移量开始读取数据可以在硬盘的完全相反的一侧(随着时间的推移 - 硬盘臂将慢慢移动)。因此,在这种情况下 - HDD arm 必须每次来回移动,因为旧消费者将读取实际数据,而新消费者组读取旧数据。会不会导致相反的效果,所以顺序I/O会减慢整个集群的速度(至少,直到新的消费者组读取所有数据)?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)