kafka-python中消费参数auto.offset.reset详解

auto.offset.reset参数一般有3种赋值情况

  • none
  • earliest
  • latest

官方介绍作用

kafka中没有offset时,不论是什么原因,offset没了,这是auto.offset.reset配置就会起作用。

赋值说明介绍

1. none

如果没有为消费者找到先前的offset的值,即没有自动维护偏移量,也没有手动维护偏移量,则抛出异常

自动进行 offset 重置,抛出 OffsetoutOfRangeException 异常

2. earliest

在各分区下有提交的offset时:从offset处开始消费

在各分区下无提交的offset时:从头开始消费

表示自动重置到 partition 的最小 offset

3. latest

在各分区下有提交的offset时:从offset处开始消费

在各分区下无提交的offset时:从最新的数据开始消费

认为 latest,表示自动重置到 partition 的最大 offset

相关文章

功能概要:(目前已实现功能)公共展示部分:1.网站首页展示...
大体上把Python中的数据类型分为如下几类: Number(数字) ...
开发之前第一步,就是构造整个的项目结构。这就好比作一幅画...
源码编译方式安装Apache首先下载Apache源码压缩包,地址为ht...
前面说完了此项目的创建及数据模型设计的过程。如果未看过,...
python中常用的写爬虫的库有urllib2、requests,对于大多数比...