问题描述
我正在探索kafka-connect，使用here的spool-dir来加载csv文件。我尝试仅加载3条记录，如下所示。
id,first_name,last_name,email,gender,ip_address,last_login,account_balance,country,favorite_color
1,first1,last1,[email protected],Female,01.0.01.01,2020-02-11T12:57:43Z,28.43,AB,#345678
2,first2,last2,[email protected],02.0.02.02,2020-02-12T15:54:28Z,77.91,CD,#456789
它第一次按预期工作。但是，当我尝试再次运行它时，我看不到该主题的记录。（使用kafka-console-consumer）。我可以在日志中看到以下内容。
Found prevIoUs offset. Skipping 3 line(s). (com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceTask:74)
Finished processing 0 record(s) in 0 second(s). (com.github.jcustenborder.kafka.connect.spooldir.AbstractSourceTask:201)
我想问以下问题。
- 是因为主题正在尝试再次消耗前一个偏移量的记录？
- 是因为文件已移动到
finished.path吗？ - 有时我们的批处理程序必须多次运行它。因此，所有数据将被删除并再次加载。在这种情况下，如何处理以上错误？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）