春季集成:自上次投票以来仅提取新文件

问题描述

我正在使用Spring Integration从S3存储桶中轮询文件。我无法在处理后删除文件,因此添加S3PersistentAcceptOnceFileListFilter我有很多文件,并且经常轮询,这对FILE_SYNC_MetaDATA_STORE表造成了不必要的压力。

我想知道是否有一个FileListFilter实现可以过滤自上次轮询以来的新文件/更新文件,而不必为每个文件查询数据库

解决方法

没有这样的FileListFilter,但是您绝对可以实现自己的,例如将lastmodified中最新的S3Object保存在过滤器中,并在下一次调查中与之比较。这样一来,您的确不会进入为FILE_SYNC_METADATA_STORE配置的S3PersistentAcceptOnceFileListFilter表,因为您不会传递给该过滤器。尽管使用自定义lastmodified过滤器,您可能根本不需要S3PersistentAcceptOnceFileListFilter ...