问题描述
我正在使用Spring Integration从S3存储桶中轮询文件。我无法在处理后删除文件,因此添加了S3PersistentAcceptOnceFileListFilter
。我有很多文件,并且经常轮询,这对FILE_SYNC_MetaDATA_STORE
表造成了不必要的压力。
我想知道是否有一个FileListFilter
实现可以过滤自上次轮询以来的新文件/更新文件,而不必为每个文件查询数据库。
解决方法
没有这样的FileListFilter
,但是您绝对可以实现自己的,例如将lastmodified
中最新的S3Object
保存在过滤器中,并在下一次调查中与之比较。这样一来,您的确不会进入为FILE_SYNC_METADATA_STORE
配置的S3PersistentAcceptOnceFileListFilter
表,因为您不会传递给该过滤器。尽管使用自定义lastmodified
过滤器,您可能根本不需要S3PersistentAcceptOnceFileListFilter
...