NiFi-合并分页API返回的数据

问题描述

我有一个API,可一次返回200条记录。如果我有600条记录,则需要启动API 3次,以获取具有偏移量的所有记录。这是我获取分页数据的设计:

Configuration for getting paginated data

我的问题是,如何将所有600条记录合并为数组并进一步处理。 (注意:我将实时处理约10万条记录)。我尝试使用MergeContent,但所有记录均未合并。请帮助我。

解决方法

尝试对具有较高阈值的MergeRecordMergeContent进行“ bin”设置。他们将等到有足够的数据或发生用户指定的超时后再向下游发送他们拥有的数据。