如果唯一可用的过滤器是“afterDate”过滤器,我使用什么策略逐片获取 API 的数据?

问题描述

上下文:

我正在处理一个发送数据的 API,其中每条记录都有两个日期字段 -

  • createdAt
  • validatedAt

API 还提供了 3 个日期过滤器来限制记录数 -

  • createdStartDate
  • createdEndDate
  • validatedAfter

createdStartDate & createdEndDate 过滤器基于 createdAt 字段限制记录,而 validatedAfter 过滤器基于 validatedAt 字段限制记录。

API 至少需要两个过滤器(createdStartDate & validatedAfter,或 createdStartDate & createdEndDate 等)

记录可以在任何时间点进行验证,因此记录可能具有空 validatedAt 值。每条记录也有一个唯一标识符。

问题:

我关心的所有数据都需要有一个非空的 validatedAt

我必须从 2019 年到今天从此 API 中检索数据。然后,每 5 天,我想拉取在这 5 天内经过验证的新记录集。这是为了避免每次都拉取所有数据。

我的数据需要准确且不能遗漏任何经过验证的记录。我怎样才能做到这一点?

我尝试过的:

我想将 createdStartDate 过滤器设置为 2019,并将 validatedAfter 过滤器也设置为 2019。这将获取我需要的数据,直到今天 - 7 月 9 日。然后 5 天后,我可以将 validatedAfter 过滤器更改为 7 月 9 日,它应该会给我新验证的数据。并继续这样。

这里的问题是使用这种过滤器的数据量太大,而且我面临 API 超时,它不支持返回这么多数据。我需要分开通话。

任何帮助都会很棒!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)