允许快速多线程/限制偏移分页的数据库

问题描述

4000万个与类别相关的项目。项目ID是一个字符串值，因为某些提供程序将其标识为INT，而其他提供程序将其标识为UUID。

如果商品价格发生变化，我们必须通过API通知第三者。我们的折扣仅适用于类别。由于我们对类别应用折扣，因此我们需要选择所有属于该类别的商品，然后通过API将更新的信息发送给第三方。

有一个cronjob使用偏移量和限制进行查询。直到我们有更少的物品之前，它还可以，但是变得非常缓慢。 Cronjob不仅用于运行查询，还发送了API请求，每个请求将额外花费300毫秒。

为此，我添加了工作程序（后台运行进程）。他们只是将信息发送到API，因此cronjob任务是运行查询并将每个项目排入队列。它仍然很慢，因为偏移量越高，提取所需的时间就越长。

我试图修改cronjob taks只是为了计算总数并将结果分成多个较小的查询，以供工人选择项目。因此，如果项目总数为750K，则它将分为1..100、101..201 ... 10001..10100，依此类推。但是获得较高补偿的工人又变慢了。

有没有一种方法或数据库可以进行快速多线程/限制偏移分页？我的目标是，一旦cronjob计算出所需的项目，它只会将多个小任务排队给工作人员，并且他们只运行最多100个项目的快速查询，而使用异步操作，它们只会通知API有关项目的更改。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）