问题描述
正如问题所说,我在 dynamoDB 的一个表中有大约 2 亿条数据记录。我正在 nodejs 中编写一个脚本,需要删除没有 TTL 的所有数据。我对此有 3 个想法,我很好奇我应该如何在这么多唱片上做到这一点。
任何信息都有帮助,请告诉我如何去做!谢谢
解决方法
我会选择选项 1 -
检查 Parallel Scan 文档,在此处粘贴一些信息。
Segment — 要由特定工作人员扫描的段。每个工作人员应为 Segment 使用不同的值。
TotalSegments — 并行扫描的总段数。此值必须与您的应用程序将使用的工作线程数相同。
在这里,每个段将在 DDB 在您的表上创建的每个分区上工作。 DDB 中的每个分区为 10GB。随着扫描/读取速度加快,我们现在可以使用 BatchWrites
执行删除操作。