对分布式 Mongo DB

问题描述

我们有一个分布式/共享的 mongo 数据库（5 到 6 个副本）。如果超过 1 岁（即），我想备份大表数据。并备份后删除。 （我不想丢失任何数据，所以我不想完全删除一个集合） 源集合是客户（即） 目标集合是customer_archive

注意：归档数据不应丢失，归档数据中不应有重复的相同数据。我假设我们需要合并/upser 机制。但不知道最好的方法。

1. 归档超过 200-300 GB 数据的最有效方法是什么（即）（每天数百万数据，我的意思是快速增长，因此查询变得困难和性能）
2. 归档集合可能在不同的数据库中，怎么写 脚本？
3. 我如何每月/每天安排该脚本？
4. 如果备份是不同的数据库，你会怎么做（我想先导出并移动到另一个数据库）

我的观点是，首先取不同的名称转储集合。并通过批量插入/批量删除复制和删除年度数据（读取每个 10.000 foreach 提交）。有些人不推荐 foreach 以提高效率，但我认为这是部分删除的唯一方法。 我不知道我是否可以制作一个批处理文件，以便我可以与我们的 BT 团队共享它作为任务调度。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）