问题描述
我正在执行一项任务,需要从mongodb中删除一些非常大的记录。有时记录在2M到3M之间。我正在努力使它尽可能快。
我的想法是使用某种线程池并将此数字划分为大约20个线程,每个线程都删除集合的一部分。在进一步介绍这种方法之前,我想知道这是否是一种好的(很有希望的)方法。我主要担心的是,如果在mongo中不可能做到这一点,并且我在db中会出现阻塞行为,并且基本上线程将互相等待以完成删除操作。
项目语言是Java / Spring。
解决方法
在“尽可能快”地进行任何操作之前,您需要了解瓶颈的位置(通常是CPU,内存或磁盘),以便您的更改实际上有所作为。
在删除时,删除操作会产生一些开销(客户端必须将命令发送到服务器,服务器必须解析命令,等等)。
假设您有大量删除,使用两个应用程序线程进行删除可能是减少测量挂钟时间的开销的好主意。
要删除的文档大小没关系。
如果假定服务器将由于文档大小而受到I / O约束,那么并发向服务器发送更多请求根本没有帮助(实际上会适得其反)。