多处理池产生太多线程

问题描述

如果我运行以下python代码

def dummy(t):
    A = np.random.rand(10000,10000)
    inv = np.linalg.inv(A)
    return np.linalg.norm(inv)


if __name__ == "__main__":
    with multiprocessing.Pool(2) as pool:
        print(pool.map(dummy,range(20)))

产生了超过指定的2个进程，或者至少看起来是这样。更具体地说，当我使用htop监视系统时，它将所有线程显示为繁忙，即100％CPU使用率。 我希望只有2个线程能显示100％的使用率，但也许这个假设是错误的。

奇怪的是，如果矩阵大小增加（增加10倍），则只有2个指定的线程处于繁忙状态。

使用的python版本：3.6.9 / 3.8.5。 机器：具有40个内核的skylake服务器。

解决方法

正如@Booboo的注释所暗示的那样，该示例包含未考虑的其他并行性。 numpy.linalg.inv调用很可能在后台使用某种多线程。因此，仅与Pool构造函数中指定的进程数一样多的硬件线程的假设是无效的。如果附加并行性的来源已知并且可以被禁用，则可以实现预期的行为。