问题描述
我有一个数据处理方面的密集型项目。我正在处理一个集群。我有一个问题，我想了解我可以使用哪些现有的并行化库。
让我们说
- 每个节点有 128 GB 的内存和 16 个 cpu
- 我想要读取 500 GB 的数据
- 每个节点将读取一小部分数据
- 每个节点将与其他节点通信它需要哪些数据并为每个其他节点收集信息。
我会用 mpi4py 来实现这部分。之后，
- 我想使用
multiprocessing模块使用节点中的所有 cpu 进行计算。
我认为最后一点被称为多线程。
我知道在用 C 编写代码时可以联合使用 openMP 和 MPI，我想为 python 找到一个类似的并行化策略。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）