问题描述
我正在使用Python Multiprocessing在磁盘上存储的非常大的2D数组上并行运行复杂的计算。我通过加载数组的块，将这些块传递到multiprocessing.Queue，在多进程的工作程序池中对其进行处理，然后将这些结果传递到另一个队列，最后一个工作程序将这些结果写入文件的队列来实现此目的。在磁盘上。
这让我开始思考：Python如何实现在多进程队列中传递数据？我尝试了Googling，但只能找到一般的“如何使用多处理”教程。是否存在某种共享内存对象或使用某种临时文件？如果是后者，那会让我认为我应该重构我的管道，以使工作人员直接读写磁盘-读取，写入临时文件，从临时文件读取等都不会节省任何费用。 / p>
在多处理队列中传递数据时，Python会做任何“聪明”的事情吗？或者它是锁的包装器以及对文件的读/写操作？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）
依赖报错 idea导入项目后依赖报错，解决方案：https://blog....
错误1：gradle项目控制台输出为乱码 # 解决方案：https://bl...