使用sharedmem在进程之间共享大型numpy数组的问题

编程问答 2022-08-11

问题描述

我想在某些进程之间共享两个大的numpy数组（大约6GB）。因此，我尝试使用sharedmem.empty（）创建它们的数组，然后将数据复制到其中，但是我遇到了一个错误，无法解决它：

代码：

# data is a numpy array
shared_data = sharedmem.empty(data.shape)
numpy.copyto(shared_data,data)
del data

此代码适用于简单数据：

>>> a = numpy.array([1,2,3,4,5])
>>> b = sharedmem.empty(5)
>>> b
anonymousmemmap([0.,0.,0.])
>>> numpy.copyto(b,a)
>>> b
anonymousmemmap([1.,2.,3.,4.,5.])

但是在实际数据中，我遇到了这个问题：

  File "Python38\lib\site-packages\sharedmem\sharedmem.py",line 891,in __new__
    self = numpy.ndarray.__new__(subtype,shape,dtype=descr,buffer=mm,order=order)
TypeError: buffer is too small for requested array

我很确定我有足够的内存来分配该数组（我使用了具有相同大小的numpy.zeros）。

我该如何解决？

PS我在Windows上使用的是python3.8，我无法在其他方面进行更改。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

arraysarraysnumpypythonshared-memory