问题描述
我需要创建一个进程要推送到的共享内存，另一个进程要从中采样。为了最大程度地减少共享内存被锁定的时间，我尝试为共享内存缓冲区中的每个索引创建一个锁。
运行此命令时，出现错误：FirebaseError: Firebase: Firebase App named '[DEFAULT]' already exists (app/duplicate-app).
at initializeApp (https://www.gstatic.com/firebasejs/7.6.1/firebase.js:1:72088)
at Object.Os.initializeApp (https://www.gstatic.com/firebasejs/7.6.1/firebase.js:1:75732)
at _callee$ (webpack-internal:///./src/reducers/global/firebase/actions.ts:178:26)
。 （以下是堆栈跟踪的缩写）
如何对长度大于100,000的共享内存缓冲区实现粒度控制，以便读取某些段而写入其他段？我还可以使用其他构造吗？
OSError: [Errno 23] Too many open files in system我正在使用docker镜像In [1]: import multiprocessing as mp
...: from multiprocessing.shared_memory import SharedMemory
...:
...: class Memory:
...: def __init__(self,length):
...: self.shm = SharedMemory(create=True,size=length)
...: self.locks = [mp.Lock() for _ in range(length)]
...:
...: def __getitem__(self,item):
...: return int.from_bytes(self.shm.buf[item],'big')
...:
...: def __setitem__(self,key,value):
...: assert isinstance(value,int)
...: self.shm.buf[key] = value.to_bytes(1,'big')
...:
In [2]: m = Memory(100_000)
---------------------------------------------------------------------------
OSError Traceback (most recent call last)
<ipython-input-2-2c6433483d72> in <module>
----> 1 m = Memory(100_000)
...
OSError: [Errno 23] Too many open files in system
在Kubernetes上运行它。
gitlab-registry.nautilus.optiputer.net/ian/torch:latest返回ulimit。
无论如何，在Kubernetes上设置unlimited显然是open issue。
更多详细信息：
- 在实际的实现中，我设置了跨步，以使每个键索引
ulimit个字节组成六个不同的对象，这些对象是28240和int数组的混合。 - 输入由我试图保持为空的队列提供。即使我在整个缓冲区上设置了锁定，这方面的工作也很好。
推力工人：
numpy- 如果我在整个缓冲区上设置了锁定，则即使我将其设置为比应有的大小大，输出队列也会在满和空之间振荡。我试图保持输出队列满。
样本工作者：
def _push_worker(self) -> None:
buffer_len = 100
while True:
sample = self.replay_in_queue.get()
self.buffer_in.append(sample)
if len(self.buffer_in) >= self.initial_memory // buffer_len:
index = self.sample_count % self.memory_maxlen
self.memory[index: index + buffer_len] = self.buffer_in
self.sample_count += buffer_len
self.buffer_in = []
- 我试图锁定缓冲区的小块，效果很好，但是我想知道是否有完美的解决方案来解决我的问题。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）