问题描述
对不起,大家。进一步的研究使我确信,下述多个过程并行写入单个文件的操作比我原先想像的要少得多,因此,我对自己有很多经验而没有信心几乎没有信心不良影响。 我很可能会很幸运,并且数据池足够小,以至于还没有。
对于后代,这是我最初的问题:
我希望有人能帮助我理解我所看到的。
我从一个写入多个文件的过程开始。随着时间的流逝,它演变为多个进程(使用来自current.futures的ProcessPoolExecutor)。在那次进化中,我无意中遇到了多个并行写入同一文件的进程。
让我感到困惑的是,它似乎运行良好。至少到目前为止(每天已经有数月的时间生成数百万行数据),我还没有观察到一条乱码。可能在某处内置了某种保护,它以某种方式“雾化”了我的write(),从而防止了它们相互干扰?
FWIW,我正在使用Python 3.4。
顺便说一句,为回应下面的一些评论,除了编写内容外还有很多计算,所以我需要进程,而不是线程。最多有32个处理器,可写300-400个字符的文本行。再次感谢您的输入,伙计们。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)