python的用于保存多个文件的多重处理

问题描述

我目前有一个要转换为numpy数组（如.npy）的视频目录。为了加快视频的转换速度，我一直在使用python的多处理库。

特别是我所拥有的伪代码是

import multiprocessing as mp
for path,subdir,files in os.walk('path/to/videos'):
     pool = mp.Pool(num_cpus)
     for i,file in enumerate(files):
          pool.apply_async(read_and_write_file_to_numpy_func,args=(i,'path/to/new_numpy_file'),call_back=call_back
     pool.close()
     pool.join()

由于应用的异步方法实际上未返回任何内容，因此call_back函数不返回任何内容。

即使我运行htop时，这也出乎意料地缓慢，

关于我在这里可能会丢失的任何想法吗？

感谢您的帮助。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）