问题描述
我正在尝试使用分布式库并行化我的 pytorch 网络。这个想法是创建一个与此处描述的类似的案例：https://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html 但仅使用 cpu。因此，每个进程负责我网络中的一层。
问题在于，为了正确地向后，跨进程发送的张量需要在通信中保持其梯度。我知道 Queue 无法处理这种行为，我想知道他们是否可以使用 Gloo、mpi 或其他方式来实现这一点...
谢谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）