问题描述
我正在尝试运行独立自我注意模型。 即使批处理大小= 1，它也会由于out = key * query：https://github.com/leaderj1001/Stand-Alone-Self-Attention/blob/a983f0f643632b1f2b7b8b27693182f22e9e574c/attention.py#L48
而抱怨CUDA内存不足键的张量为[2,8,224,49] 查询的张量为[2,1] 昏暗1是批处理，昏暗2是self.groups，昏暗3是out_channels，昏暗4是高度，昏暗5是宽度，昏暗6 = -1。
一个非常幼稚的想法是将这两个矩阵分成几个块，例如split3D used for self-attention implemented in Keras。但我不确定它将如何在6个维度上发挥作用。
谢谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）