问题描述
我有一个形状为 (3072,1000)
的张量,它表示我的神经网络中的权重。我想:
注意:我的网络不是通常使用反向传播算法的人工神经网络,而是大脑中神经元的生物物理模型,因此我使用了特殊的权重更新规则。因此,我认为 pytorch 中的就绪函数(如果有)可能没有帮助。
我尝试了以下代码,它可以工作,但需要很长时间,因为每次更新我的权重张量后,我都必须运行该代码以再次将权重张量设置为 60% 零
row_indices = np.random.choice(np.size(mytensor.weight,0),replace=False,size=int(np.size(mytensor.weight,0)* 0.6))
column_indices = np.random.choice(np. size(mytensor.weight,1),size=int(np. size(mytensor.weight,1) * 0.6))
for r in row_indices:
for c in column_indices:
(mytensor.weight)[r][c] = 0
解决方法
您可以为此使用 dropout
函数:
import torch.nn.functional as F
my_tensor.weight = F.dropout(my_tensor.weight,p=0.6)
,
如果您希望将大约 60% 的权重设置为 0,iacob 的答案是完美的。如果您想将张量中的 m
值准确设置为零,那么您可以使用类似这样的方法
n = mytensor.weight.numel()
m = int(round(n*0.6))
indices = np.random.choice(n,m,replace=False) # alternative: indices = torch.randperm(n)[:m]
mytensor.weight = mytensor.weight.contiguous()
mytensor.weight.flatten()[indices] = 0