问题描述
我正在为矢量映射任务构建一个简单的全连接神经网络 str_features (3202 X 100) 是网络的输入,sem_features (3202 X 1903) 是我需要比较的向量,in_size 是 100 dim,out_size 是 1900 dim。网络代码和优化函数如下:
```
net = torch.nn.Sequential(torch.nn.Linear(in_size,128),torch.nn.ReLU(),torch.nn.Linear(128,out_size)).to('cuda:0')
optimizer = torch.optim.Adam(net.parameters(),lr=0.01)
loss_func = torch.nn.MSELoss()
for epoch in range(100):
net.train()
logits = net(str_features)
loss = loss_func(logits[train_idx],sem_features[train_idx])
optimizer.zero_grad()
loss.backward()
optimizer.step()
```
我试过很多参数调优方法,比如激活函数(试过:ReLU、Tanh、Leaky Relu)、层数(试过:3、4、5)、隐藏单元的数量(试过:64,128,500,1000)、损失函数(试过:MSELoss、SmoothL1Loss、CosineEmbeddingLoss、Cosinesimilarity)、训练epoch数等。但是,每次收敛到一个大约0.5的测试值(取值范围[-1,1]) 经过 100 次训练。
这是否被困在局部最优解中,我该如何跳出?任何帮助表示赞赏。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)