问题描述
我一直在尝试通过PyTorch上的个人项目自学RNN的基础知识。我想产生一个能够预测序列中下一个字符的简单网络（想法主要来自本文http://karpathy.github.io/2015/05/21/rnn-effectiveness/，但我想亲自完成大部分工作）。
我的想法是：我取一批 B 输入序列，其大小为 n （np数组为 n 整数），一个很热对它们进行编码，然后通过我的网络，该网络由几个LSTM层，一个完全连接的层和一个softmax单元组成。 然后，我将输出与目标序列进行比较，目标序列是输入序列向前移动了一步。
我的问题是，当我包括softmax层时，每个批次的每个时期的输出都是相同的。当我不包括它时，网络似乎可以适当地学习。我不知道怎么了。
我的实现如下：
class Model(nn.Module):
def __init__(self,one_hot_length,dropout_prob,num_units,num_layers):
super().__init__()
self.LSTM = nn.LSTM(one_hot_length,num_layers,batch_first = True,dropout = dropout_prob)
self.dropout = nn.Dropout(dropout_prob)
self.fully_connected = nn.Linear(num_units,one_hot_length)
self.softmax = nn.softmax(dim = 1)
# dim = 1 as the tensor is of shape (batch_size*seq_length,one_hot_length) when entering the softmax unit
def forward_pass(self,input_seq,hc_states):
output,hc_states = self.LSTM (input_seq,hc_states)
output = output.view(-1,self.num_units)
output = self.fully_connected(output)
# I simply comment out the next line when I run the network without the softmax layer
output = self.softmax(output)
return output,hc_states
one_hot_length 是我的字符字典的大小（〜200，也是一个热编码矢量的大小） num_units 是LSTM单元中隐藏单元的数量， num_layers 是网络中LSTM层的数量。
训练循环的内部（简化）如下：
input,target = next_batches(data,batch_pointer)
input = nn.functional.one_hot(input_seq,num_classes = one_hot_length).float().
for state in hc_states:
state.detach_()
optimizer.zero_grad()
output,states = net.forward_pass(input,hc_states)
loss = nn.CrossEntropyLoss(output,target)
loss.backward()
nn.utils.clip_grad_norm_(net.parameters(),MaxGradnorm)
optimizer.step()
在 hc_states 中，具有隐藏状态张量和单元状态张量 input 的元组是大小（ B ， n ， one_hot_length ）， target 是（ B ， n ）。
我正在训练一个非常小的数据集（约400Ko的.txt中的句子），只是为了调整我的代码，并且使用不同的参数进行了4次不同的运行，每次结果都是相同的：网络并不它具有softmax层时可以完全学习，而没有一点则进行适当的训练。 我认为张量形状不是问题，因为我几乎可以确定我检查了所有内容。
我对我的问题的理解是，我正在尝试进行分类，通常是在最后放置一个softmax单元，以使每个字符的“概率”出现，但是显然这是不对的。
有什么办法可以帮助我吗？ 我对Pytorch和RNN还是很陌生，所以如果我的体系结构/实现对有知识的人来说有点怪异，我要提前道歉。随时纠正我，并预先感谢。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）