如何在NLP上使用pytorch实现损失？

问题描述

我正在通过带有pytorch的简单玩具项目（只是使文本发芽）来研究NLP。当我在网上引用一些示例代码时，遇到了一个我无法理解的问题。

以下是代码（某些代码已被省略并且尚未完成。）：

1. LSTM模型（utils.py）。

    def __init__(self,vocab_size,seq_size,embedding_size,hidden_size):
        super(RNNModule,self).__init__()
        self.seq_size = seq_size
        self.hidden_size = hidden_size
        
        self.embedding = nn.Embedding(vocab_size,embedding_size) 
        self.lstm = nn.LSTM(input_size  = embedding_size,hidden_size = hidden_size,num_layers = 2,batch_first=True)
        self.dense = nn.Linear(hidden_size,vocab_size)
    
        
    def forward(self,x,prev_state):
        embed = self.embedding(x)
        output,state = self.lstm(embed,prev_state)
        logits = self.dense(output)
        print(logits.size())

        return logits,state
    
    # 첫 입력값을 위한 zero state를 출력.
    def zero_state(self,batch_size):
        return (torch.zeros(2,batch_size,self.hidden_size),torch.zeros(2,self.hidden_size))

def make_data_label(corpus) :
    data = []
    label = []
    for c in corpus :
        data.append(c[:-1])
        label.append(c[1:])

    data,label = torch.LongTensor(data),torch.LongTensor(label)
    return data,label    
    

1. main.py

if __name__=="__main__":
   
    """ 데이터 불러오기.
    """
    corpus,word2id,id2word,weight = load_data()
    corpus = torch.LongTensor(corpus)
    
    """ 하이퍼 파라미터.
    """
    # 훈련
    epochs = 10
    learning_rate = 0.003
    batch_size = 16   
    hidden_size = 32 # lstm hidden 값 차원수 
    gradients_norm=5 # 기울기 클리핑.

    # 문장 
    seq_size=len(corpus[0])        # 문장 1개 길이.
    embedding_size=len(weight[0]) # 임베딩 벡터 사이즈.
    vocab_size = len(word2id)
    
    # 테스트
    # initial_words=['I','am']
    predict_top_k=5
    checkpoint_path='./checkpoint'
        
    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    
    print('# corpus size : {} / vocab_size : {}'.format(len(corpus),vocab_size))
    print('# batch size : {}  / num of cell : {}'.format(batch_size,hidden_size))
    print("# 디바이스      : ",device)

    print('-'*30+"데이터 불러오기 및 하이퍼 파라미터 설정 분할 완료.")

    """ data/label 분할
    """
    c = corpus.numpy() # corpus가 Tensor 형태이므로 정상적인 slicing을 위해 numpy 형태로 바꾸어준다.
    data,label = make_data_label(c)
    
    dataset = CommentDataset(data,label)
    dataloader = DataLoader(dataset,batch_size=batch_size,shuffle=True)

    print('-'*30 + "Data Loader 준비 완료.")
    
    """ Model 정의 및 생성.
    """    
    net = RNNModule(vocab_size,hidden_size)
    net = net.to(device)

    loss_f = nn.CrossEntropyLoss()
    optimizer = torch.optim.Adam(net.parameters(),lr=learning_rate)
    
    for batch_idx,sample in enumerate(dataloader) :
        data,label = sample
        data = data.to(device)
        label = label.to(device)
        
        state_h,state_c = net.zero_state(batch_size) # initial h,c
        state_h = state_h.to(device)
        state_c = state_c.to(device)
        
        logits,(state_h,state_c) = net.forward(data,state_c))
        
        print(logits.transpose(1,2).size())        
        print(label.size())        
        
        loss = loss_f(logits.transpose(1,2),label)

        loss.backward()
        optimizer.step()
    
        break

所以，我不明白的是为什么必须转置张量logits（位于main.py末尾的代码）。

Logit的形状和标签为：

logits : torch.Size([16,19,10002]) # [batch_size,setence_length,vocab_size]
label : torch.Size([16,19])         # [batch_size,setence_length]

我认为，要使用CrossEntropy计算损失，标签的形状和数据的形状必须是相同的尺寸，但事实并非如此。 （标签的形状：[batch_size，setence_length]-> [batch_size，setence_length，vocab_size]）

我该如何理解？为何起作用？

ps。我引用下面的网站！ ：https://machinetalk.org/2019/02/08/text-generation-with-pytorch/

解决方法

nn.CrossEntropyLoss()不采用一键向量。相反，它接受类值。因此，您的登录名和目标将不会具有相同的尺寸。 Logits的尺寸必须为(num_examples,vocab_size)，但您的标签仅必须包含true类的索引，因此其形状为(num_examples)而不是(num_examples,vocab_size)。仅当您输入一幅热编码矢量时，才需要该形状。

关于为什么需要转置logits向量的原因，nn.CrossEntropyLoss()期望logits向量的尺寸为(batch_size,num_classes,loss_dims)，其中loss_dims是每个批次中令牌的数量。