在 facebook/bart-large-cnn 上用 Huggingface/transformers火炬预训练的 BartForConditionalGeneration 输出注意力

问题描述

按照这个stackoverflow问题： Outputting attention for bert-base-uncased with huggingface/transformers (torch)

我正在利用 Hugging-face 的 Bart 模型来总结文本。特别是，我将按照他们的建议使用“Bart 进行条件生成”

我正在尝试根据不同的主题识别、分析和调整文章的编码器注意力层。

我用来设置模型的代码如下：

from transformers import BartForConditionalGeneration,BartTokenizer,BartConfig
import torch

config = BartConfig.from_pretrained(model_name,output_hidden_states=True,output_attention=True)
model = BartForConditionalGeneration.from_pretrained(model_name,config=config)
tokenizer = BartTokenizer.from_pretrained(model_name)
tokenized_sequence = tokenizer.tokenize(article)
indexed_tokens = tokenizer.encode(tokenized_sequence,return_tensors='pt')
outputs = model(indexed_tokens,return_dict=True)

现在，我正在尝试了解模型的不同输出

下面列出了输出的键，但不包括注意力层？

logits: [1,599,50264] -> [index,UnkNown?,vocab size]
past_key_values: tuple,len=12 -> 12 hidden layers
decoder_hidden_states: tuple,len=13 -> input bedding + 12 hidden layers
encoder_last_hidden_state: [1,1024] -> [index,unkNown,layers]
encoder_hidden_states: tuple,len=13 -> input bedding + 12 hidden layers

我是否遗漏了注意力层的存储位置？

从更一般的意义上说，采用注意力层，隔离似乎对选定主题具有 1-1 映射的神经元是否是一个明智的想法，例如“汽车”总是以 0.6 激活神经元 507，并尝试强制编码器注意层向前推进文本以更好地总结主题为“汽车”的文章？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）