问题描述
我已经针对分类任务对 BERT 模型（使用 Huggingface 库）进行了微调，以预测两种类型（例如 1 和 0）的帖子类别。但是，我需要检索预测为类别 1 的文档的“相关标记”（例如）。我知道，一旦我的 BERT 模型将所有帖子标记为 1（例如），我就可以使用传统的 TF-IDF 方法。但我有以下问题： 是否可以使用微调的 BERT 模型的架构来完成相同的任务？我的意思是，访问编码器的最后一层（预测层），并使用注意力机制，获得使 te 预测为 1 的“相关”标记（例如）？ 有可能这样做吗？有人知道类似的教程吗？
解决方法
使用 Transformer 模型，您可以执行一些可解释性分析，这可能正是您想要的。我建议查看 SHAP 的转换器部分。您只需要将模型包装在 SHAP 解释器中，如下所示：
import shap
explainer = shap.Explainer(model)
如果您有相关标记的标签，则还有另一种选择，即训练标记分类模型。但这需要为每个令牌重新训练和标记。