多类文本分类无法检测到界限外 Chatbot应用程序的关键问题

编程问答 2022-08-16

问题描述

TL; DR

在实现chatbot应用程序时，首要任务是检测用户输入文本的意图。 这是典型的多类文本分类。

意图是类，要检测的类数是有限的。 每个班级都准备了很多话语（示例），并且为此数据集训练了模型。 任何输入文本都将通过此训练有素的模型，并产生预期的课堂学习。

有关预测的详细信息

  • 首先，聊天机器人获得所有类别的概率（例如，使用sklearn的predict_proba）。
  • 然后聊天机器人找到最高概率的类别（top class）并将其作为预测类别。
  • 最后，再进行一步。如果此顶级类别的概率小于阈值（例如0.2），则聊天机器人会将输入视为OutOfBound。

这种OutOfBound检测对于聊天机器人非常非常重要，尤其是在类数较少的情况下

让我展示一个极端的情况。 假设聊天机器人只想检测“是|否”。 因此，训练数据集如下所示。

<class>   <examples>
yes     yes
yes     ok
yes     I want
no      no
no      nope
no      I hate

训练后，输入如下输入文字。

I want it => yes (0.89),no (0.11)

#sum of probabilities is 1.

当然，yes是顶级课程，是预测课程。那就对了。 但是，让我们看看这样的另一个输入。

I'm going home  => yes (0.54),no (0.46)

#sum of probabilities is 1.

顶级是肯定的。但是，您认为这是正确的结果吗？ 我想要这样的结果。

I'm going home  => yes (0.013),no (0.011) 

#sum of probabilities is NOT 1. 
#Just probability for each class independently.(How calculate? I non't kNow. That's the point.)

顶级是肯定的。但是，阈值是0.2，因此最终结果是OutOfBound。 也许chatbot会返回输出“我不明白您在说什么，请再输入一次。”

===================

我正在使用Tfidf + LogisticRegression（sklearn）。 太简单？但是，如果类的数量很大（例如超过100个），这非常好。

另一方面，在班级数量少的情况下，预测非常荒谬，因此 chatbot当时返回了荒谬的输出。

此错误的原因是因为大多数“多类文本分类”模型在最后一步都具有softmax。 softmax归一化所有类别的概率，因此概率之和为1。 因此，可以为OutOfBound输入预测任意类。

即使使用复杂的NN（FNN，MLP，RNN，CNN甚至BERT），这种情况也是一样。 因为即使使用它，softmax仍包含在模型的最后一步。

在必须将任何输入分配给一个类的情况下，softmax的性能非常好。 但是，如果需要检测OutOfBound并且类别数很少，那么模型的预测就很荒谬。

您是否期望ovr（一次休息）？ 问题是一样的

实际上，根本原因是监督学习无法检测到OutOfBound。因为训练数据集不包含OutOfBound数据，也就是说，检测OutOfBound不能与监督学习并存。

===================

那么，如何实现OutOfBound可检测的多类文本分类？ 当然，这涉及无监督学习

我在下面尝试过

1）主题分析

  • 将类作为主题，计算最接近主题输入文本的内容。
  • 为此，使用半监督的LDA（例如GuidedLDA）训练数据集，以便将示例分配给对应的主题。
  • 此后，预测输入文本的所有主题的概率，然后选择最高概率主题。 这个热门话题是预测课。

性能非常差。

2）相似

  • 只需准备tfidf或word2vec作为火车数据集的示例。
  • 接收输入文本时，计算火车数据集所有示例的相似度。
  • 然后找到每个类别的最高相似度示例，并将该概率视为每个类别概率。
  • 最后，选择概率最高的课程。

我尝试了余弦相似度（使用tfidf或word2vec / fasttext）或SIF（平滑逆频率）或WMD（移字器距离）。

性能非常差。

3）加权余弦相似度的简单多文本分类

简单的平均1层FNN或LogisticRegression

  • 首先，使用tfidf计算输入文本的所有类别的多文本分类概率
  • 第二，使用2）方法（使用tfidf）计算余弦相似度。
  • 第三，将两个结果相乘。

如果

yes(0.54),no (0.45) ==> Multiclass Text Classification
yes(0.12),no (0.11) ==> Cosine Similarity

然后

yes(0.54*0.12),no(0.45*0.11)  ==> final Probabilities

即

yes(0.0648),no(0.0495)

因此导致OutOfBound。

实际上，简单的乘法效果不好，所以我使用了一种加权函数

性能很好。

===================

上面的

3）在性能上相当不错。 因此，我正在使用该方法。

也就是说，使用tfidf进行的简单多类文本分类在准确性和速度上都比其他所有模型都出色，但无法检测到OutOfBound。因此，我将其与相似性补语结合使用。

最后，还不错。

但是，并不完全满意。确实这是最好的吗？我不确定。

多年来我一直在研究和搜索，没有找到任何解决方案。

大家如何解决此问题？

是否有确切的解决方案？有任何模型或建议吗？

还是你们都像我一样使用自己的互补方法？

还是我应该使用完全不同的模型？

分享您的经验或建议会使我非常高兴。

衷心感谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

chatbotmulticlass-classificationsoftmax