如何用上下文对句子中的所有单词进行分类？

编程问答 2022-05-11

问题描述

我有公司名称（俄文）。名称可以包含缩写、大写字母的单词、小写字母的单词和混合单词。该模型根据以下原则进行训练：在输入处，名称以大写形式给出，在输出处 - 以“正确”版本给出。例如：

ОТДЕЛЕНИЕ СТД РФ (ВТО) - СТД РЕСПУБЛИКИ АДЫГЕЯ -> Отделение СТД РФ (ВТО) - СТД Республики Адыгея

ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СИГМА" -> Общество с ограниченной ответственностью "СИГМА"

"ЭЛЕКТРОПРОФСОЮЗ" РБ ОО - "ВЭП" -> "Электропрофсоюз" РБ ОО - "ВЭП"

然后我必须预测我不知道答案的句子。

我尝试使用注意力和双向 GRU 制作基于字符的 seq2seq 模型，但是使用我尝试的所有超参数，它似乎欠拟合。它可以很好地生成短语的开头，但最后却崩溃了。

现在我想我需要使用单词标记。但是我不知道有没有方法可以从上下文中的单个文本中对单词进行分类。

我想标记一个句子，并为每个单词分配一个属性，它是什么：大写、小写或首字母大写。另外，我需要用混合词做一些事情，比如“МосГосПаравоз”（或者像“McDonald's”，它不仅以大写字母开头，而且还包含在里面。

也许您需要一种完全不同的方法。我很乐意接受您的帮助

UPD.英文例句：

"SIGMA" LIMITED LIABILITY COMPANY -> "SIGMA" Limited liability company
"SIGMA" LLT -> "SIGMA" LLT
PJSC "GAZPROM"-> PJSC "Gazprom"
STATE BUDGETARY EDUCATIONAL INSTITUTION OF THE CITY OF MOSCOW "LYCEUM NO. 1568" -> State budgetary Educational institution of the city of Moscow "Lyceum No. 1568"

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

nlppythonpytorchtext-classification