如何对以其他形式的字符书写的自然语言进行分类？

问题描述

背景

我想使用 fastText 将所有三个短语都归类为中文，'zh'。

["Ni hao!",'你好!','ni hao!']

然而，经过训练的模型看起来不适用于语义分类。

有什么想法可以用不同的方式完成相同的任务吗？

输出

[('zh',0.9305274486541748)]
[('eo',0.9765485525131226)]
[('hr',0.6364055275917053)]

代码

sample.py

from fasttext import load_model
model = load_model("lid.176.bin")

speech_texts = ["Ni hao!",'ni hao!']

def categolize_func(texts,model,k):
    for i in range(len(texts)):
        text = texts[0]
        label,prob = model.predict(text,k)
        return list(zip([l.replace("__label__","") for l in label],prob))

print(categolize_func(speech_texts,1))

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）