使用 SQLite FTS ICU 分词器对日语动词进行错误分词

问题描述

我正在尝试在 Android 设备上为日语使用 sqlite FTS ICU 标记器。

这是我的查询：

CREATE VIRTUAL TABLE IF NOT EXISTS tokenizer_ja USING fts3tokenize(icu,ja);

SELECT token,position,start,end FROM tokenizer_ja WHERE input=?;

? 被替换为我想要标记的短语。

它几乎可以工作了，但是动词有问题。例如，句子 日本語で話します 被标记为 日本語、で、話、し、ます。

話します 是一个词，应该是一个标记。

我尝试了不同的动词，所有动词都存在同样的问题。只有字典形式的标记化是正确的。

有没有好的标记化方法？可以激活的标记器选项？任何解释为什么标记化是这样的？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）