如何使用Stanza用英语进行标记化

问题描述

text = "XXXXXX，XXXX “XX” ， XXXXX 50 XX 、 XXXXXXXXX、XXXXXXXXXXXXXXXXXXX"

zh_nlp = stanza.Pipeline('zh')
doc = zh_nlp(text)

for sent in doc.sentences:
  print("Tokenize:" + ' '.join(token.text for token in sent.tokens))

如果以中文输入，

节可以分隔文本（中文严重依赖于标记化和句子分段）。它输出以下内容。大致分为这样。

Tokenize:XXX XX X ， X X XX “ XX ” ， X X X XX 50 X X 、 XXX XXXX XX 、 X X XX XX X XX XX XX X XX XX X 。

如果输出为英文，则以英文单词空格分隔。

text = "Hong Kong"

en_nlp = stanza.Pipeline('en')
doc = en_nlp(text)

for sent in doc.sentences:
  for Tokenize in sent.tokens:
    print(Tokenize)

例如，如果输入程序是“ Hong Kong”，则输出将如下所示。

[
  {
    "id": 1,"text": "Hong",.......
  }
]
[
  {
    "id": 2,"text": "Kong",.......
  }
]

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）