我们究竟应该在什么时候在文本预处理管道中进行拼写校正？

问题描述

纠正单词拼写的步骤是否必须在词典规范化（即词干提取、词形还原）之前或之后完成？如果我们在词典规范化之后再做，如果我们执行词形还原，这些词不是已经被简化为它们的词根形式吗？（通过传递词的 POS ie 词性标签作为参数）所以不会有任何用处用于词典规范化后的拼写检查对吗？

解决方法

您应该更正拼写 1st。词形还原是在一些语料库上训练的，但由于我引入了一些不属于其中的内容，因此它可能不起作用。见下文：

# import these modules 
from nltk.stem import WordNetLemmatizer 
  
lemmatizer = WordNetLemmatizer() 
  
print("changing :",lemmatizer.lemmatize("changing",pos ="v")) 
print("change :",lemmatizer.lemmatize("change")) 
print("changer :",lemmatizer.lemmatize("changer")) 
  
# # a denotes adjective in "pos" 
print("changing :",lemmatizer.lemmatize("changyng",pos ="v")) 

---

changing : change #<----------
change : change
changer : changer
changing : changyng #<-------

你看我刚刚把changes的拼写改成了changyng，还是不能进行词形还原。