如何腌制“自定义标记生成器”并将其用于未来的Python预测

编程问答 2022-06-11

问题描述

我在下面定义了用于文本标记化的自定义标记化功能。然后，我在TfidfVectorizer参数中使用此函数来标记文本。最后，我将矢量化器保存在pickle文件中。在训练模型时，该模式运行良好，但是当我调用相同的pickle文件以作将来的预测时，这将给我带来以下错误。

vectorizer = pickle.load(open('Chinese_vector.pickel',"rb"))

Error: AttributeError: Can't get attribute 'tokenize_zh' on <module 'main'>

培训模式：

def tokenize_zh(text):
    words = jieba.lcut(text)
    return words

from sklearn.feature_extraction.text import TfidfVectorizer 
vectorizer = TfidfVectorizer(dtype=np.float32,tokenizer=tokenize_zh,stop_words=stopwords,max_features=1000)
X = vectorizer.fit_transform(corpus)

import pickle
pickle.dump(vectorizer,open("Chinese_vector.pickel","wb"))

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

nlppickletfidfvectorizertokenizevectorization