如何使用spacy的nlp.pipe功能跟踪进度？

问题描述

我正在使用 Python 和 Spacy 进行编码。 我想跟踪 nlp.pipe(sentences) 的执行进度，因为它持续很长时间。 如何做到这一点？

nlp = spacy.load('en_core_web_sm')
sentences = [...]
docs = nlp.pipe(sentences,n_process=8)

解决方法

使用tqdm。

from tqdm import tqdm

nlp = spacy.load('en_core_web_sm')
sentences = [...]
for doc in tqdm(nlp.pipe(sentences,n_process=8)):
    ... do stuff ...