问题描述
我正在使用 spacy 版本 3 进行一些性能测试,以在生产中正确调整实例的大小。我正在观察以下内容
观察:
型号名称 | 没有NER的时间 | 与NER的时光 | 评论 |
---|---|---|---|
en_core_web_lg | 4.89 秒 | 21.9 秒 | NER 将原始时间增加 350% |
en_core_web_trf | 43.64 秒 | 52.83 秒 | NER 只增加了原始时间的 20% |
为什么在 Transformer 模型的情况下,使用 NER 和不使用 NER 的情况没有显着差异?在en_core_web_trf的情况下,NER只是POS标记后的增量任务吗?
测试环境:GPU 实例
测试代码:
import spacy
assert(spacy.__version__ == '3.0.3')
spacy.require_gpu()
texts = load_sample_texts() # loads 10,000 texts from a file
assert(len(texts) == 10000)
def get_execution_time(nlp,texts,N):
return timeit.timeit(stmt="[nlp(text) for text in texts]",globals={'nlp': nlp,'texts': texts},number=N) / N
# load models
nlp_lg_pos = spacy.load('en_core_web_lg',disable=['ner','parser'])
nlp_lg_all = spacy.load('en_core_web_lg')
nlp_trf_pos = spacy.load('en_core_web_trf','parser'])
nlp_trf_all = spacy.load('en_core_web_trf')
# get execution time
print(f'nlp_lg_pos = {get_execution_time(nlp_lg_pos,N=1)}')
print(f'nlp_lg_all = {get_execution_time(nlp_lg_all,N=1)}')
print(f'nlp_trf_pos = {get_execution_time(nlp_trf_pos,N=1)}')
print(f'nlp_trf_all = {get_execution_time(nlp_trf_all,N=1)}')
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)