从Google Ngram gz文件下载和子设置

问题描述

我是Python的新手，我正尝试下载所有Google 5gram数据。我找到了一个名为google_ngram_downloader的模块，可以使用readline_google_store函数下载一些数据：

from google_ngram_downloader import readline_google_store

fname,url,records = next(readline_google_store(ngram_len=5))

fname
url
next(records)

#Read the gz file:
with gzip.open('googlebooks-eng-all-5gram-20120701-0.gz','rb') as f:
     for line in f:        
         print(line) 

但是上述代码的问题在于，它只给我Ngram以0开头。请您帮我一下如何一次获取全部数据？

此外，我需要从该gz数据文件中子集两个样本。第一个应该包含1970-1980年代的数据，第二个应该包含2000-2012年的数据。数据的结构方式如下：

ngram TAB year TAB match_count TAB volume_count NEWLINE

谢谢！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）