问题描述
我的句子非常多，问题是我无法一次将它们全部加载到内存中，特别是当我标记这些句子并将它们分成单词列表时，我的RAM很快就满了。
但是我找不到任何关于如何用批次训练gensim word2vec的示例，这意味着在每个时期，我想我都必须以某种方式从磁盘加载批次数据，将其标记化并提供给模型，然后卸载它并加载下一批。
当我没有足够的内存来加载所有句子（甚至连其中的20％）时，我如何克服这个问题并训练word2vec模型。
我的句子基本上都在文本文件中，每一行代表一个句子。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）