有解决此内存问题的方法吗？

问题描述

全部萨拉姆...

我已经在Windows操作系统中使用python分析了一个很大的推文数据集..当我尝试将数据转换为向量（tfidf）时，它给了我这个错误消息：

MemoryError无法分配298。Gib用于形状（439563，90889）和数据类型为float64的数组

我该如何解决这个问题？

以下是使用的代码：

vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform("MyData")
tf_idf = pd.DataFrame(data = X.toarray(),columns=vectorizer.get_feature_names())
final_df = tf_idf
print("{} rows".format(final_df.shape[0]))
final_df.T.nlargest(5,0)

解决方法

我认为最好的解决方案是将数据分成小文件，然后分别处理..我做到了，我得到了想要的结果..谢谢大家..

,

我建议您使用Google Colab
您可以免费访问功能强大的GPU和RAM