由于内存限制，Pandas dataFrame 导致崩溃

问题描述

我是 Python 和推荐系统的初学者。

我想用这个教程在 python 中实现一个推荐系统：

https://towardsdatascience.com/solving-business-usecases-by-recommender-system-using-lightfm-4ba7b3ac8e62

但是当我运行该项目时，它因为内存限制而崩溃：

MemoryError: Unable to allocate 71.5 GiB for an array with shape (162541,59047) and data type float64

我知道这是因为数据帧大小（100k 行，25 列）。 生成此数据帧的代码：

def create_interaction_matrix(df,user_col,item_col,rating_col,norm=False,threshold=None):
'''
Function to create an interaction matrix dataframe from transactional type interactions
required Input -
    - df = Pandas DataFrame containing user-item interactions
    - user_col = column name containing user's identifier
    - item_col = column name containing item's identifier
    - rating col = column name containing user Feedback on interaction with a given item
    - norm (optional) = True if a normalization of ratings is needed
    - threshold (required if norm = True) = value above which the rating is favorable
Expected output - 
    - Pandas dataframe with user-item interactions ready to be fed in a recommendation algorithm
'''
interactions = df.groupby([user_col,item_col])[rating_col] \
    .sum().unstack().reset_index(). \
    fillna(0).set_index(user_col)
if norm:
    interactions = interactions.applymap(lambda x: 1 if x > threshold else 0)
return interactions

但我不知道解决它。

• 是否有任何替代数据类型或使用较少 RAM（至少小于 4GB）的 pandas.dataFrame 的任何内容？或者任何生成较小数据帧的解决方案？
• 是否有任何解决方案可以在硬盘驱动器中保存/加载数据帧？还是在 RAM 使用较少的内存中？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）