如果我想使用太大而不适合内存的矩阵来进行大量数据拟合,我会研究哪些工具/库？具体来说,如果我通常使用PHP mysql运行来自网站的数据,你会建议如何制作一个可以在合理的时间内运行大型矩阵运算的离线流程？
可能的答案可能是“你应该使用这种语言与这些分布式矩阵算法在许多机器上映射reduce”.我认为PHP不是最好的语言,因此流程更像是其他一些离线进程从数据库中读取数据,进行学习,并以PHP可以在以后使用的格式存储规则(因为该网站的其他部分是建立在PHP).
不确定这是否是一个问这个的正确的地方(会在机器学习SE中问它,但它从来没有超出测试版).
解决方法:
如果要处理大量数据,则需要执行许多操作.
处理Web规模数据的一种方法是使用Map / Reduce,也许您可以查看Apache Mahout这是一个可扩展的机器学习包,其中包含
>协作过滤
>基于用户和项目的推荐人
> K-Means,模糊K-Means聚类
>还有更多.
具体而言,您可能会在某些开源项目中提供您想要执行的操作,例如Weka,但您可能需要迁移/创建代码才能执行分发作业.
希望上面给你一个想法.
