问题描述
我的目标是使用> 300,000行的数据来计算距离矩阵。当然,这将创建约300 Gb的矩阵,我需要将其存储在硬盘驱动器上,因为此对象大小超出了我的RAM。
我发现了bigdist
软件包https://cran.r-project.org/web/packages/bigdist/index.html,该软件包使用文件后端矩阵(FBM)格式将dist()
结果存储在硬盘上。但是,出于两个原因,我宁愿使用paralleldist
软件包:
- 它使用多个cpu内核实现矩阵计算的并行化。
- 它允许应用各种距离度量标准(例如“ mahalanobis”度量标准)。
我不知道如何组合这些软件包或任何选择来实现并行化和FBM存储。让我知道,如果您有任何建议。谢谢!
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)