在R中使用parallelDist存储FBM

问题描述

我的目标是使用> 300,000行的数据来计算距离矩阵。当然,这将创建约300 Gb的矩阵,我需要将其存储在硬盘驱动器上,因为此对象大小超出了我的RAM。

我发现了bigdist软件包https://cran.r-project.org/web/packages/bigdist/index.html,该软件包使用文件后端矩阵(FBM)格式将dist()结果存储在硬盘上。但是,出于两个原因,我宁愿使用paralleldist软件包:

  1. 它使用多个cpu内核实现矩阵计算的并行化。
  2. 它允许应用各种距离度量标准(例如“ mahalanobis”度量标准)。

我不知道如何组合这些软件包或任何选择来实现并行化和FBM存储。让我知道,如果您有任何建议。谢谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)