在R中执行并行函数调用

问题描述

当前，我正在R中使用foreach循环在同一台计算机的多个内核上运行并行函数调用，并且代码如下所示：

result=foreach(i=1:length(list_of_dataframes))
{
   temp=some_function(list_of_dataframes[[i]])
   return(temp)
}

在此 list_of_dataframes 列表中，每个数据框都是针对一种产品的，并且具有不同的列数， some_function 是一种对每个数据框执行建模任务的函数。此函数内部有多个函数调用，一些函数进行数据整理，另一些函数执行某种变量选择，依此类推。 结果是一个列表列表，每个子列表都是3个数据帧的列表。目前，我几乎没有500种产品，而我正在使用具有12个内核的32GB机器来执行此任务使用doparallel和foreach进行并行。 我的第一个问题是-例如，当我有500000产品时，该如何扩大规模？哪个框架最适合？ 我的第二个问题-我可以使用sparkR吗？ Spark是否打算执行此类任务？ sparkR.lapply（）会很好用吗？我已经读过它应该作为不得已的方法。

我对所有这些并行的东西都是新手，任何帮助或建议都将大有帮助。在此先感谢

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）