线性回归外推的大数据分析

问题描述

我正在做一个项目来预测在不到 2 小时(7200 秒)内处理一个巨大的气候数据文件 (.nc) 需要多少 cpu。依次需要超过 100,000 秒。 我已经完成了整个程序来顺序和并行处理数据,最多 8 个工人(我的 cpu 限制)。

该程序获取包含一整天气候数据的数据文件,并将其划分为小时 (25),以便每小时处理一次。处理完成后,我在代码中使用了一个秒表来记录每个工人所花费的时间。 为了更容易地处理和测试并行处理,我使用了数据的一个子集(整个文件有超过 270,000 个数据块)。

如何使用从数据子集中获取的时间来推断整个数据文件所需的 cpu?我一整天都被这个问题迷住了......

提前致谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)