Spark的非Hadoop基准

问题描述

我不是专家,出于各种原因,我也不希望将Hadoop用于Spark。我写了一些简单的Spark代码,这些代码在独立模式下似乎可以很好地扩展。

我们计划购买在外部NFS上运行的具有大量内核(> = 64)的新服务器。但是,服务器还具有不错的本地存储(约20 TB)。在购买之前,我打算询问一些对数据科学有用的基准。但是,像英特尔的Hibench这样的服务器则需要Hadoop。

能否请您提出一些可以在要求Linux兼容的fs(例如ext4,XFS等)上运行的Spark基准测试?我试图找到优秀的候选人,但找不到很多。任何反馈将不胜感激。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)