问题描述
我已经用Java实现了一个脚本,以使用Apache Spark处理和转换数据。我想在多台计算机(一个多集群节点)上运行此脚本,但是找不到关于如何在Java中对该脚本执行此操作的任何文档。所以我想知道是否有人在此之前尝试过,因为我找不到任何文档?如果不可能,那么除了将代码从Java更改为Scala之外,还有什么选择?
谢谢!
解决方法
如果您已经使用Spark库(RDD和其他工具)完成了脚本,则只需将脚本发送到Spark集群。
并且spark将自己在奴隶之间共享执行。
如果您的问题是如何在集群上启动Spark应用程序或如何配置集群,请查看Spark documentation