让Spark,Java和MongoDB协同工作

类似于my question here,但这次它是Java,而不是Python,导致我出现问题.

我已经按照建议的步骤(据我所知)here,但由于我使用的是hadoop-2.6.1,我认为我应该使用旧的API,而不是示例中提到的新API.

我正在研究Ubuntu和我拥有的各种组件版本

> Spark spark-1.5.1-bin-hadoop2.6
> Hadoop hadoop-2.6.1
> Mongo 3.0.8
> Maven包含Mongo-Hadoop连接器罐
> Java 1.8.0_66
> Maven 3.0.5

我的Java程序是基本的

import org.apache.spark.api.java.*;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.Function;
import com.mongodb.hadoop.MongoInputFormat;
import org.apache.hadoop.conf.Configuration;
import org.bson.BSONObject;

public class SimpleApp {
  public static void main(String[] args) {
    Configuration mongodbConfig = new Configuration();
    mongodbConfig.set("mongo.job.input.format","com.mongodb.hadoop.MongoInputFormat");
    mongodbConfig.set("mongo.input.uri","mongodb://localhost:27017/db.collection");
    SparkConf conf = new SparkConf().setAppName("Simple Application");
    JavaSparkContext sc = new JavaSparkContext(conf);
    JavaPairRDDfig,// Configuration
        MongoInputFormat.class,// InputFormat: read from a live cluster.
        Object.class,// Key class
        BSONObject.class          // Value class
    );
  }
}

使用Maven(mvn包)和以下pom文件构建正常

figuration>
                figuration>


然后我提交罐子

/usr/local/share/spark-1.5.1-bin-hadoop2.6/bin/spark-submit --class "SimpleApp" --master local[4] target/simple-project-1.0.jar

并得到以下错误

Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/MongoInputFormat
    at SimpleApp.main(SimpleApp.java:18)

注意
我在12月18日编辑了这个问题,因为它变得过于混乱和冗长.以前的评论可能看起来无关紧要然而,问题的背景是相同的.


最佳答案
我遇到了同样的问题,但经过大量的试验和更改,我完成了我的工作与此代码.
我在ubuntu&上运行带有netbeans的Maven项目Java 7
希望这可以帮助.
如果b / w类有任何冲突,请包含maven-shade-plugin
P.S：我不知道你的特殊错误,但面对这么多.这段代码运行得很好.

   sql_2.11

Java代码

  Configuration conf = new Configuration();
    conf.set("mongo.job.input.format","com.mongodb.hadoop.MongoInputFormat");
    conf.set("mongo.input.uri","mongodb://localhost:27017/databasename.collectionname");
    SparkConf sconf = new SparkConf().setMaster("local").setAppName("Spark UM Jar");

    JavaRDD


apache-spark

让Spark,Java和MongoDB协同工作

相关文章