scala – Mllib依赖错误

我正在尝试使用Mllib构建一个非常简单的 scala独立应用程序,但是当尝试打破程序时会收到以下错误：

Object Mllib is not a member of package org.apache.spark

然后,我意识到我必须添加Mllib作为依赖关系如下：

version := "1"
scalaVersion :="2.10.4"

libraryDependencies ++= Seq(
"org.apache.spark"  %% "spark-core"              % "1.1.0","org.apache.spark"  %% "spark-mllib"             % "1.1.0"
)

但是,在这里我有一个错误说：

未解决依赖性spark-core_2.10.4; 1.1.1：未找到

所以我不得不修改它

“org.apache.spark”％“spark-core_2.10”％“1.1.1”,

但是还有一个错误说：

未解决依赖性spark-mllib; 1.1.1：未找到

任何人都知道如何在.sbt文件中添加Mllib的依赖关系？

解决方法

@lmm指出,您可以将库包含为：

libraryDependencies = Seq(
  “org.apache.spark”％“spark-core_2.10”％“1.1.0”,
  “org.apache.spark”％“spark-mllib_2.10”％“1.1.0”
  )

在sbt %%中包含scala版本,您正在使用Scala版本2.10.4构建,而Spark工件通常以2.10版本发布.

应该注意的是,如果要组装一个程序集jar来部署应用程序,则可能希望标记spark-core,例如.

libraryDependencies = Seq(
  “org.apache.spark”％“spark-core_2.10”％“1.1.0”％“提供”,
  “org.apache.spark”％“spark-mllib_2.10”％“1.1.0”
  )

因为火花核心包将会在执行器的路径上.