类型参数[org.apache.spark.ml.linalg.Vector]不符合方法产品的类型参数范围[T <：Product]

问题描述

我需要输出Dataset[Vector]，但是下面的代码引发了错误。

def main(args: Array[String]) {
    val spark = SparkSession.builder
      .appName("Hello World!")
      .master("local[*]")
      .getorCreate()
    import spark.implicits._
    //blah blah and read data etc. 
    val word2vec = new Word2Vec()
        .setInputCol("value").setoutputCol("vectors")
        .setVectorSize(5).setMinCount(0).setwindowSize(5)
    val dataset = spark.createDataset(data)

    val model = word2vec.fit(dataset)


    implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]
    val result = model.transform(dataset).select("vectors")

    val output = result.map(s => Vectors.dense(s.getDouble(1)))
}

启动程序后立即引发错误：

type arguments [org.apache.spark.ml.linalg.Vector] do not conform to method product's type parameter bounds [T <: Product]
    implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]

有什么想法可以解决这个问题吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）