如何在 Spark Scala 中将 WrappedArray 转换为 List？

问题描述

我使用 DataFrame 来处理 spark 中的数据。我在这个数据框中有一个数组列。在我想做的所有转换结束时，我有一个包含一个数组列和一行的数据框。为了应用 groupby、map 和 reduce，我想将此数组作为列表，但我做不到。

                    .drop("scoresArray")
                    .filter($"min_score" < 0.2)
                    .select("WordsArray")
                    .agg(collect_list("WordsArray"))
                    .withColumn("FlattenWords",flatten($"collect_list(WordsArray)"))
                    .drop("collect_list(WordsArray)")
                    .collect()

        val test1 = words(0).getAs[immutable.List[String]](0)

错误信息如下：

[error] (run-main-0) java.lang.classCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to scala.collection.immutable.List
[error] java.lang.classCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to scala.collection.immutable.List
[error]         at analysis.Analysis$.main(Analysis.scala:37)
[error]         at analysis.Analysis.main(Analysis.scala)
[error]         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
[error]         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
[error]         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
[error]         at java.lang.reflect.Method.invoke(Method.java:498)
[error] stack trace is suppressed; run last Compile / bgRun for the full output

想法？

解决方法

您不能将数组转换为列表，但可以将一个数组转换为另一个。

val test1 = words(0).getSeq[String](0).toList