带有 Scala 和 Dataproc 的云存储客户端：缺少库

问题描述

我正在尝试在 dataproc 集群中运行一个简单的 spark 脚本，该脚本需要使用 scala 和 java Cloud Storage 客户端库读取/写入 gcs 存储桶。脚本如下：

//Build.sbt
name := "trialGCS"

version :="0.0.1"
scalaVersion := "2.12.10"

val sparkVersion = "3.0.1"


libraryDependencies ++= Seq(
  // Spark core libraries
  "org.apache.spark" %% "spark-core" % sparkVersion,"org.apache.spark" %% "spark-sql" % sparkVersion,"com.google.cloud" % "google-cloud-storage" % "1.113.15"
)
resolvers += Resolver.mavenLocal

package DEV

import com.google.cloud.storage.StorageOptions

object TrialGCS extends App {
  import spark.implicits._
  val storage = StorageOptions.getDefaultInstance.getService

}

我通过终端使用 shell 命令启动脚本：

gcloud dataproc jobs submit spark --class DEV.TrialGCS --jars target/scala-2.12/trialgcs_2.12-0.0.1.jar --cluster <CLUSTERNAME> --region=<REGIONNAME>

然而，这会产生错误 java.lang.NoClassDefFoundError: com/google/cloud/storage/Storage。

如果我手动包含 cloudtorage jar，请使用

更改上一个命令中的 --jars

--jars target/scala-2.12/trialgcs_2.12-0.0.1.jar,google-cloud-storage-1.113.15.jar

错误现在是 java.lang.NoClassDefFoundError: com/google/cloud/Service。

所以，显然这是缺少库的问题。

另一方面，如果我在 dataproc 驱动程序的 vm 中通过 ssh 使用 spark-shell --packages "com.google.cloud:google-cloud-storage:1.113.15" 一切正常。

如何解决这个问题？

解决方法

我找到了解决方案：为了正确管理包依赖，需要通过 --properties=spark.jars.packages=<MAVEN_COORDINATES> 包含 google-cloud-storage 库，如 https://cloud.google.com/dataproc/docs/guides/manage-spark-dependencies 所示。就我而言，这意味着

gcloud dataproc jobs submit spark --class DEV.TrialGCS \
--jars target/scala-2.12/trialgcs_2.12-0.0.1.jar \
--cluster <CLUSTERNAME> --region=<REGIONNAME> \
--properties=spark.jars.packages="com.google.cloud:google-cloud-storage:1.113.15"

当包或多个属性需要多个maven坐标时，需要对字符串进行转义：https://cloud.google.com/sdk/gcloud/reference/topic/escaping

例如，对于 google-cloud-storage 和 kafka：

--properties=^#^spark.jars.packages=com.google.cloud:google-cloud-storage:1.113.15,org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1,io#spark.executor.extraClassPath=org.apache.kafka_kafka-clients-2.4.1.jar#spark.driver.extraClassPath=org.apache.kafka_kafka-clients-2.4.1.jar

,

如果确定你在驱动机器中有依赖的jar，你可以在类路径中显式地添加jar。您可以通过以下命令尝试，

gcloud dataproc jobs submit spark  \
--class DEV.TrialGCS \
--properties spark.driver.extraClassPath=<comma seperated full path of jars>,spark.jars.packages=com.google.cloud:google-cloud-storage:1.113.15 \
--cluster <CLUSTERNAME> --region=<REGIONNAME>