在 spark-shell 中读取 Parquet 文件时出错错误：无法实例化提供程序 org.apache.spark.sql.avro.AvroFileFormat

编程问答 2022-05-27

问题描述

我正在关注此 blog 以使用 AWS Database Migration Service 和 Hudi 获取变更捕获

在我的 MacBook Pro 上运行 spark。从 AWS S3 读取镶木地板文件时出现以下错误。 代码：

spark.read.parquet("s3://<S3_bucket_name>/*").sort("updated_at").show

错误：

java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.avro.AvroFileFormat Could not be instantiated

Spark 版本 - 3.0.1

Scala 版本 2.12.10（OpenJDK 64 位服务器虚拟机，Java 1.8.0_265）

任何帮助将不胜感激。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-hudiapache-sparkpysparkpysparkscalascala