问题描述
我正在尝试在 Scala 上使用 Spark 读取 zst 压缩文件。
import org.apache.spark.sql._
import org.apache.spark.sql.types._
val schema = new StructType()
.add("title",StringType,true)
.add("selftext",true)
.add("score",LongType,true)
.add("created_utc",true)
.add("subreddit",true)
.add("author",true)
val df_with_schema = spark.read.schema(schema).json("/home/user/repos/concepts/abcde/RS_2019-09.zst")
df_with_schema.take(1)
不幸的是，这会产生以下错误：
org.apache.spark.SparkException：由于阶段失败，作业中止： 阶段 0.0 中的任务 0 失败 1 次，最近失败：丢失任务 0.0 在阶段 0.0 (TID 0) (192.168.0.101 executor driver)： java.lang.RuntimeException: 本机 zStandard 库不可用： 这个版本的 libhadoop 是在没有 zstd 支持的情况下构建的。
我的 hadoop checknative 看起来如下，但我从 here 了解到 Apache Spark 有自己的 ZStandardCodec。
本地库检查：
- hadoop: true /opt/hadoop/lib/native/libhadoop.so.1.0.0
- zlib: true /lib/x86_64-linux-gnu/libz.so.1
- zstd : true /lib/x86_64-linux-gnu/libzstd.so.1
- snappy: true /lib/x86_64-linux-gnu/libsnappy.so.1
- lz4：真实版本：10301
- bzip2：真 /lib/x86_64-linux-gnu/libbz2.so.1
- openssl：false EVP_CIPHER_CTX_cleanup
- ISA-L：错误的 libhadoop 是在没有 ISA-L 支持的情况下构建的
- PMDK：false 本机代码是在没有 PMDK 支持的情况下构建的。
感谢您的任何想法，谢谢！
更新1： 根据此 post，我更了解消息的含义，即默认情况下编译 Hadoop 时未启用 zstd，因此可能的解决方案之一显然是在启用该标志的情况下构建它。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）