问题描述
我使用 spark sql 加载带有 LZO 压缩的 hive 表。报错如下：
引起：java.lang.classNotFoundException： com.hadoop.mapred.DeprecatedLzoTextInputFormat at java.net.urlclassloader.findClass(urlclassloader.java:381) 在 java.lang.classLoader.loadClass(ClassLoader.java:424) 在 java.lang.classLoader.loadClass(ClassLoader.java:357) 在 java.lang.class.forName0(Native Method) 在 java.lang.class.forName(Class.java:348) 在 org.apache.spark.util.Utils$.classForName(Utils.scala:239) 在 org.apache.spark.sql.hive.client.HiveClientImpl$.org$apache$spark$sql$hive$client$HiveClientImpl$$toInputFormat(HiveClientImpl.scala:892) 在
我做了什么：
set
spark.driver.extraClasspath /usr/hdp/current/hadoop-client/lib/hadoop-lzo-0.6.0.3.1.4.0-315.jar
spark.driver.extraLibraryPath /usr/hdp/current/hadoop-client/lib/native:/usr/hdp/current/hadoop-client/lib/native/Linux-amd64-64
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）