Hadoop MapReduce ClassNotFound 异常,虽然它在 HADOOP_CLASSPATH

问题描述

当我尝试运行我的 mapreduce 作业时,我得到下面列出的异常

2021-03-20 11:56:30,171 信息 [主要] org.apache.hadoop.service.AbstractService:服务 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 在 INITED 状态下失败; 原因:org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.classNotFoundException: Class 找不到 org.apache.orc.mapreduce.OrcOutputFormat org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.classNotFoundException: Class org.apache.orc.mapreduce.OrcOutputFormat 未在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster$2.call(MRAppMaster.java:541) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster$2.call(MRAppMaster.java:521) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster.callWithJobClassLoader(MRAppMaster.java:1695) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster.createOutputCommitter(MRAppMaster.java:521) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceInit(MRAppMaster.java:307) 在 org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster$5.run(MRAppMaster.java:1653) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupinformation.doAs(UserGroupinformation.java:1844) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1650) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1583) 引起:java.lang.RuntimeException: java.lang.classNotFoundException: 类 org.apache.orc.mapreduce.OrcOutputFormat 未在 org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2369) 在 org.apache.hadoop.mapreduce.task.JobContextImpl.getoutputFormatClass(JobContextImpl.java:223) 在 org.apache.hadoop.mapreduce.v2.app.MRAppMaster$2.call(MRAppMaster.java:538) ... 更多 11 导致:java.lang.classNotFoundException: Class org.apache.orc.mapreduce.OrcOutputFormat 未在 org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2273) 在 org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2367) ……还有 13 个

在运行 mapreduce 之前,我使用命令

export HADOOP_CLAsspATH=/usr/lib/hadoop/*:/tmp/vg/libs/*:$(hbase classpath)

/tmp/vg/libs 包含 jar,包含类 org.apache.orc.mapreduce.OrcOutputFormat

有什么问题?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)