java – 从集群获取现有的mapreduce作业(作业可以运行或完成)

以前,我正在使用org.apache.hadoop.mapred.JobClient#getJob(org.apache.hadoop.mapred.JobID)获取RunningJob.这个调用是从作业完成回调方法进行的,但是对我来说,有一个时间问题,如果作业已经完成,那么上面的getJob()方法找不到并返回null.我可以确认该作业是否已从集群UI完成.

保持RunningJob是分开的,是否有一种方法来获取给定org.apache.hadoop.mapreduce.JobID的映射作业的org.apache.hadoop.mapreduce.Job对象,无论作业当前正在运行还是完成？

我试着编写如下代码：

Cluster cluster = jobClient.getClusterHandle();
Job job = cluster.getJob(JobID.forName(jobId));
log.info(“尝试使用id {},在集群{}上找到{},JobID.forName(jobId),作业,集群)获取实际工作;

我可以看到正确的jobId,也可以看到集群对象..但是cluster.getJob()方法返回null,所以作业本身为null.

有没有我在这里错过的东西？

解决方法

最近的纱线升级需要在我的系统上启用MR历史记录服务器.这解决了这个问题.我最近从MR v1升级到v2,在升级中,所有已完成的作业现在都被移动到历史服务器.