为什么调用show操作会在火花中创建两个单独的作业?

问题描述

我正在使用spark Dataframe API编写一个简单的查询,并对其调用show()操作。 我看到此操作有两个工作,第二个工作有一个跳过的阶段。据我了解,应该只有一份工作。 有人可以告诉我从事两项工作的原因吗?

查询

Dataset<Row> result1 = df.where("runs > 12000").select("team","run")
                        .groupby("team").agg(count("run").as(""total_run));

result.show();

工作1:

enter image description here

职位2:

enter image description here

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)