为什么在 spark ui 中只显示 show() 操作？

问题描述

我目前有一个使用 spark 的项目。对于这个项目，我们正在计算 DataSet 的一些平均值，如下所示：

public void calculateAverages() {
    this.data.show();
    String format = "HH";

    // Get the dataset such that the time column only contains the hour. 
    Dataset<Row> df = this.data.withColumn("Time",functions.from_unixtime(functions.col("Time").divide(1000),format));

    df.show();

    // Group rows by the hour (HH).
    RelationalGroupedDataset df_grouped = df.groupBy("Time");

    // Calculate averages for each column.
    Dataset<Row> df_averages = df_grouped.agg(
            functions.avg(column_names[0]),functions.avg(column_names[1]),functions.avg(column_names[2]),functions.avg(column_names[3]),functions.avg(column_names[4]),functions.avg(column_names[5]),functions.avg(column_names[6])
        );

    // Order the rows from 00 to 24. 
    Dataset<Row> df_ordered = df_averages.orderBy(functions.asc("Time"));
    
    // Show in console. 
    df_ordered.show();
}

此处 this.data 定义为 Dataset<PowerConsumptionRow> data，其中 PowerConsumptionRow 是自定义类。

对于此代码，我期望操作 groupBy、agg 和 orderBy 在 spark 用户界面中显示为阶段。但是，如下所示，仅显示 show() 操作：

这些操作没有显示的原因是什么？由于show()的输出是正确的，所以操作都成功了。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）