如何将pyspark聚合函数结果输出为字符串？

问题描述

我正在使用 PySpark 进行一些数据质量检查。我想要实现的是将所有结果输出到一个txt文件。基本代码逻辑如下：

def data_quality_check(df):
    output = ''
    output += func1(df) # func1 and func2 return check results as strings
    output += func2(df)
    return output 

我遇到的挑战是如何从 pySpark 数据帧输出聚合结果。例如，我想使用以下代码输出 groupBy/count 结果：

output += 'Counts group by device type is : ' + str(df.groupBy('DEVICE_TYPE').count().show()) + '\n'

下面的输出不是我所期望的：

Counts group by device type is : None

提前感谢您的任何建议！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）