将sql查询转换为等效的spark查询

问题描述

我在Java8上使用spark-sql-2.4.1v。

我有如下的场景/摘要

Dataset<Row> df =//loaded data from a csv file
// this has columns like "code1","code2","code3","code4","code5","code6",and "class"
 
 df.createOrReplaceTempView("temp_tab");

List<String> codesList = Arrays.asList("code1","code5"); // codes of interest to be calculated.
 
 codesList.stream().forEach( code -> {
 
 String query = "select " 
                                  + " avg(" + code + ") as mean,"
                                  + "percentile(" + code +",0.25) as p25" 
                                  + "from " + temp_tab                      
                                  + " group by class";
                
  Dataset<Row> resultDs  = sparkSession.sql(query);
 });

如何使用functions.expr（）和functions.agg（）编写代码？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）