groovy分析脚本基本组成文件详解和运行过程中出错分析

在本公司搭建的hadoop运行平台上,主要利用groovy进行数据分析并输出分析结果到数据库报表。每一个分析需要编写DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件。在进行数据分析的过程中,也会出现一些常见的错误,现在逐步总结如下。

一、DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件字段分析

图1.1

图1.2


图1.3


如图所示。其中,DataTypeConfig.xml的name参数(A1)暂未发现有什么作用,一般不用关注;DataTypeConfig.xml的path字段(A2)和ReportConfig.xml的input字段(B3)保持一致,值为数据输入路径;DataTypeConfig.xml的script字段(A3)值为.groovy脚本文件存放路径;ReportConfig.xml的name参数(B1)与.groovy脚本文件的C1字段保持一致,一般设置为该业务统计名称;ReportConfig.xml的name参数(B2)用于外界(比如workflow等)调用该groovy统计分析,一般设在该业务统计名称加上"_task"。


二、分析脚本在hadoop平台运行出错分析

1.groovy脚本处理生成的中间过程数据不存在



首先关注信息0,分析数据输入路径没有提示不存在,表示输入路径没有问题;再看信息1,此时提示不存在进而信息2也提示不存在,表示输入数据经过groovy脚本分析生成的中间数据不存在,数据在分析过程中被“过滤”掉了。原因可能在两个方面:分析代码有bug或者输入数据内容有问题。

相关文章

背景:    8月29日,凌晨4点左右,某服务告警,其中一个...
https://support.smartbear.comeadyapi/docs/soapui/steps/g...
有几个选项可用于执行自定义JMeter脚本并扩展基线JMeter功能...
Scala和Java为静态语言,Groovy为动态语言Scala:函数式编程,...
出处:https://www.jianshu.com/p/ce6f8a1f66f4一、一些内部...
在运行groovy的junit方法时,报了这个错误:java.lang.Excep...