是否可以在多个分区上并行运行 Deequ 异常检测

问题描述

我们将 Spark 数据帧分区在多列上。例如，我们有一个合作伙伴栏，可以是 Google、Facebook 和 Bing。我们有一个频道栏，可以是 PLA 和文本。我们想分别在 Google-PLA、Google-TEXT、Facebook-TEXT 等上运行异常检测，因为它们遵循不同的模式。到目前为止，我已经发现我可以使用不同的过滤器描述配置 AnomalyCheckConfig，并在检查结果时使用相同的过滤器。但首先我需要过滤掉每个分区组合的数据，然后使用其关联的过滤器运行异常测试。一一串连。有没有办法并行运行它们？我可以对整个数据帧执行多次使用不同 AnomalyCheckConfigs 的 addAnomalyCheck() 并在一次运行中获得验证结果吗？

解决方法

如果您的 Spark DataFrame 中有分区列，您可以通过指定要运行异常检测的质量指标的 where 条件，在单个 VerificationSuite 中实例化多个异常检查。假设您要计算列 Completeness 的 c1，例如，您可以使用 where = Some("partition = 'GOOGL'") 控制分区。

val verificationResults = VerificationSuite()
  .onData(df)
  ...
  .addAnomalyCheck(
    AbsoluteChangeStrategy(Some(-17.0),Some(7.0)),Completeness("c1",where = Some("c0 <= 5")),Some(AnomalyCheckConfig(CheckLevel.Error,"First Anomaly check",Map.empty,Some(0),Some(11)))
  )
  .addAnomalyCheck(
    AbsoluteChangeStrategy(Some(-17.0),where = Some("c0 > 5")),"Second Anomaly check",Some(11)))
  )
  .run()