需要跳过此循环的批处理，但在 Spark 流中的下一个循环中执行此操作

问题描述

我想写一个代码，在这个循环中我可以跳过代码的处理，但可以在下一批中完成。例如代码看起来像这样

stream.transform {
        //extract offset ranges to be committed after the processing is finished
        rdd =>
          offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
          if (offsetRanges != null) {
            log.info(s"Starting to process offset ranges ${offsetRanges.foreach(or => log.info(or.toString()))}")
          }
          rdd
      }.map(record => record.value)

      messages.foreachRDD { rdd => {
        if(cond)
            processAndCommit(rdd)

}
}

现在在 cond 的基础上，将处理 rdd。如果 cond 为 false，则不会处理 rdd，但会处理内部批处理，并在下一个循环中处理较新的偏移量。我希望在下一个循环中也可以选择上一个偏移量进行处理。有什么办法可以实现吗？

插图：

第 1 批：

偏移范围 1->5

条件错误

processAndCommit 块将被跳过并且偏移量 1->5 不会被处理

第 2 批：

偏移范围 6-> 10

条件为真

processAndCommit 块将被执行，偏移量 6->10 将被处理。

我想在下一个循环中选择偏移范围 1->10 而不是 6->10。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）