如何手动比较火花窗口结果

问题描述

在火花结构流式传输(版本2.3.2)中使用window函数之后,是否仍然可以手动比较不同的行?还是我可以直接访问状态存储?

我想做的是每10分钟对Kafka的事件量进行一次窗口计数和计数,然后我想比较每个窗口完成后不同时间窗口的计数,以检查该量历史。

我试图利用foreach编写器,但似乎每次调用只会获得每一行。 我也尝试过自定义接收器来执行此操作,但是在访问内部的RDD时遇到了很多问题...

那么有没有更简单的方法可以进行这种比较?

我实际上也实现了一个mapGroupsWithState一起使用的版本,但是它需要考虑很多window函数中应该涵盖的细节。因此,我正在尝试查看是否还有一种更优雅的方法

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)