大数据_Flink_Java版_数据处理_Watermark在任务间的传递---Flink工作笔记0054

       上一节我们说到了waterMark,这个时间数据的作用,我们知道waterMark表示在这个时间数据的,之前的数据都已经传输完了.

 

我们来看,我们知道在flink中,一个任务可以分为多个子任务,那么上游任务的数据,到子任务的时候,

数据我们说,如果设置了keyby那么,他分配下游子任务数据的时候,就是按照hashcode,这样分配的

对吧.

   如果没有设置keyby认是通过轮询分配的对吧.

   那么如果从上游来的数据是waterMark呢?这种数据呢?

   他应该怎么做?应该广播出去对吧,如果是waterMark,我们说waterMark就是个时间数据,他

代表在这个时间,之前的数据都已经,传输完毕了,所以如果上游来的数据是waterMark的话,

就要广播出去,告诉所有的下游任务,在这个waterMark之前的数据都已经接收完毕了.

 

相关文章

Flink-core小总结1.实时计算和离线计算1.1离线计算离线计算的...
2022年7月26日,Taier1.2版本正式发布!本次版本发布更新功能...
关于Flink相关的概念性东西就不说了,网上都有,官网也很详尽...
最近准备用flink对之前项目进行重构,这是一个有挑战(但我很...
Thispostoriginallyappearedonthe ApacheFlinkblog.Itwasre...
Flink配置文件对于管理员来说,差不多经常调整的就只有conf下...