大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022

然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取,

然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出

对吧.

transformation这个步跟spark不一样,不会区分转换算子和启动算子.

 

      然后我们再看,把上面的 程序代码分成了3个部分以后,再去看可以看成一个数据流图了,

其实就是数据流的流动对吧,流动的各个阶段做了各种处理,这里要注意,可以看到输入source,这里

可以有多个,源数据的流也可以有多个,然后sink,也可以有多个对吧,因为这里输出sink,可以输出

MysqL,也可以输出到redis,csv等等,可以有多个输出.

      然后上面的这个数据流图可以看到他是一个有向无环图对吧.

相关文章

Flink-core小总结1.实时计算和离线计算1.1离线计算离线计算的...
2022年7月26日,Taier1.2版本正式发布!本次版本发布更新功能...
关于Flink相关的概念性东西就不说了,网上都有,官网也很详尽...
最近准备用flink对之前项目进行重构,这是一个有挑战(但我很...
Thispostoriginallyappearedonthe ApacheFlinkblog.Itwasre...
Flink配置文件对于管理员来说,差不多经常调整的就只有conf下...