Flink并行度设置优先级

1, 从socket流中读取数据并行度只能是 1

//从socket文本流读取数据
DataStream<String> inputDataStream = env.socketTextStream(host, port);

2, 特定的算子设定了并行度最优先

//基于数据流进行转换计算
DataStream<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new MyFlatMapper()).keyBy(0).sum(1).setParallelism(2);

其中keyBy(0)不是算子, 只是一个hash分配作用, 所以它不能设置并行度

3, 算子没有设定并行度就是用整体运行环境设置的并行度

//创建流处理执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);

4, 环境的并行度没有设置就使用提交时候提交参数设置的并行度

在这里插入图片描述

5, 最后都没有设置就遵循 flink的配置文件

parallelism.default: 1

相关文章

Flink-core小总结1.实时计算和离线计算1.1离线计算离线计算的...
2022年7月26日,Taier1.2版本正式发布!本次版本发布更新功能...
关于Flink相关的概念性东西就不说了,网上都有,官网也很详尽...
最近准备用flink对之前项目进行重构,这是一个有挑战(但我很...
Thispostoriginallyappearedonthe ApacheFlinkblog.Itwasre...
Flink配置文件对于管理员来说,差不多经常调整的就只有conf下...