04-Flink 部署

https://flink.apache.org/downloads.html

左侧 Downloads   Binaries，1.14.2，.tgz包，300M+大小

yarn模式需要hadoop支持，在Additional Components下面下载

解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz

最主要的三个目录：

bin ：shell脚本文件

     start-cluster.sh  stop-cluster.sh   jobmanager.sh   taskmanager.sh 

     特别的：flink文件（没有.sh）

conf：yml配置文件

   flink-conf.yaml

       jobmanager.rpc.address: localhost    配置jobmanager

       jobmanager.rpc.port: 6123

       ......

       rest.port: 8081

       rest.address: localhost

   masters:配置jobmanager

   slaves:配置taskmanager，每行一个

lib：可用的库包，比如hadoop包

Standalone 模式

执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon

执行 jps 查看可以看到一个TaskManagerRunner和一个StandalonesessionClusterEntrypoint

访问 localhost:8081，可以看到web页面

并行度优先级：代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值

注意slot和task任务数的配置，可能存在任务提交失败的情况（slot资源不够）

命令行方式：   

./flink run -c   <mainClass> -p 3  <jarPath> --host localhost --port 7777

./flink cancel <jobId>

./flink list -a

Flink on Yarn 模式2种

Flink需要hadoop支持

Sesson Cluster

Per Job Cluster

Kubernetes部署（待整理）