问题描述
使用kafka主题作为源和目标的Flink应用程序。 使用
javaVersion ='1.11' flinkVersion ='1.11.1'
scalaBinaryVersion ='2.11'
该应用程序主要使用Flink SQL api。我们有一个StatementSet,并使用addInsertSql将sql插入添加到该集合中。
当有更多插入语句(例如10个以上)在flink集群之外运行时,使用 ./gradlew shadowJar运行 失败并显示以下错误
[GroupWindowAggregate(groupBy = .........(14/16)]错误 org.apache.flink.streaming.runtime.tasks.StreamTask-发生错误 流运营商的处置。 java.lang.NullPointerException:在时为null org.apache.flink.table.runtime.operators.window.WindowOperator.dispose(WindowOperator.java:318) 〜[flink-table-runtime-blink_2.11-1.11.1.jar:1.11.1]在 org.apache.flink.streaming.runtime.tasks.StreamTask.disposeAllOperators(StreamTask.java:703) 的[flink-streaming-java_2.11-1.11.1.jar:1.11.1] org.apache.flink.streaming.runtime.tasks.StreamTask.cleanUpInvoke(StreamTask.java:635) 的[flink-streaming-java_2.11-1.11.1.jar:1.11.1] org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:542) 的[flink-streaming-java_2.11-1.11.1.jar:1.11.1] org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721) [flink-runtime_2.11-1.11.1.jar:1.11.1]位于 org.apache.flink.runtime.taskmanager.Task.run(Task.java:546) [flink-runtime_2.11-1.11.1.jar:1.11.1]位于 java.lang.Thread.run(Thread.java:834)[?:?]
同一语句通过群集使用flink run命令运行时不会出错。
一些无效的方法:
具有多个语句集。这在本地有效,但不适用于flink群集,错误提示不能有多个execute语句。
更改kafka主题的分区计数。没有影响。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)