问题描述
我有一个与 apache flink 相关的问题。目前我正在研究 apache flink 作为我们的工作框架。
本质上，我们有一个内容摄取工作，我们从提要中摄取一些内容，该提要本质上是分页的。 Feed 的内容可以是 xml 或 json 格式，每页可以有 1000 条记录。
我需要的是将这 1000 条记录分成任务并并行处理。
我知道 flink 有一些方法可以并行化其作业，但可以将其划分为任务槽。 我想知道我们如何做到这一点，或者任何在线资源将不胜感激。
我看到我们可以使用 setParallelism() 进行设置，但我很难找到设置处理的方法。
所以只是给你一个想法..这是一个示例供稿
<mainTag>
<subTag>
......
</subTag>
<subTag>
......
</subTag>
<subTag>
....
</subTag>
</mainTag>
现在在上面的 xml 示例中，我想分割并并行处理它。
这类似于我们在 java 中使用 ExecutorService 进行多线程处理。
在纯 java 中，我会执行 executorService.submit(subtagTask) 来处理 subTag。
我想知道在 Flink 中是否有办法做到这一点。这将帮助我不再为处理线程而头疼以及随之而来的头疼。
感谢任何帮助。
问候。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）