可行的流媒体建议|是否可以将Apache Nifi + Apache Beam在Flink群集上与实时流数据一起使用

问题描述

因此,对于我尝试使用的所有Apache框架,我都是非常陌生的人。我希望您对IoT流应用程序的几个工作流设计提出建议:

  1. 由于我们有可用于Flink的NiFi连接器,因此我们可以轻松地在Flink上使用Beam抽象。我可以使用NiFi作为数据流工具将数据从MiNiFi驱动到Flink Cluster(在此处存储在内存中或其他东西),然后使用Beam Pipeline进一步处理数据。
  2. 光束是否有NiFi连接器?如果不能,我们可以这样做吗?因此,我们直接将数据从NiFi流式传输到Beam作业(在Flink群集上运行)

我仍处于早期设计阶段,如果我们可以讨论可能的解决方法,那就太好了。让我知道您是否需要其他详细信息。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)