问题描述
假设我在群集中有3个节点,
- 节点A
- 节点B
- 节点C
在 state-management.xml 文件中,我具有以下配置,
<cluster-provider>
<id>zk-provider</id>
<class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
<property name="Connect String">192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181</property>
<property name="Root Node">/nifi</property>
<property name="Session Timeout">10 seconds</property>
<property name="Access Control">Open</property>
</cluster-provider>
我正在使用以下 zoo.cfg 配置的外部Zookeeper,
tickTime=2000
initLimit=10
syncLimit=5
dataDir=./zookeeper
clientPort=2181
autopurge.snapRetainCount=30
autopurge.purgeInterval=2
quorumListenOnAllIPs=true
admin.serverPort=2515
server.1=192.168.0.10:2666:3666
server.1=192.168.0.11:2666:3666
server.1=192.168.0.12:2666:3666
所有节点都已启动并正在运行。如果我们正在处理10000个文件,并且在处理过程中,如果重新启动集群中的任何节点,则将导致重复的文件处理。最后,我们可以看到处理了10000多个文件。我可以说总共处理了12000个文件。
生成流文件的处理器配置
Processor A Which Generates Flowfile - 1
Processor A Which Generates Flowfile - 2
我怀疑某个地方的状态没有得到正确的更新或管理。如果1个节点处理了很少的文件,则其他节点不应处理这些文件。可能是我缺少一些配置。有人可以帮我解决这个问题。
先谢谢了。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)