Kafka Mirrormaker 2 target-> source慢于source-> target双向镜像

问题描述

我正在研究其中有2个群集的作品,可以将它们称为DC1和DC2,每个群集上都运行Mirrormaker 2。我在每个节点上都运行了镜像制造商(这可能是错误的),并且设置了群集标志,以尝试将本地的任何工作人员/牧民与其各自的代理群集对齐。

从DC1-> DC2镜像非常好,没有问题。 DC2-> DC1处理相同数量的消息几乎要花两倍的时间。

仔细查看日志,似乎在MM启动时仅创建了一个MirrorSourceConnector,并且在DC1中。

是否可能是DC2必须通过DC1上的MirrorSourceConnector跳回到DC2才能产生消息?

示例配置:

# Datacenters
clusters = source,destination
source.bootstrap.servers = broker1:9092,broker2:9092,broker3:9092
destination.bootstrap.servers = broker4:9092,broker5:9092,broker6:9092
# Cluster Configuration
source->destination.enabled = true
destination->source.enabled = true
source.cluster.producer.enable.idempotence = true
destination.cluster.producer.enable.idempotence = true
# Mirror maker configuration
offset-syncs.topic.replication.factor = 3
heartbeats.topic.replication.factor = 3
checkpoints.topic.replication.factor = 3
topics = .*
groups = .*
tasks.max = 1
replication.factor = 3
topics.blacklist = .*[\-\.]internal,.*\.replica,__consumer_offsets\
groups.blacklist = console-consumer-.*,connect-.*,__.*
# Heartbeats and checkpoints
emit.checkpoints.interval.seconds = 1
emit.heartbeats.interval.seconds = 1
emit.heartbeats.enabled = true
emit.checkpoints.enabled = true

谢谢

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)