IIDR CDC以及向Kafka的交易详细信息

编程问答 2022-11-06

问题描述

我们正在研究POC，以使数据库数据与内部DB2与外部MS-sql保持同步。我们正在使用QREP复制/ CDC。对于POC，我们现在仅使用简单表。每个表都将消息发送到各自在Kafka中的主题（我们正在接收它）。 除了这些消息之外，我们还需要捕获交易详细信息（DML记录，插入/更新/删除）。

文档-https://www.ibm.com/support/knowledgecenter/SSTRGZ_11.4.0/com.ibm.cdcdoc.cdckafka.doc/tasks/kafkatccdev.html

演示-https://www.confluent.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions/

根据上面提到的文档和演示，当我们运行AvroConsole命令时，我们将使用“书签详细信息”获取源提交流信息。

Shawn提到我们可以在属性文件中指定审核设置，例如audit.jcfs = ENTTYP，CCID，TimsTAMP，但仍有一些疑问

  1. 可以为所有事务表捕获以下信息，如下所示： 好？如果是，我们在哪里/如何指定设置？
  • 交易ID
  • 图像/行/值之前/之后
  • DML操作（插入/更新/删除）

  1. 应该将交易详细信息流式传输到单独的主题，还是可以 它们被合并以发送到一个提交流主题。（如图所示 在视频中，从23:30开始）

  2. 如果我们能够流式传输这些信息，应该使用字符串反序列化器还是kafka反序列化器从Java代码中使用它

很抱歉，所有这些问题，但是我们仍然处于非常基础的阶段，没有太多知识。希望一些专家能提供一些指导。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-kafkajavajava