问题描述
我们正在尝试使用Amazon DMS作为Debezium的替代方案,以将sql Server数据库更改生成到Kafka。一切都很好,但是Debezium的一个功能是我们在DMS中会想念的:卡夫卡中的消息包含在进行更改前后的记录状态的能力。似乎与DMS一样,您只会获得记录的更新版本,而不是之前的版本。在某处有此设置吗?我没有找到任何表明存在该问题的文档,但我想我会在放弃之前先问一下Stack Overflow蜂巢。
解决方法
您可以尝试使用 beforeimage 任务设置来获取 before 图像数据记录,它将为您提供具有指定前缀和列名后缀的 before 记录值。在您的任务设置中添加以下转换规则以获得所需的输出。
{
"rule-type": "transformation","rule-id": "2","rule-name": "2","rule-target": "column","object-locator": {
"schema-name": "%","table-name": "employees"
},"rule-action": "add-before-image-columns","before-image-def": {
"column-prefix": "BI_","column-suffix": "","column-filter": "pk-only"
}
}