通过在redshift上捕获父表上的更改来创建非规范化表的建议

问题描述

我们有一个包含Redshift,Airflow和Data Coral的数据管道设置。 Datacoral跟踪产品数据库的bin日志并在redshift中复制数据,airflow运行sql,该sql从redshift的现有表中创建非规范化表。但是,气流作业每天晚上都会创建整个非规范化表(此作业将丢弃现有表并创建一个新表),而不是仅捕获父表上的更改。我正在寻找修改气流作业sql的建议,以仅捕获更改并传播到非规范化表。甚至有可能只捕获redshift表上的更改吗?

感谢您的帮助,谢谢。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)