Delta Lake:如何与 SCD 类型 2 和自动模式演化合并?

问题描述

Delta Lake 文档指出,要使用自动模式演变,在使用 Delta 合并时必须坚持使用 updateall() 和 insertAll() 方法,即不能使用子表达式/条件有选择地更改列值。>

https://docs.delta.io/latest/delta-update.html#automatic-schema-evolution

这很好,直到我看到需要在同一张表上运行 SCD 类型 2 合并。

对于 SCD 类型 2,我希望能够“停用”现有/匹配的行并添加一个具有适当标志/日期的行。

看来我将不得不选择我在使用 Delta Lake 的 etl 过程中可以拥有的功能

是否有未记录在案的替代方法?我在这里遗漏了一些明显的东西吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)