Delta Lake交易日志-删除属性

问题描述

我正在尝试将csv文件转换为增量格式。转换已成功进行，但是我可以在第二个json事务文件中看到 remove属性，其中在镶木地板中包含第一个csv文件的详细信息，如下所示：对于第一个json事务文件，没有remove属性。

{“删除”：{“路径”：“ part-00000-8780-121c6b34a252-c000.snappy.parquet”，“ deletionTimestamp”：1597827161514，“ dataChange”：true}}

我没有尝试删除任何文件或从增量表中删除。为什么当我尝试将新的csv转换为delta文件时看到此删除属性？有什么建议吗？

解决方法

尝试添加.config（“ spark.databricks.delta.retentionDurationCheck.enabled”，“ false”）

,

我了解到就像执行火花“覆盖”保存模式一样，它导致删除。