从 Spark 结构化流作业写入时的 Delta 表版本控制

问题描述

从 Spark 结构化流作业写入 Delta 表是否会为写入的每个微批次数据创建一个版本？

解决方法

来自文档：

当您写入 Delta 表或目录时，每个操作都是 自动版本控制。

所以，是的，你是对的。

获取数据：

• 使用时间戳

• 使用版本号

参考：https://databricks.com/blog/2019/02/04/introducing-delta-time-travel-for-large-scale-data-lakes.html