您可以在“ Delta Lake Merge Operation”中禁用自动改组吗？

问题描述

我在S3中有一个没有物理分区的表。 Ids的基数太高。除了分区以外，我想按排序顺序保存数据。我还想将ID的数据全部保留在同一物理零件文件中。为此，我按ID重新分区，然后在分区内排序。

但是，当我执行“ Delta Lake合并操作”时，它会重新整理其数据流中的数据。这将删除排序的顺序，并将分组的数据拆分到零件文件中。有没有办法防止Delta Lake在合并到S3中之前重新组合我的数据框？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）