可以查询Hudi Metadata表吗？

问题描述

浏览 Hudi 文档时，我看到了 Metadata Config 部分，并对它的使用方式感到好奇。我创建了一个启用元数据的表，并在 /.hoodie/Metadata 下创建了目录。有没有人尝试过这个功能？元数据是公开给 Hudi 还是仅在内部使用？这有什么用途？我无法从文档中理解它。

我使用以下 Hudi 选项使用 PySpark 在 S3 中创建表。

hudi_options_insert = {
     "hoodie.table.name": "table_p5","hoodie.datasource.write.table.type": "copY_ON_WRITE","hoodie.datasource.write.recordkey.field": "id","hoodie.datasource.write.operation": "bulk_insert","hoodie.datasource.write.partitionpath.field": "ds","hoodie.datasource.write.precombine.field": "id","hoodie.datasource.write.hive_style_partitioning": "true","hoodie.datasource.hive_sync.table": "table_p5","hoodie.datasource.hive_sync.database": "poc_hudi","hoodie.datasource.hive_sync.enable": "true","hoodie.datasource.hive_sync.partition_fields": "ds","hoodie.insert.shuffle.parallelism": 6,"hoodie.Metadata.enable": "true","hoodie.Metadata.insert.parallelism": 6
     }

谢谢一百万。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-hudi pyspark pyspark