带有 PXF 的 GreenPlum 是否支持具有模式演变的 avro 数据

编程问答 2022-05-25

问题描述

我们有 user 数据（avro 文件）经过验证并使用架构注册表（数据不断发展）并使用 GreenPlum 和 PXF 访问 HDFS 数据将其摄取到 HDFS 中。创建了一个外部表并尝试查询 HDFS 数据但出现错误，

warehouse=# select * from user;
ERROR:  Record has 151 fields but the schema size is 152  (seg1 slice1 192.168.1.17:6001 pid=6582)
CONTEXT:  External table user
warehouse=#

user HDFS 文件是使用不同的模式版本摄取的，并且 GreenPlum 外部表已使用来自所有模式版本的字段创建。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

avrogreenplum