Spark 3.0-> Delta Lake 0.7.0 <-> AWS Glue Catalog-> Athena-实现集成

问题描述

我正在EC2实例上使用增量为0.7.0的独立spark(pyspark)3.0。 有人可以指导我如何从Hive metastore目录(在derby上)迁移到glue Catalog的指南。

如果有道理,我们的目标是以自动化的方式让Spark作业使用与Athena相同的目录。 意思是,当模式更改/新分区/新表/更改表在Delta Catalog级别发生时,应将其传播到glue Catalog

谢谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)