如何使用 Apache Atlas API 获取所有带有分类的 Hive 列?

问题描述

我正在努力在数据目录软件和 Apache Atlas 之间同步标签。 Atlas 版本的标签一个分类”,所以我最初的计划是生成一个 Atlas 分类列表,将它与数据目录中的标签关联列表进行比较,并协调差异。

我正在寻找创建结果的最佳方法至少具有一个分类的所有 hive 列的列表,但似乎没有专用于此类的 API v2 端点手术。 API V2 Docs

到目前为止我发现的最好方法是:

  1. 使用 dsl search endpoint 以 10K 的块为单位对所有类型为“hive_column”的实体进行分页(在我的 Atlas 实例上配置了结果限制)
  2. 将在其“分类”列表中具有值的每个 hive 列中的相关元数据添加输出列表以进行最终比较

这个解决方案可以完成工作,但它在超过 20 万个 hive 列时效率不是很高,所以我很想知道是否有 Apache Atlas 经验的人发现了一个更好的解决方案来定位分类/标记列或其他实体。

>

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)