问题描述
我正在努力在数据目录软件和 Apache Atlas 之间同步标签。 Atlas 版本的标签是一个“分类”,所以我最初的计划是生成一个 Atlas 分类列表,将它与数据目录中的标签关联列表进行比较,并协调差异。
我正在寻找创建结果的最佳方法至少具有一个分类的所有 hive 列的列表,但似乎没有专用于此类的 API v2 端点手术。 API V2 Docs
到目前为止我发现的最好方法是:
- 使用 dsl search endpoint 以 10K 的块为单位对所有类型为“hive_column”的实体进行分页(在我的 Atlas 实例上配置了结果限制)
- 将在其“分类”列表中具有值的每个 hive 列中的相关元数据添加到输出列表以进行最终比较
这个解决方案可以完成工作,但它在超过 20 万个 hive 列时效率不是很高,所以我很想知道是否有 Apache Atlas 经验的人发现了一个更好的解决方案来定位分类/标记列或其他实体。
>解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)