问题描述
Azure Purview 目前仅显示来自 ADF 的复制活动的数据沿袭。这足够了吗? 在此 article 中给出:“通过将元数据从 Azure 数据工厂推送到 Azure 权限,可实现可靠且透明的沿袭跟踪。”这是否超出了复制活动?如果是,我们如何才能做到这一点?
Azure 中还有其他方法可以查看完整的数据沿袭吗?假设我们使用 ADF/Synapse/Azure Databricks。
解决方法
数据工厂、数据共享、Synapse、Azure Databricks 等工具属于数据系统类别。当前与 Purview 集成的用于谱系的数据处理系统列表见此处Azure Purview Data Catalog lineage user guide
目前是 Azure 数据工厂,支持范围:Copy activity、Data flow activity、Execute SSIS package activity 并且数据工厂和 Purview 之间的集成仅支持数据工厂支持的数据系统的一个子集,如here 所述。
Azure Purview 目前不支持用于沿袭或扫描的查询或存储过程。血统仅限于表和视图源。
在谱系视图中查找信息的一些其他方法,包括以下内容:
- 在血统标签中,将鼠标悬停在形状上以在工具提示中预览有关资产的其他信息。
- 选择节点或边以查看其所属的资产类型或切换资产。
- 数据集的列显示在Lineage 选项卡的左侧。有关列级沿袭的详细信息,请参阅 Dataset column lineage。
还通过 Atlas 挂钩和 REST API 支持自定义沿袭报告。数据集成和 ETL 工具可以在执行时将沿袭推入 Azure Purview。
将 Azure Purview 帐户连接到 Synapse 工作区可让您发现 Azure Purview 资产并通过 Synapse 功能与其交互。
以下是 Synapse 中可用的 Azure 权限功能列表:
- 使用顶部的搜索框根据关键字查找 Purview 资产
- 根据元数据、沿袭、注释理解数据
- 使用链接服务或集成数据集将这些数据连接到您的工作区
- 使用 Synapse Apache Spark、Synapse SQL 和数据流分析这些数据集
- 元数据概览,查看和编辑元数据架构,包括分类、词汇表术语、数据类型和描述
- 查看世系以了解依赖关系并进行影响分析。
- 查看和编辑联系人以了解谁是数据集的所有者或专家
- 相关以了解特定数据集的层次依赖性。这种体验有助于浏览数据层次结构。