问题描述
我有一些笔记本,可以对存储在dbfs(databricks文件系统)中的表进行转换。我想捕获并显示数据沿袭。另外,我想知道如何在hdinsight中执行相同的操作。
解决方法
样条线从“火花”和“谱系”一词衍生而来。它是用于可视化和跟踪数据随时间变化的工具。 Spline提供了一个GUI,用户可以在其中查看和分析数据如何转换以产生见解。
您可以查看有关Spark Data Lineage on Databricks Notebook using Spline和Data Lineage Tracking And Visualization Solution的文章。