使用GraphFramesScala计算层次结构

问题描述

我在下面有一个数据框：

employee_id|employee_name|manager_employee_id|
----------------------------------------------
    1           eric (ceo)      1
    2           edward          1
    3           john            1
    4           james           2
    5           ella            4

我想使用spark（scala）graphframe逻辑来实现以下目标：

employee_id|employee_name|manager_employee_id|level|hierarchy
-------------------------------------------------------------
    1           eric            1                0    /1
    2           edward          1                1    /1/2
    3           john            1                1    /1/3
    4           james           2                2    /1/2/4
    5           ella            3                3    /1/2/4/5

任何帮助将不胜感激

解决方法

我认为您正在寻找的答案或多或少与this有关。

您最后需要做的唯一修改就是聚合消息以获得完整的层次结构。 对于这一部分，您可以参考this。

以上两种方法的组合将为您提供所需的结果。