问题描述
我有一个问题，我想在 Spark 中实现递归算法，想看看是否有任何建议可以在 Spark 中构建它，或者探索其他可能更适合的数据分析框架。
例如。该作业需要递归地列出目录结构/树和处理节点，结合map/reduce模式将路径或文件组映射到派生数据，递归分组/合并这些派生数据。
我试图以一种可以利用并行化整个算法的方式来做到这一点。构建一个在单个节点（例如 spark master）上运行的解决方案很简单，但假设目录结构非常大，有 O(Billion) 叶节点。
对于在 Spark 或其他框架/数据处理技术中构建递归/迭代类型的数据管道有什么建议吗？
解决方法
对于 Flink，我会考虑将 Stateful Functions API 用于此类用例。