最佳数据管道框架

问题描述

满足以下要求的最佳数据管道框架是什么?:

  • 开源/免费使用
  • 需要使用 Python 创建数据管道(应支持 Geopandas、Pandas、Numpy 等)
  • 支持手动和时间触发管道
  • 非技术用户可以在其中启动管道(订单数据)的网络界面。必须可以使用需要在运行时定义的变量。
  • 支持在单个 Docker 容器中运行管道的能力
  • 与源代码管理 (GIT) 集成。 IE。从 GIT 下载最新的日期管道

我已经研究了 Apache Airflow,但想知道市场上是否有更好的替代方案,它支持上述定义的要求:)

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)