问题描述
满足以下要求的最佳数据管道框架是什么?:
- 开源/免费使用
- 需要使用 Python 创建数据管道(应支持 Geopandas、Pandas、Numpy 等)
- 支持手动和时间触发管道
- 非技术用户可以在其中启动管道(订单数据)的网络界面。必须可以使用需要在运行时定义的变量。
- 支持在单个 Docker 容器中运行管道的能力
- 与源代码管理 (GIT) 集成。 IE。从 GIT 下载最新的日期管道
我已经研究了 Apache Airflow,但想知道市场上是否有更好的替代方案,它支持上述定义的要求:)
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)