从内存读取完整的管道,如果重试或部分管道则从文件读取

问题描述

如何使用管道从内存/文件运行?我认为功能已经存在,但是我不确定如何编写这样的管道。

我的用例是:

  1. 正常管道,从第1步到第10步
  2. 从第2步运行到第10步

想象一下,在第1步中,我将向CSV写入数据帧,而第2步需要从中读取数据。如果我从第1步开始运行,则希望将该数据帧传递到内存中(以节省读取时间)。但是,如果我从第2步开始运行,则需要阅读csv。

用Kedro这样做的最佳实践是什么?

https://kedro.readthedocs.io/en/stable/06_nodes_and_pipelines/02_pipelines.html#pipeline-with-circular-dependencies

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)