如果下一个文件已经完成,则luigi任务将失败

问题描述

我有一个luigi构建的管道,其中一些任务需要其他任务,每个任务都创建一个文件。 像这样:

TaskA-------->TaskB---------> TaskC-------->TaskD
(fileA)      (fileB)         (fileC)       (fileD)

我第一次运行管道时,一切运行良好并被创建。

如果我再次运行管道,由于TaskD已经完成,因此什么也不会运行。

如果我手动删除fileB(由TaskB制造),则希望重新创建它,并且其他所有运行都在运行,但管道失败。

是的,重新创建了fileB,但是TaskC失败,错误消息指出fileC已经存在。

是否可以重新创建后续文件?还是要覆盖fileC?

解决方法

您所描述的就是Luigi的运行设置。当您指定要运行的任务时(在module.exports = app => { const accounts = require("../controllers/account.controller.js"); var router = require("express").Router(); app.post("/account",accounts.create); app.post("/account/Login",accounts.authenticate); }; 或cli中),您指定的是Luigi需要完成的任务才能考虑其完成的工作。除非您告知,否则Luigi不会在乎您的管道。一种方法是将您关心的所有任务告知Luigi,在这种情况下,它们似乎是TaskB和TaskD。因此,它看起来像:

luigi.build