Python Luigi：处理缺失依赖项的有效方法

问题描述

此刻，我正在使用luigi库来创建数据管道。在我的管道的最后，我有一个Plot函数，它看起来像这样：

class PlotAll(luigi.Task):
...
    def requires(self):
        return{
            "tool1" : analyzetool1Data(...),"tool2" : analyzetool2Sata(...)}
    def run(self):
        data1 = numpy.load(self.input()["tool1"])
        data2 = numpy.load(self.input()["tool2"])
        plot(data1,data2)
        
...

因此，现在有时我只有工具1的数据或只有工具2的数据。比我只想从一个工具绘制数据。是否有一种优雅的方式告诉函数，如果缺少一个依赖项，则应忽略该输入并与其余输入一起使用？

到目前为止，我的想法是，首先检查其中存在哪些数据，然后创建与之相关的依赖项。

解决方法

luigi的整个思想是确保在运行任务之前已准备好所有依赖项。

它没有可选依赖项的概念，但是您可以使用dynamic dependencies

另一种选择可能是定义任务analyzeTool1Data的方式，即使任务失败或数据丢失，它仍然会生成输出，因此luigi仍然认为它们已经运行。

luigi python