luigi 任务具有冲突的 pip 依赖项

问题描述

我有一个 luigi 管道，其中一些 luigi.Task 具有冲突的 pip 依赖项。这会导致问题，因为这些任务是同一管道的一部分（即一个任务需要另一个）。我不想创建单独的管道，因为我将无法再检查调度程序中的完整管道。在这种情况下，最佳做法是什么？

示例：您有两个 python 包，每个包都定义了一个 luigi.Task。
但是，packageA 需要与 packageB 不同版本的库：

packageA/task1.py 需要 mypackage==1.0.0
packageB/task2.py 需要 mypackage==0.9.0

假设管道是： task1 -> task2 -> wrappertask

这是一个问题，因为在 task2 我必须导入 task1 才能定义 requires 方法：

# packageB/task2.py,needs mypackage==0.9.0

from task1 import Task1 # cannot do this as I would need mypackage==1.0.0

class Task2(luigi.Task):
   id = luigi.Parameter()

   def requires(self):
       task1.Task1(id=id)
   ...

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

luigi python