用于级联处理的 Hydra 配置

问题描述

我是 python 和 hydra 的新手，我正在使用 hydra multirun 进行级联图像处理。

尝试使用 hydra-config 作为类似预设的东西。

考虑一个使用级联函数的应用程序，这些函数都从 hydra cfg

functionA 输出是 functionB 的输入，FunctionB 输出是 functionC 的输入，functionC 输出是所需的结果。 但是每 run 整个过程都从 functionA

开始

我可以这样做：在第一次运行结束时，使用定义的配置执行 functionC，然后使用定义的配置执行 functionB？这种递归方式？

我看到在当前模式下一切正常，另一方面我知道我必须通过代码管理递归计算，但无论如何拆分代码然后与 hydra 连接来执行此操作？

从一开始就运行应用程序会消耗时间和精力。

谢谢

解决方法

听起来您想启动 DAG。 这是 Hydra 没有涵盖的内容，但您可以查看其他库，例如 Ray 或 Airflow。

原则上，您可以使用 Hydra 的 multirun 启动第一个作业，然后启动 dag，可能基于 Hydra 组合配置。

可能有用的一件事是实例化 API，它可以让您构建由配置驱动的 dag 定义。 特别是，Hydra 1.1 实例化是递归的。看看它的 docs。