问题描述
在我的config.yaml中,如何传递两个数据集,例如西法尔和cinic一次?我可以将多个配置组传递到默认列表吗?
这是当我想在混合数据集上训练模型,但又不想为每种可能的组合创建配置组的情况。
├── config.yaml
└── dataset
├── cifar.yaml
└── imagenet.yaml
└── cinic.yaml
我尝试的方法如下:
dataset:
- cifar
- cinic
这导致以下错误:
Could not load train_dataset/['cifar','cinic']. Available options 'cifar ... '
解决方法
当前配置组是互斥的。 计划在Hydra 1.1中对此提供支持。参见issue 499。
一种可能的解决方法是将所有内容都放入配置中并使用插值:
all_datasets:
imagenet:
name: imagenet
cifar10:
name: cifar10
datasets:
- ${all_datasets.imagenet}
- ${all_datasets.cifar10}
这样,您可以从命令行(使用插值)将数据集覆盖到其他数据集列表中。
如果您想以一些额外的代码为代价来简化用法,则可以执行以下操作:
all_datasets:
...
datasets_list:
- imagenet
- cifar10
datasets: []
@hydra.main(config_path="conf",config_name="config")
def my_app(cfg: DictConfig) -> None:
for ds in cfg.datasets_list:
cfg.datasets.append(cfg.all_datasets[ds])
if __name__ == "__main__":
my_app()
我没有对此进行测试,但希望您能理解。