ray.exceptions.RayTaskError(TuneError) HuggingFace+RayTune

问题描述

我使用 Raytune 和 HuggingFace 进行超参数调整，以下是我的代码片段：

from ray.tune.schedulers import PopulationBasedTraining
from ray.tune import uniform
from random import randint
scheduler = PopulationBasedTraining(
    mode = "max",metric='mean_accuracy',perturbation_interval=2,hyperparam_mutations={
        "weight_decay": lambda: uniform(0.0,0.3),"learning_rate": lambda: uniform(1e-5,5e-5),"per_gpu_train_batch_size": [16,32,64],"num_train_epochs": [2,3,4],"warmup_steps":lambda: randint(0,500)
    }
)

best_trial = trainer.hyperparameter_search(
    direction="maximize",backend="ray",n_trials=4,keep_checkpoints_num=1,scheduler=scheduler)

但是，我不明白它给我的错误是：

  [TuneError: ('Trials did not complete',\[_inner_53895_00000,_inner_53895_00001,_inner_53895_00002,_inner_53895_00003\])][1]

输出：[1]：https://i.stack.imgur.com/1zmM7.png

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）