以optuna LightGBMTunerCV为起点，进一步进行optuna搜索

问题描述

我正在尝试将LightGBM用于回归问题（平均绝对误差/ L1-或类似类似Huber或pseud-Huber的损耗），并且我主要想调整我的超参数。 LightGBMTunerCV中的optuna提供了一个很好的起点，但在此之后，我想进行更深入的搜索（而不会丢失自动调谐器所学的内容）。另外，我想使用交叉验证均值+交叉验证均值的标准偏差作为我对模型进行排名的指标（即，我认为较低的SD是在相同数据中看不见的数据上表现更稳定的一个好兆头。分布）。

我已经做了类似的事情：

import optuna
import optuna.integration.lightgbm as lgb

params = {
        "objective": "l1","metric": "l1","verbosity": -1,"boosting_type": "gbdt",}    
    
dtrain = lgb.Dataset(X,label=y)    
mystudy = optuna.create_study()    
tuner = lgb.LightGBMTunerCV(
    params,dtrain,verbose_eval=False,time_budget=6000,study = mystudy)

tuner.run()

现在，我想做进一步的搜索，将这些结果考虑在内。如果以前没有结果，则可能会执行以下操作：

def objective(trial):    
        param = {
            'objective': 'l1','metric': 'l1','verbosity': -1,'boosting_type': 'gbdt','lambda_l1': trial.suggest_loguniform('lambda_l1',1e-8,10.0),'lambda_l2': trial.suggest_loguniform('lambda_l2','num_leaves': trial.suggest_int('num_leaves',2,512),'feature_fraction': trial.suggest_uniform('feature_fraction',0.1,1.0),'bagging_fraction': trial.suggest_uniform('bagging_fraction','bagging_freq': trial.suggest_int('bagging_freq',1,15),'min_child_samples': trial.suggest_int('min_child_samples',256),'seed': 1979
        }
       
    # insert code for getting X and y ready 
    dtrain = lgb.Dataset(X,label=y)

    lcv = lgb.cv(
        param,verbose_eval=False)
                
    return lcv['l1-mean'][-1]+lcv['l1-stdv'][-1]

optuna.logging.set_verbosity(optuna.logging.WARNING)
study = optuna.create_study(direction='minimize')
study.optimize(objective,n_trials=2500)

我不清楚如何将以前的结果添加到研究中。不定义一项新研究可能会解决此问题，但是看起来LightGBMTunerCV使用的是平均得分（不是mean + stdv），有没有办法轻松地改变它？可以以某种方式对研究中的试验进行后处理以添加stdv吗？

我什至还没有看到一个清楚的示例，说明如何使用FixedTrial来强制一项研究重新运行最佳调整的参数（即使我知道应该可行），这可能是另一种方法。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

lightgbm optuna python