XGBoost Reg Lamda/Reg alpha 权衡 python

问题描述

我不确定我是否在正确的地方问这个问题,也许我应该和我一起进行堆栈交换。我正在使用机器学习回归模型。我最近优化了弹性网络模型,并且知道 L1_ratio FOR EN 在套索和脊之间进行权衡,0 导致模型运行“类脊模型”,L1_ratio = 1 等于导致类套索模型和任何东西之间导致两者的混合。所以我的问题是使用 XGBoost 时,reg lambda/reg alpha 惩罚是否相同?即增加 1 会减少另一个惩罚的权重。或者这两个是相互独立的。文档对于它是否需要权衡有点含糊,正如它所说:reg lambda 用于 L2,认值 = 1,reg alpha 用于 l1,认值为 0。所以在 XGBoost 中的情况也是如此,这两个是像 EN 中的 L1_ratio 一样相互权衡?我正在做一个随机搜索 w。我的 xgboot 的 CV 和我发现的使用 randomsearchCV 的示例表明它们不是“权衡”,因为我在示例中发现的值是这样的:

       "reg_alpha": [0,0.5,1],"reg_lambda": [1,1.5,2,3,4.5],

如果他们是权衡还是相互独立,有人可以为我解释一下吗?我目前正在随机搜索: "reg_alpha": [0,"reg_lambda": [0,

但如果我能运行一个,那将是一个巨大的帮助。我会补充一点,当我为我的弹性网络模型进行 gridsearch 时,我所有 3 个 y 变量的最佳模型是 alpha = 0.00001,并且 L1_ratio = 1 对这里人们的想法感兴趣,如果他们是或不是,我是否需要两者相互权衡?

谢谢!!!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)