问题描述
xgboost 算法中权重的 L1 和 L2 正则化项究竟有何不同。
据我所知,LASSO 使用 L1,RIDGE 回归使用 L2,L1 可以缩小到 0,L2 不能。我了解使用简单线性回归时的机制,但我不知道它在基于树的模型中是如何工作的。
此外,gamma 是另一个参数,它使模型更加保守。我应该如何注意 L1/L2 和 gamma 参数之间的差异。
我在文档中发现这个问题很少:
lambda [默认=1,别名:reg_lambda]
- 关于权重的 L2 正则化项。增加这个值将使 模型更保守。
alpha [默认=0,别名:reg_alpha]
- 关于权重的 L1 正则化项。增加这个值将使 模型更保守。
gamma [默认=0,别名:min_split_loss]
- 在叶子上进行进一步分区所需的最小损失减少 树的节点。伽马越大,越保守 算法将是。
所有的范围从 0 到 inf。
预先感谢您的任何回答/评论!
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)