问题描述
我正在通过网格搜索执行超参数调整，但我意识到我正在过度拟合...我尝试了很多方法来减小它，更改"gamma","subsample","max_depth"参数以减小它，但是我仍然过拟合...
然后，我将“ reg_alpha”参数值增加到> 30...。并且我的模型大大减少了过拟合。我知道此参数是指权重上的L1 regularization一词，也许这就是解决我的问题的原因。
我只想知道对reg_alpha这样使用高值是否有问题？
感谢您的帮助：D
解决方法
reg_alpha 惩罚增加成本函数的特征。这意味着它会找到不会提高准确性的特征。但这会使预测线更平滑。
在某些问题上，我还增加了 reg_alpha > 30，因为它减少了过拟合和测试错误。 但如果是回归问题，它的预测将接近测试集的平均值，并且可能无法很好地捕捉异常。
所以我可以说，只要您的测试准确度没有开始下降，您就可以增加它。
最后，当增加 reg_alpha 时，保持 max_depth 较小可能是一个好习惯。