L1范数与L2范数正则化

2018-1-26

虽然我们不断追求更好的模型泛化力,但是因为未知数据无法预测,所以又期望模型可以充分利用训练数据,避免欠拟合。这就要求在增加模型复杂度、提高在可观测数据上的性能表现得同时,又需要兼顾模型的泛化力,防止发生过拟合的情况。为了平衡这两难的选择,通常采用两种模型正则化的方法:L1范数正则化与L2范数正则化。

正则化的目的:提高模型在未知测试数据上的泛化力,避免参数过拟合。

正则化常见方法:在原模型优化目标的基础上,增加对参数的惩罚项。

  •  L1范数正则化

分享图片

这种正则化方法结果会让参数向量的许多元素趋向于0,使得大部分特征失去对优化目标的贡献。这种让有效特征变得稀疏(Sparse)的L1正则化模型,通常被称为Lasso

  • L2范数正则化

 

分享图片

为了使新优化目标最小化,这种正则化方法的结果会让参数向量中的大部分元素都变得很小,压制了参数之间的差异性。这种压制参数之间的差异性的L2正则化模型,通常被称为Ridge

相关文章

jquery.validate使用攻略(表单校验) 目录 jquery.validate...
/\s+/g和/\s/g的区别 正则表达式/\s+/g...
自整理几个jquery.Validate验证正则: 1. 只能输入数字和字母...
this.optional(element)的用法 this.optional(element)是jqu...
jQuery.validate 表单动态验证 实际上jQuery.validate提供了...
自定义验证之这能输入数字(包括小数 负数 ) <script ...