L1、L2 损失、正则

看了丕子博客里(http://www.zhizhihu.com/html/y2013/4414.html)的L1、L2损失、正则,想到了svm中的目标函数,先列一下博客里的内容

什么是损失,什么是正则;什么是L1,什么是L2。一会儿是L1正则,一会儿是L2损失。

总结:L1或者L2就是某种范数(线性代数和矩阵的基本概念),既可以用于损失又可以用于正则化参数。

损失是衡量预测值和真实值的差异,正则是控制所求参数的量级。

svm中的目标函数


看一下这个式子,后面一个式子指的就是L1损失,前面那个呢,指的就是L2正则化。

之前我们在用线性回归和逻辑回归的时候,为了增强模型的泛化能力,会对模型加一个L1或者L2的正则,前面的最小二乘法表达的式子是L2损失

相关文章

正则替换html代码中img标签的src值在开发富文本信息在移动端...
正则表达式
AWK是一种处理文本文件的语言,是一个强大的文件分析工具。它...
正则表达式是特殊的字符序列,利用事先定义好的特定字符以及...
Python界一名小学生,热心分享编程学习。
收集整理每周优质开发者内容,包括、、等方面。每周五定期发...