L1正则化如何导致参数的稀疏性

L1正则化如何导致参数的稀疏性

一直以来对LR正则化添加的L1,L2 惩罚项没有搞清楚其意义

pluskid的博客http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac

让我明白了一直以来的疑问,对数据量非常少,特征非常多的情况下,会导致求解不唯一性,加上约束项可以得到一个确定的解,同时也导致了稀疏性的产生

同时另外一文章http://freemind.pluskid.org/machine-learning/equivalence-of-several-l1-sparsity-problem/ 讲清楚了凸优化的几种等价形式的原理。


斯坦福大学同样有一篇文章讲述了稀疏性编码的入门介绍文章

http://deeplearning.stanford.edu/wiki/index.php/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81

,思路很清楚,结合pluskid 关于惩罚项的分析,可以很好的理解稀疏编码的意义

还有某才女的分析http://www.jb51.cc/article/p-hufgumtb-bep.html,进一步从0范数,2范数的逐渐过度到为什么采样1范数作惩罚项目并和pluskid 一样先从二维图图形的角度去直观的分析0范和2范的问题,最终分析到1范条件。整个过程都清楚


感谢大神的分享

相关文章

正则替换html代码中img标签的src值在开发富文本信息在移动端...
正则表达式
AWK是一种处理文本文件的语言,是一个强大的文件分析工具。它...
正则表达式是特殊的字符序列,利用事先定义好的特定字符以及...
Python界一名小学生,热心分享编程学习。
收集整理每周优质开发者内容,包括、、等方面。每周五定期发...