L1正则化如何导致参数的稀疏性
一直以来对LR正则化添加的L1,L2 惩罚项没有搞清楚其意义
pluskid的博客http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac
让我明白了一直以来的疑问,对数据量非常少,特征非常多的情况下,会导致求解不唯一性,加上约束项可以得到一个确定的解,同时也导致了稀疏性的产生
同时另外一文章http://freemind.pluskid.org/machine-learning/equivalence-of-several-l1-sparsity-problem/ 讲清楚了凸优化的几种等价形式的原理。
http://deeplearning.stanford.edu/wiki/index.php/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81
,思路很清楚,结合pluskid 关于惩罚项的分析,可以很好的理解稀疏编码的意义
还有某才女的分析http://www.jb51.cc/article/p-hufgumtb-bep.html,进一步从0范数,2范数的逐渐过度到为什么采样1范数作惩罚项目并和pluskid 一样先从二维图图形的角度去直观的分析0范和2范的问题,最终分析到1范条件。整个过程都清楚
感谢大神的分享啊