正则化的具体理解

对于正则化，个人很不明白其具体的含义，直到今天，我突然对正则化有了一些顿悟，用来跟大家分享。

说到正则化，我们先弄明白几个概念：1.欠拟合 2.合适拟合 3.过拟合

从字面意义上说，大家对这3个概念都不陌生，具体说一下过拟合，如果我们有非常多的特征，那么通过学习得到的拟合方程有可能对训练集拟合的非常好 J(θ)=1m∑mi=112(hθ(x(i))−y(i))2≈0 但是对于新数据预测的很差，这就是过拟合。

而正则化，就是针对过拟合的问题提出来的，想要解决过拟合的问题有2种方法，1是降低特征的数量，此方法看似简单，其实不然，想减少特征又要把那些对结果影响大的特征保留不是一件容易的事，第二种方法就是我们今天的主题，正则化。

正则化的思路与降低维数的思路是一样的，不同在于他并没有降低特征的数量，而是减少了特征的维数。正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力量。

如上图所示，左边是一个合适的拟合，而右边则是一个过拟合，直观来看我们需要做的就是将 x3,x4

的影响消除，简单的做法就是将原有的成本函数加上2个很大的惩罚项，使后两项的参数约为0。

上式就是一个正则化的成本函数，其中拉马达，我们的目标就是最小化上式。

这就是正则化的基本含义。