下面主要总结线性回归与逻辑回归下的过拟合问题。
【过拟合问题的定义】
【过拟合问题的解决方法】
怎样解决过拟合问题呢？两个方法：
1. 减少feature个数（人工定义留多少个feature、算法选取这些feature）
2. 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）
下面我们将对线性回归与逻辑回归的正则化进行详细的讲解。
【一、线性回归的正则化】
过拟合现象如图（右）所示
试想在不改变特征数的条件下，如何使这些特征更好的拟合数据呢？？由图（中）可知，当没有特征x3跟x4时，拟合效果更好；那么如果theta3、theta4都接近于0，特征x3跟x4的作用将会很小，那么拟合效果会接近于图中
因此，我们定义带有正则项的代价函数如下：
粉线为正则化后的拟合图像。
注意：正则项中不包含theta0，因为theta0一般是一个较大的数；lambda不能太大，太大的话θ（1~n）≈0.
那么此时线性回归的梯度下降更新公式如下：
此外线性回归的正则方程如下：
【二、逻辑回归的正则化】
过拟合现象如图右所示
带有正则项的代价函数如下：
那么此时逻辑回归的梯度下降更新公式如下：
