过拟合与欠拟合问题

今天看了Andrew Ng cs229 Machine Learning 的公开课，很有收获，虽然对于视频中公式等的推导还是“晕”，但是，这是一步很好的开端！万事开头难！

术语

• hypothesis 假设
• regularization 正则化
• convex 凸
• cost function 成本函数
• polynominal 多项式
• fit the parameter 拟合参数

过拟合（overfitting or high variance)

过拟合又叫高偏差

现象：

就是模型太过复杂，力求覆盖每个数据，对训练集预测效果非常好！但是，泛化能力不好，一旦用测试集测试，预测结果却并不好！！！

线性回归和logistic回归都存在欠拟合和过拟合的问题。

原因

过拟合问题的出现常常因为下面两个原因：
1. 变量多（feature）
2. 数据少
3. 函数过于复杂

解决办法：

1. reduce features（人工选择重要的特征或者模型自动选择）
2. regularization-正则化1
   吴提出的观点：
   

越小的参数$\theta$,假设就越简单

欠拟合（high bias)

指不能很好地拟合数据，一般是因为模型函数太简单或者特征较少。

参考

1. 机器学习笔记4 正则化 ↩