http://www.jb51.cc/article/p-crsuobzk-bnz.html
3.1 调试处理
- 参数：
- 不要使用格子点调参，而应该使用随机点调参。因为格子点对于单一粒度
- 调参时，我们可以先调参选到几个结果较优的点（如图被蓝色圈住的）
3.2 为超参数选择合适的范围
对于 alpha 的取值：
我们不应该如上述的方法取值，而应先划分（如下），再取值：
3.3 超参数训练的实践：Pandas VS Caviar
3.4 正则化网络的激活函数
输入的0均值标准化：
隐藏层的0均值标准化：
3.5 将 Batch norm 拟合进神经网络
- 使用微批：
- 梯度下降：
3.6 Batch norm 为什么奏效？
当训练集中X发布改变的时候，需要重新训练模型：
我们吧某隐藏层之后的神经网络看成一个模型，可知就算是同分布的数据X从整个网络正向传播，由于W、b的变化，到了该隐藏层，输出分布也都会不同。所以Batch norm 奏效就是由于避免的这种分布的不同而造成的问题：
3.7 测试时的 Batch norm
3.8 softmax 回归
最终预测的各个类别的概率之和不一定等于1：
3.9 训练一个 softmax 分类器
- 损失函数：
- 梯度下降：
