转：https://blog.csdn.net/oldmao_2001/article/details/90699046?from=groupmessage&isappinstalled=0
在线Latex公式
损失函数
计算网络预测值与真实值不一致程度的函数，以此评价当前模型的好坏。
正则化
防止网络过拟合在损失函数后添加的一个惩罚项，使网络模型尽量简单
softmax分类
将类别得分exp再归一化，得到每种类别可能性（0，1），利用-log（）求损失函数Li
