一、准备工作
1、MNIST概念:
是一个识别手写数字图片的计算机视觉集,它包含各种手写数字图片和每张图片对应的标签
2、softmax回归:
softmax回归是logistic回归的一种,它是多元分类(包含二分类)。
sotfmax回归可以把多分类任务多输出转换为各种类别的可能概率,把最大概率值对应的类别作为输入样本的输出类别预测
sotfmax激活函数公式:
z[l]=W[l]a[l]+b[l]
g(z[l])=e(z[l])
理解sotfmax:
sotfmax的loss function:
单个样本 L(ŷ ,y)=∑yjlogŷj, j=[1,...,x] y为标签值,ŷ为预测概率,x为输入特征数量
样本集J(w[1],b[1],…)=1/m∑L(ŷ (i),y(i))
sotfmax梯度下降公式: ∂J/∂z[L]=dz[L]=ŷ −y