使用矢量数据进行梯度下降

问题描述

我们应该构建一个前馈神经网络。

整个事情的转折点是三个神经元 (1,5) 中的每一个都给出了向量作为输入。前进阶段非常简单。对于反向传播,我不太了解梯度下降。当我尝试使用链式法则确定隐藏层 2 和输出层之间的增量权重 (W3.shape = (2,4)) 时,矩阵中的每个权重只能得到一个向量 (1,5)。

所以 dL/dw3_1 = dL/dout1 * dout1/dw1。 (输出层没有激活函数)

我应该如何更新权重,这只是一个数字?我不确定我是否完全正确理解了任务。我很高兴有任何链接或帮助。不幸的是,谷歌搜索“使用矢​​量数据的梯度下降”总是会想到“如何矢量化某些东西”。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)