Andrew Trask 片段中的反向传播

问题描述

我正试图找出我从 here

获得的以下代码段中的一行

import numpy as np
X = np.array([ [0,1],[0,1,[1,1] ])
y = np.array([[0,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
    layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
    layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
    layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
    layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
    synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
    synapse_0 -= (alpha * X.T.dot(layer_1_delta))

我无法弄清楚的行是：

layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))

具体来说，为什么我们用 synapse_1 而不是 layer_1 做点积？

通过在 delta 计算中使用 synapse_1，相对于权重执行偏微分而不是我们想要的 layer_1 输出？

我认为这就是 layer_1_delta 应该是这样的：

layer_1_delta = layer_1.T.dot(layer_2_delta) * (layer_1 * (1-layer_1))

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）