python 中的简单 NN 不起作用，可能是反向传播算法的问题？

问题描述

我尝试使用具有 2 个输入、2 个隐藏神经元和 1 个输出神经元的 NN（使用随机梯度下降）来编写经典的 XOR 问题。但是无论我做什么，我的神经网络都不能正常工作，仍然得到错误的输出，我真的不知道问题出在哪里，我认为在反向传播中，也许我以错误的顺序乘以它，我真的不知道。我用于更新输出权重的公式是 LEARING_RATE * ERROR * (OUTPUT * (1 - OUTPUT) * HIDDEN_OUTPUT.T 隐藏权重的公式是 LEARING_RATE * HIDDEN_ERROR * (HIDDEN_OUTPUT * (1 - HIDDEN_OUTPUT) * INPUT。 我想知道我的代码中的问题出在哪里，我将不胜感激您能提供的任何帮助:)

def sigmoid(x):
    return 1 / (1 + np.exp(-x))


def sigmoid_derivative(y):
    return np.exp(y) * (1 - np.exp(y))


inp = np.array([ [[0,0]],[[0,1]],[[1,1]] ])

w_ih = np.random.uniform(size=(2,len(inp[0][0])))  # weights from input to hidden

bias_hidden = np.random.uniform(size=(1,len(w_ih)))

w_ho = np.random.uniform(size=(1,len(w_ih)))       # weights from hidden to output

bias_output = np.random.uniform(size=(1,len(w_ho)))

des_output = [[0,1,0]]

r = 0.1 # learning rate

for i in range(10000):
    index_sample = random.randint(0,len(inp) - 1)

    # Forward propagation
    hidden = sigmoid(np.dot(w_ih,inp[index_sample].T) + bias_hidden.T)
    output = sigmoid(np.dot(w_ho,hidden) + bias_output)
    # Calculating error
    output_error = output - np.array(des_output).T[index_sample]
    hidden_error = np.dot(w_ho.T,output_error)

    # Back propagation
    output_gradient = output_error * sigmoid_derivative(output)
    w_ho += np.dot(output_gradient,hidden.T) * r

    bias_output += np.sum(output_gradient,axis=0,keepdims=True) * r


    hidden_gradient = hidden_error * sigmoid_derivative(hidden)
    w_ih += np.dot(hidden_gradient,inp[index_sample]) * r

    bias_hidden += np.sum(np.array(hidden_gradient),keepdims=True) * r


test = np.array([ [[0,1]] ])
for i in test:
    h1_test = sigmoid(np.dot(w_ih,np.array(i).T) + bias_hidden.T)      # testing neural newtwork
    output_test = sigmoid(np.dot(w_ho,h1_test) + bias_output)

    print(output_test,i)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）