我的两层神经网络模型不收敛

问题描述

我正在训练一个两层神经网络。我等了 15000 个 epoch，模型仍然没有收敛。

ans = []
for i in range(1000):
    x1,y1 = random.uniform(-3,3),random.uniform(-3,3)
    if x1*x1 + y1 * y1 < 1:
        ans.append([x1,y1,0])
    elif x1*x1 + y1 * y1 >= 2 and x1*x1 + y1 * y1 <=8:
        ans.append([x1,1])

data = pd.DataFrame(ans)
print(data.shape)
X = np.array(data[[0,1]])
y = np.array(data[2])

我正在生成随机点生成数据。数据看起来像这样。

weights_layer1 = np.random.normal(scale=1 / 10**.5,size=(2,20))
bias1 = np.zeros((1,20))
bias2 = np.zeros((1,1))
weights_layer2 = np.random.normal(scale=1 / 10**.5,size=(20,1))
for e in range(15000):
    for x,y1 in zip(X,y):
         x = x.reshape(1,2)
         layer1 = sigmoid(np.dot(x,weights_layer1)+bias1)
         layer2 = sigmoid(np.dot(layer1,weights_layer2)+bias2)
        
        dk = (y1-layer2)*layer2*(1-layer2)
        dw2 = learnrate * dk * layer1.T
        dw2 =dw2.reshape(weights_layer2.shape)
   # print(dw2.shape)
    
    
        weights_layer2 += dw2
   # bias2 += dk * learnrate
    
        dj = weights_layer2.T* layer1*(1-layer1)*dk
        dw1 = learnrate * np.dot(x.T,dj)

我正在以这种方式计算损失。

loss = 0
for x,y):
    layer1 = sigmoid(np.dot(x,weights_layer1))
    layer2 = sigmoid(np.dot(layer1,weights_layer2))
    loss += (layer2 - y1)**2
    
    
print(loss)

找不到哪里出了问题，你能看到什么吗？谢谢。我用 pytorch 进行了同样的训练，它收敛得很好。

最终模型在训练数据上看起来像这样。但在测试数据上，情况更糟。

解决方法

经过几个小时的尝试，我发现了问题。该网络不会在没有偏差的情况下收敛。使用了 5000 个 epoch 后收敛的偏差。

backpropagation neural-network