使用梯度下降的线性回归；成本函数值有问题

问题描述

我正在使用梯度下降来编码线性回归。通过使用for循环而不是张量。

我认为我的代码在逻辑上是正确的，当我绘制图形theta值和线性模型时，结果似乎很好。但是成本函数的价值很高。你能帮我吗？

成本函数的值是1,160,934，这是异常的。

def gradient_descent(alpha,x,y,ep=0.0001,max_repeat=10000000):
    m = x.shape[0]
    converged = False
    repeat = 0
    theta0 = 1.0
    theta3 = -1.0
#     J=sum([(theta0 +theta3*x[i]- y[i])**2 for i in range(m)]) / 2*m #######
    J=1
    
    while not converged : 
        grad0= sum([(theta0 +theta3*x[i]-y[i]) for i in range (m)]) / m
        grad1= sum([(theta0 + theta3*x[i]-y[i])*x[i] for i in range (m)])/ m
        
        temp0 = theta0 - alpha*grad0
        temp1 = theta3 - alpha*grad1
        
        theta0 = temp0
        theta3 = temp1
    
        msqe = (sum([(theta0 + theta3*x[i] - y[i]) **2 for i in range(m)]))* (1 / 2*m)
        print(theta0,theta3,msqe)
        if abs(J-msqe) <= ep:
            print ('Converged,iterations: {0}',repeat,'!!!')
            converged = True
        
        J = msqe
        repeat += 1
        
        if repeat == max_repeat:
                converged = True
                print("max 까지 갔다")
   
    return theta0,J
[theta0,J]=gradient_descent(0.001,X3,Y,ep=0.0000001,max_repeat=1000000)

print("************\n theta0 : {0}\ntheta3 : {1}\nJ : {2}\n"
          .format(theta0,J))

This is the data set。

解决方法

我认为数据集本身非常广泛，这就是为什么最佳拟合线显示大量成本函数的原因。如果您对数据进行扩展-您会看到它的下降幅度很大。

,

在处理具有巨大差异的大型数据集时，成本较高是很正常的。此外，您的数据处理的是大量数据，因此成本很高，归一化数据将为您提供正确的估计，因为不需要缩放归一化数据。尝试用这种方法来验证随机赖特的开始，如果成本在较大范围内波动，则每次都要观察成本，否则可能会出现一些错误，否则就可以了。