问题描述
在梯度下降中，我们调整权重以达到误差的全局最小值。但是，梯度下降的超平面呈现船状结构，这意味着误差达到最小值后，它再次增加以创建船状结构。但是，在执行代码时，经过某些时期后，误差在达到最小值后不会上升，它保持不变。你能请。澄清一下。
解决方法
这可能是由于学习率不断下降。当您找到最佳解决方案时，您的学习率已显着降低。此时所做的任何新更改都无关紧要，因此似乎错误没有上升。
,梯度下降的超平面可以可视化为抛物线，我们尝试最小化一个函数，我们尝试向顶点移动，这是我们的目标和最小值点。想象一个球在山谷中滚动，无论发生什么，一段时间后球都会停在山谷的中心，那里是最低的地方。这就是梯度下降。即使球可以上升，它也没有能量。这直接转化为我们最小化损失的步骤。
,您确实需要研究基本的差异化以了解发生这种情况的原因。 但是，我会试着解释 简单来说，
假设 让我们假设如果权重的值达到 0，成本将最小化。
案例 1： w = -5 假设权重值之一是 -5。 现在，如果您根据重量区分成本，您可能会得到一个负数。你用你得到的少量这个梯度减去先前的权重值。 -5 -（一些小的负值）将更接近于 0，因此权重慢慢达到函数的全局最小值
情况 2： 现在，来回答你的问题。当权重值高于 0 时会发生什么。 比方说，现在权重的值是 2。如果你对权重取成本的导数，这次你将得到一个正值。那是因为函数在不同点（微积分概念）的斜率。 因为，你用一些小的正数减去 2，它会接近于 0。 所以，无论权重在全局最小值的哪一边。一旦你对它进行微分并减去之前的权重值，它就会一直向最小值移动。