神经网络中激活特征的数量和学习稳定性

问题描述

如果我有意增加神经网络的层权重，我认为会出现过度拟合现象。使用ReLU作为激活功能，这种现象将增加神经元对输入的敏感性，并导致多个神经元归零，同时强调较少的相关连接。

鉴于上述陈述，并使用ReLU，我预计非零输出的值会相应增加，这可能最终会导致学习不稳定（？），因为我们在下一层使用不断增长的高价值输入。

现在，想象一下，在促进体重增加的同时，我将ReLU的正输出约束为≤1，权重最终会稳定吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）