问题描述
我正在学习神经网络课程,教授向我们介绍了XOR问题。我知道XOR问题不是线性可分离的,为什么我们需要使用神经网络解决这个问题。
但是,他提到异或运算对我不了解的双极表示(-1,+1)效果更好。我研究了不同网站上的资源,但我真的不明白原因。
我想知道为什么双极表示会比二进制表示更好?该论点的依据是什么?
解决方法
输入节点的权重增量涉及输入值。当使用二进制表示形式时,输入节点的值可能为0,这意味着其权重增量为0。换句话说,当应用此输入向量时,此节点无法“学习”任何东西。
相比之下,如果使用双极表示形式,则可以避免这种情况,因为输入节点永远不会具有值0。这意味着输入节点始终可以学习,从而帮助训练更快收敛。