多层的多重激活函数神经网络

问题描述

我的神经网络有一个二元分类问题。

使用隐藏层中的 ReLU 激活函数和输出层中的 sigmoid 函数，我已经得到了很好的结果。 现在我正在努力获得更好的结果。 我用 ReLU 激活函数添加了第二个隐藏层，结果变得更好。 我尝试对第二个隐藏层使用leaky ReLU 函数而不是ReLU 函数并获得了更好的结果，但我不确定这是否被允许。

所以我有这样的事情： 隐藏层 1：ReLU 激活函数 隐藏层 2：leaky ReLU 激活函数 隐藏层3：sigmoid激活函数

我在上面找不到很多资源，我发现的资源总是在所有隐藏层上使用相同的激活函数。

解决方法

如果您指的是 Leaky ReLU，我可以说，实际上，Parametric ReLU (PReLU) 是泛化传统整流单元以及 Leaky ReLU 的激活函数。是的，PReLU 改进了模型拟合，没有显着的额外计算成本，并且过拟合风险很小。

有关详细信息，您可以查看此链接 Delving Deep into Rectifiers