问题描述
我想知道为什么所有常见的激活函数都倾向于随着 x 增加（或者像 ReLU 一样保持平坦）。我没有遇到过任何与 x 成反比或具有其他形状的。例如，有时 1-tanh(x)^2 不是很有用吗？还是sech(x)？这些函数在 x=0 时达到峰值，并随着 abs(x) 的增加而最小化。
也许我在这里忽略了一些东西，或者还有其他的库提供了这些开箱即用的功能？ https://www.tensorflow.org/api_docs/python/tf/keras/activations
我提出问题的实际原因是我正在构建一个浅层神经网络来识别回文，并且我知道假设梯度下降仍然有效，这些激活函数会很有用。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）