问题描述
在学习 LSTM 时，我了解了在输入门中使用 2 个不同的激活函数 - sigmoid 和 tanh。我使用了 sigmoid 但没有使用 tanh。在这篇 stackoverflow 文章中，about use of tanh 说我们希望它的二阶导数在变为零之前保持很长时间，我不明白他为什么要谈论二阶导数。此外，他有点说 tanh 消除了消失梯度（在第二段中），但在我阅读的所有文章中，他们都说 Leaky ReLU 有助于消除它。因此我想了解 LSTM 中的 tanh。这不是重复的问题，我只是想了解之前回答的问题。谢谢！?
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）