问题描述
我在keras中有一个lstm层,我要添加“注意”。我想获取初始隐藏状态(零张量)并将其传递给我的Attention机制。我找不到找到这种隐藏状态的方法。这是我的模型:
encoder = layers.LSTM(units=units,return_state=True)
hidden_state = None
for i in range(time_window):
atten_out = MyAttention()([hidden_state,input])
output,hidden_state,cell_state = encoder(atten_out)
我必须将hidden_state
初始化为None
,然后在MyAttention
中引起错误。我想将hidden_state
初始化为零张量,其第一维等于批处理大小(就像在图编译过程中keras模型体系结构中的所有其他输入和输出一样。
另一种方法是获取lstm的初始隐藏状态,但是在编译的这一点上,我认为隐藏状态尚未定义。这是真的吗?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)