问题描述
我一直在遇到Rllib的问题，其中我的模型崩溃在我的LSTM层上，特别是我的初始隐藏状态和单元状态崩溃了，并进行深入研究，看来问题在于使用默认模型时，Rllib似乎自动填充LSTM的批次，但使用自定义模型，我似乎没有得到该填充。因此，我的模型进行训练，直到到达最后一个微型批次为止，最后一个微型批次的尺寸可能与所有其他先前的批次不匹配，并且由于没有自动填充该微型批次以适合其余批次，所以它崩溃了。
我指的填充函数如下：https://github.com/ray-project/ray/blob/master/rllib/policy/rnn_sequencing.py
Rllib似乎在此处进行填充：https://docs.ray.io/en/latest/_modules/ray/rllib/policy/tf_policy.html（只需搜索“ pad_batch_to_sequences_of_same_size”）。
因此，是否有可能使用自定义模型并仍在Rllib中获得具有特定序列长度的填充数据？我一直在尝试传递已经设置了序列长度的数据，然后遇到此问题，但是我没有看到Rllib允许您为自定义模型而不是其内置模型设置序列长度的方法。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）