问题描述
在阅读有关RL“深度强化学习动手实践”的书时，Maxim Lapan尝试创建自己的代理和环境。问题是我的经纪人似乎训练不正确。 我想创建一个可以自动（以最有效的方式）探索室内建筑物的代理。为此，我创建了一个类似于Gym（且兼容）的环境，以下是这些特征：
- 尺寸：100像素x 100像素
- 在每次重置时使用二进制空间分区随机生成 算法（从此处开始： https://arcade.academy/examples/procedural_caves_bsp.html）
- 所有都是灰度的
- 墙壁像素对应的值为0
- 代理（3x3像素正方形）的值为192
- 空白像素的值为255
- 探索的像素值为64
- 对于每个动作（上，下，左，右），座席将移动1个像素
我将奖励限制在-1和1之间，例如：
- 如果代理探索新像素：+1.0
- 如果代理未探索新像素：-0.1
- 如果特工撞墙：-1.0
获胜条件是，如果探员探索了至少98％的像素，并且获得了+1的奖励。否则，如果代理在8000帧内没有探索新的像素，它将失去作用。
编辑：我认为我做错了一件事情，就是在剧集中给予特工奖励。所以我在做奖励塑造时却不知道它到底是什么。据我了解，这可能很棘手，而且很难正确地做到。 我将尝试仅在情节结束时给予奖励（在情节中为0），如果特工撞墙，则基本上结束奖励，总奖励将是命中的“特殊点数”。我将尝试对此进行各种更改，以查看是否可以让代理学习一些东西。
我使用射线投射来模拟代理人的视野。它以黑屏开始，墙壁会自动以X像素的半径显示在代理周围（如果光线未被墙壁遮挡）。
我尝试使用具有不同增强功能的DQN，这些代码来自本书作者https://github.com/PacktPublishing/Deep-Reinforcement-Learning-Hands-On-Second-Edition/tree/master/Chapter08
神经网络的模型如下：
(0): Conv2d(1,32,kernel_size=(8,8),stride=(4,4))
(1): ReLU()
(2): Conv2d(32,64,kernel_size=(4,4),stride=(2,2))
(3): ReLU()
(4): Conv2d(64,kernel_size=(3,3),stride=(1,1))
(5): ReLU()
(0): Linear(in_features=5184,out_features=512,bias=True)
(1): ReLU()
(2): Linear(in_features=512,out_features=4,bias=True)
输入到神经网络：
- 环境的1帧：从[0，255]标准化的[1，1，100，100] 到[0，1]
（我没有使用帧堆叠，因为除了每个状态的代理外，没有移动的对象）
超参数（对于具有重放缓冲区和目标网络的基本DQN）：
- lr：1e-3
- 重播大小：800000（我可以用公羊做的最大大小）
- 重播开始大小：50000
- 同步目标网络：10000
- Epsilon从1.0开始，在一百万帧后结束于0.1
- 伽玛：0.99
- 批次大小：32
我尝试了两件事来迫使特工探索：
- 保持先前指定的环境，并希望 奖赏以及座席从彩色编码中获得的反馈 “探索像素”就足够了。
- 删除探索像素的颜色和奖励并添加特殊内容 像素（1像素x 1像素）的灰度值128。代理每次点击 像素将获得+1的奖励（例如苹果或吃豆人中的点数， 蛇等），击中这些特殊像素就会消失。试图迫使代理商寻求和探索找到 这些特殊点。如下所示：
问题在于代理似乎没有学会探索环境。通过epsilon添加的随机性（或使用Noizy Layers产生的噪声）可获得更好的分数。但是在那之后，特工似乎越来越少探索，最后大多陷于困境。与特殊点相同，它似乎并没有尝试得到它们。我尝试了不同的超参数/奖励，尝试了基本的DQN，添加了增强功能（N步，噪声层，Double DQN，Dueling等）。我运行的代码从几个小时到10个小时不等（在2080超级计算机上）。
所以我想知道我的想法是否可能有问题，如何寻求代理商的探索，也许奖励是错误的（我尝试过改变这些），也许我缺少一些东西让代理商进行探索地图。另外，我并没有真正接触模型的网络，可能需要添加更多的图层？也许我上面提供的信息有问题。另外，我知道更好的方法还有A2C，A3C，PPO等。但是我的环境与DQN可以解决的ATARI游戏并没有什么不同。
如果您有任何想法...
谢谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）