通过 ray 对训练好的策略进行评分

问题描述

我想在训练期间使用 ray 训练的策略进行一些基准比较，每隔几次训练迭代。为此，我想使用给定的种子创建 env 的给定实例，然后使用每个基准和光线运行一个剧集。总之，伪代码如下所示：

for i in range(n):
  s = env.reset(seed_number=n)
  while True:
    a = alg.agent.get_action(s)
    ns,r,d,_ =  env.step(a)
    save_state(s,a,d)
    if d:
        break

其中 alg 在 [ray,random,heuristic1,heuristic2] 中。我的问题是我如何为此使用调用当前策略？我假设 agent.compute_action(s) 这样做。如果是这样，问题将是它如何处理随机性？例如，如果算法是DQN，它是否使用epsilon=0？它在 A2C 等基于策略梯度的算法中是如何工作的？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

ray rllib