OpenAI Gym 注册中缺少什么？

问题描述

尝试在稳定基线 3 中注册自定义环境时收到 ValueError: xxx not found in gym registry,you maybe meant。我尝试了以下命令：

apt-get install swig cmake ffmpeg freeglut3-dev xvfb
git clone --recursive https://github.com/DLR-RM/rl-baselines3-zoo
cd rl-baselines3-zoo
pip3 install -r requirements.txt
cd ..
git clone https://github.com/MatePocs/gym-basic.git
cd gym-basic
pip3 install -e .
cd ..
cd rl-baselines3-zoo
python3 train.py --algo td3 --env basic-v0 --eval-freq 1000 --save-freq 5000

结果是：

Traceback (most recent call last):
  File "train.py",line 107,in <module>
    raise ValueError(f"{env_id} not found in gym registry,you maybe meant {closest_match}?")
ValueError: basic-v0 not found in gym registry,you maybe meant CubeCrash-v0?

你看出哪个是错误了吗？

解决方法

Gym 不知道您的 gym-basic 环境——您需要通过导入 gym_basic 来告诉 Gym。

对于您从 RL Baselines3 Zoo 运行的 train.py 脚本，推荐的方法是在 utils/import_envs.py 中导入您的自定义环境。您应该将如下内容附加到该文件中。

try:
    import gym_basic
except ImportError:
    gym_basic = None

然后，您需要在 hyperparameters 目录下的相关文件中为您正在使用的代理（在本例中为 td3）的环境设置超参数。您可以查看 hyperparameters/td3.yml 文件中现有的环境超参数，以了解必须指定哪些超参数。然后，您可以像这样为 basic-v0 环境设置超参数。

basic-v0:
  # Hyperparameters go here...

但是，您应该注意，根据 Stable Baselines 3 documentation 文档，td3 不支持离散动作空间，因此即使您指定了超参数，训练也可能会失败。

您可能想尝试不同的算法 - 步骤应与上述步骤相同。只需在运行 train.py 时指定不同的算法，并确保在 hyperparameters 目录下的相关文件中指定超参数。

这个问题可以用--gym-packages gym_basic

解决

python3 train.py --algo td3 --env basic-v0 --eval-freq 1000 --save-freq 5000 --gym-packages gym_basic

但是它显示了 hyperparameters 的其他问题。
对于标准环境，它在文件夹 hyperparameters 中预定义了调谐 hyperparameters。对于 --algo td3 中的 hyperparameters/td3.yml。
但是 basic-v0

没有参数

如果我复制其他参数并使用名称 basic-v0

basic-v0:
  n_timesteps: 300000
  policy: 'MlpPolicy'
  noise_type: 'ornstein-uhlenbeck'
  noise_std: 0.5

然后（理论上）它解决了这个问题

...但它带来了下一个问题。

train 想要获得 env.action_space.shape[0] 而 basic-v0 在 [0] 中没有 shape

所以所有这些都需要更多的改变。

openai-gym python stable-baselines