在单个主机上使用多个GPU的超参数优化

问题描述

我目前正在尝试在单个主机上使用多个GPU来设置超参数优化。 我遵循并实现了本教程： https://keras-team.github.io/keras-tuner/tutorials/distributed-tuning/

优化工作按预期进行，但是我无法使用以下Bash文件在单个主机上的多个GPU之间进行分配：

export KERASTUNER_TUNER_ID="chief"
export KERASTUNER_ORACLE_IP="127.0.0.1"
export KERASTUNER_ORACLE_PORT="8000"
python hp_test.py  &> chief.txt & 
export chief=$!

export KERASTUNER_TUNER_ID="tuner0"
python hp_test.py  &> t0.txt & 
export t0=$!

while kill -0 $chief && kill -0 $t0 
do
    r=$'\r'
    Now="$(date +'%Y-%m-%d %H:%M:%s')"
    printf "${r}${Now}: Alive)"
    sleep 1
done

我有3个问题：

1. 我的Bash文件是否错误，这就是为什么我无法开始优化的原因？
2. 在issues 329`中，似乎不可能使用Keras-tuner在一个系统上的跨多个GPU上分布超参数优化。这是正确的吗？
3. 如果可以在一个系统上的多个GPU上分配优化，那么是否还有更多关于如何设置优化的教程。据我所知，您还需要oracle，但我找不到任何有关如何为多GPU发行进行设置的文档。 （哪个依赖项，执行...）

非常感谢您！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）