问题描述
我正在尝试调整神经网络中的超参数（回归问题），但我有几个问题：
- 我应该在自动优化方法（网格、随机、贝叶斯、遗传学等）中使用哪个顺序
- 我开始使用网格搜索来了解学习过程，我知道 网格为我们提供了最佳结果，但它很耗时，我没有时间问题，所以我想尝试最佳搜索空间，但我只知道如何为超参数选择离散值，我 不知道如何给某个超参数一个连续的值来测试，例如：我想以 200 的步长测试（500 到 10000）之间的时代值，以及之间的学习率 0.001 和 0.9，那么我如何在网格搜索或 ANN 中的任何其他优化方法中实现这一点。
解决方法
您应该看看基于 Ray 的 Tune。它提供了几种强大的算法，可以使用网格搜索或更高级的策略（例如基于种群的进化策略）来调整连续和离散参数。另外，它相当容易使用。