权重和偏见扫描Keras K折验证

问题描述

我正在Keras上使用基于Weights＆Biases基于云的扫描。因此，首先，我在W＆B项目中使用以下配置创建新的Sweep：

description: LSTM Model
method: random
metric:
  goal: maximize
  name: val_accuracy
name: LSTM-Sweep
parameters:
  batch_size:
    distribution: int_uniform
    max: 128
    min: 32
  epochs:
    distribution: constant
    value: 200
  node_size1:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size2:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size3:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size4:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size5:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  num_layers:
    distribution: categorical
    values:
    - 1
    - 2
    - 3
  optimizer:
    distribution: categorical
    values:
    - Adam
    - Adamax
    - Adagrad
  path:
    distribution: constant
    value: "./path/to/data/"
program: sweep.py
project: SLR

我的sweep.py文件看起来像这样：

# imports
init = wandb.init(project="my-project",reinit=True)
config = wandb.config

def main():
    skfold = StratifiedKFold(n_splits=5,shuffle=True,random_state=7)
    cvscores = []
    group_id = wandb.util.generate_id()
    X,y = # load data
    i = 0
    for train,test in skfold.split(X,y):
        i=i+1
        run = wandb.init(group=group_id,reinit=True,name=group_id+"#"+str(i))
        model = # build model
        model.fit([...],WandBCallback())
        cvscores.append([...])
        wandb.join()

if __name__ == "__main__":
    main()

从wandb agent文件夹中的sweep.py命令开始。

我在此设置中遇到的问题是，使用第一个wandb.init（）调用会初始化新的运行。好吧，我可以删除它。但是，当第二次调用wandb.init（）时，似乎无法跟踪正在运行的扫描。在线扫描中会列出一个空运行（因为第一次调用wandb.init（）），所有其他运行列在项目内，但不在扫描中。

我的目标是对k折交叉验证的每一折进行检查。至少我认为这将是正确的方法。是否有其他方法可以将扫描与keras k-fold交叉验证相结合？

解决方法

我们汇总了一个如何完成k倍交叉验证的示例：

https://github.com/wandb/examples/tree/master/examples/wandb-sweeps/sweeps-cross-validation

该解决方案要求wandb库具有某些扭曲，才能代表已启动的清除作业生成多个作业。

基本思想是：

代理程序从云托管参数服务器请求一组新的参数。这是主函数中名为sweep_run的运行。
将有关折叠应在多处理队列上处理的信息发送给等待的流程
每个生成的进程日志都以自己的方式运行，并按group和job_type进行组织，以在UI中启用自动分组
该过程完成后，它将主要指标通过队列发送到父扫描运行
扫描运行从子运行中读取指标并将其记录到扫描运行中，以便扫描可以使用该结果影响将来的参数选择和/或超频段提前终止优化

扫掠和k折分组的可视化示例可在此处查看：

k-fold keras python