在TensorFlow中插值权重

问题描述

A的两个模型具有相同的架构，但训练时损失不同。

这些模型给出不同的结果。我想在这些模型之间“权衡”它们的权重线性：

combined_weights = k * weights_a + (1 - k) * weights_b

我正在研究的问题允许这种方法。有人认为这种方法比对输出进行插值更有效。

我也有这种方法的PyTorch实现：

k = 0.3
model_a = torch.load(...)
model_b = torch.load(...)
combined_model = OrderedDict()

for i,v_a in model_a.items():
    v_b = model_b[i]
    combined_model[i] = k * v_a + (1 - k) * v_b

torch.save(combined_model,...)

我如何在TensorFlow中做同样的事情？ 我尝试结合模型的权重来做到这一点：

k = 0.3
weights_a = model_a.get_weights()
weights_b = model_b.get_weights()

combined_weights = k * weights_a + (1 - k) * weights_b

combined_model.set_weights(combined_weights)

但是在k * weights_a出现了错误：

can't multiply sequence by non-int of type 'float'

那我该怎么办？

解决方法

那是因为类型不匹配。 weights_a和weights_b都是普通的python列表，不能与浮点数相乘（反正这不是您要查找的操作）。

权重以ndarray格式存储为这些列表的元素。可能最简单的方法是遍历权重并对每个ndarray

执行操作

k = 0.3

weights_a = ...
weights_b = ...
combined = []

for i in range(len(weights_a)):
    c = k * weights_a[i] + (1 - k) * weights_b[i]
    combined.append(c)