深高斯过程如何工作? 实施明智

问题描述

我知道深度 GP 的基本构建块是(变体)稀疏 GP 和 GPLVM。在(尝试)阅读相关论文(参见参考资料)并了解其要点*后,我仍然不确定我是如何理解它的实现(在代码中)是真正发生的事情。

*它的意思是它本质上是一堆(稀疏的)GP 层?。

我特别困惑的是将一层转移到另一层以及模型选择过程。也就是说,假设我有 3 层。我的问题是监督回归,所以我的 Y 输出是一维的(即 1 列输出)。我的问题是;

  1. 层是如何初始化的?既然单层是Sparse GP,那么所有层的诱导点都一样吗?
  2. “GP 的输入是另一个(先前的)GP”(以代码方式实现)是什么意思?
  3. 模型选择是否按顺序进行?

即优化第 1 层 -> 从第 1 层执行预测 (X) -> 将 (X,y_pred_layer1) 馈送到第 2 层 -> 优化第 2 层 -> 等等。 4. 如果模型选择是按顺序进行的,那么这会不会是一个(非常)昂贵的过程?

主要参考文献:

  1. http://proceedings.mlr.press/v31/damianou13a.pdf(主要 DGP 论文)
  2. https://www.researchgate.net/publication/220320048_Variational_Learning_of_Inducing_Variables_in_Sparse_Gaussian_Processes(稀疏 GP 如何工作/学习)
  3. https://arxiv.org/abs/1705.08933(双重随机变分推理 对于深度高斯过程,一种新的层间学习方式?)
  4. http://etheses.whiterose.ac.uk/9968/1/Damianou_Thesis.pdf(OG,damianou 的论文)

代码参考: 我试图远离 tensorflow/pytorch 实现,因为我想看看幕后发生了什么,所以主要参考是 GPy 的实现。 https://github.com/SheffieldML/PyDeepGP 然而调试 PyDeepGP 仍然很困难。

*注意:我使用过克里金模型,即标准 GPR(来自工程背景)

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...