TensorFlow 2 中的梯度检查点

问题描述

假设我有一个函数 Y = f(X),其中 X 和 Y 是张量,并且 f 编码一些 TF 计算,可能是 ANN 或其他东西。我有一个成本函数 c = cost(Y) 其中 c 是一个实数。

假设我已经知道 c wrt Y,gradY 的梯度,存储在与 Y 形状相同的张量中。也许我是用 TF 的 AAD 引擎计算的,通过在磁带上记录 c = cost(Y) 的计算,或者也许我只是从先验知识中知道它。关键是我以某种方式知道它,我不想重新计算它。我想要的是计算 gradX,c wrt X 的梯度,知道 gradY。一种非常低效的方法是计算 f 的雅可比矩阵。我想要做的是一种有效的计算,即我在 f 的图上反向传递 gradY 以获得 gradX。

自动微分中,这有时称为“梯度检查点”。通用 AAD 库通常提供检查点功能。但是我在 TensorFlow 上找不到类似的东西。有没有办法在 TensorFlow 中实现这一点?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...