R 中的优化：Levenberg-Marquardt 在 minpack.lm 中使用 nls.lm：将 `maxiter' 重置为 1024

编程问答 2022-07-25

问题描述

我正在尝试通过使用 Rosenbrock 函数来学习如何使用 R 库 nls.lm 中的 minpack.lm，以查看算法是否收敛到 f(x,y) = ( 1,1)。无论有没有解析雅可比行列式，我都是这样做的。在这两种情况下，我都会收到一条警告，告诉我算法已决定将调用 nls.lm 中指定的最大迭代次数恢复为 1024：

Warning messages:
1: In nls.lm(par = initpar,fn = objective_rosenbrock,jac = gradient_rosenbrock,:
  resetting `maxiter' to 1024!
2: In nls.lm(par = initpar,:
  lmder: info = -1. Number of iterations has reached `maxiter' == 1024.

由于我最初的猜测是 (-1.2,1.0)，所以算法永远不会完全达到 (1,1)。我在 GitHub 上找到了该库的源代码，以下代码行与此处相关：

https://github.com/cran/minpack.lm/blob/master/src/nls_lm.c

OS->maxiter = INTEGER_VALUE(getListElement(control,"maxiter"));
if(OS->maxiter > 1024) {
  OS->maxiter = 1024;
  warning("resetting `maxiter' to 1024!");
}

为什么将最大迭代次数限制为 1024 有什么逻辑？有位和 2^10 的东西？我想将该库用于不同的应用程序，但此迭代上限可能会阻止这种情况。任何见解将不胜感激。

解决方法

Git blame 表示此限制最大迭代次数的代码是在 2008 年的 1.1-0 版中引入的。NEWS file for the package 只能追溯到 1.1-6 版。除了您指向的那个之外，我在任何公共存储库中都找不到代码（这只是一个 CRAN 镜像；它不包含来自开发人员的任何评论/提交消息/等，它们可能会给我们提供线索。）>

除了联系维护者之外，我认为很难弄清楚这个限制的基本原理是什么。

不过我确实有一些猜测。

在代码中实际使用 maxiter 的唯一地方是 here 和 here - 在 R 代码中，而不是 Fortran 或 C 代码中，因此我们处理的可能性极小类似于 10 位无符号整数类型（在任何情况下这似乎都是一个不太可能的选择）。我认为存在限制是因为我们还定义了一个缓冲区来保存跟踪信息 here:

  double rsstrace[1024];

正如你所见，它被硬编码为 1024 的长度。如果我们试图将 1025 次迭代的跟踪信息填充到这个数组中，大概会发生不好的事情......

我的建议：

  • 将代码中“1024”的所有实例更改为更大的内容，看看会发生什么。只有四个：
$ find . -type f -exec grep -Hn 1024 {} \;
./src/nls_lm.c:141:    if(OS->maxiter > 1024) {
./src/nls_lm.c:142:      OS->maxiter = 1024;
./src/nls_lm.c:143:      warning("resetting `maxiter' to 1024!");
./src/minpack_lm.h:20:  double rsstrace[1024];
  • 最好在 #define MAXITER 2048 中使用 src/minpack_lm.h（或其他）并使用它而不是数值。
  • 联系维护者 (maintainer("minpack.lm")) 并向他们询问此问题。
levenberg-marquardtmathematical-optimizationrr