OCaml 中的逻辑回归

编程问答 2022-05-06

问题描述

我试图在 OCaml 中使用逻辑回归。我需要将它用作我正在解决的另一个问题的黑匣子。我找到了以下网站：

http://math.umons.ac.be/anum/en/software/OCaml/Logistic_Regression/

我将以下代码（经过一些修改 - 我定义了自己的 iris_features 和 iris_label）从该站点粘贴到了一个名为logistics_regression.ml 的文件中：

open Scanf
open Format
open Bigarray
open Lacaml.D

let log_reg ?(lambda=0.1) x y =
  (* [f_df] returns the value of the function to maximize and store
     its gradient in [g]. *)
  let f_df w g =
    let s = ref 0. in
    ignore(copy ~y:g w); (* g ← w *)
    scal (-. lambda) g;  (* g = -λ w *)
    for i = 0 to Array.length x - 1 do
      let yi = float y.(i) in
      let e = exp(-. yi *. dot w x.(i)) in
      s := !s +. log1p e;
      axpy g ~alpha:(yi *. e /. (1. +. e)) ~x:x.(i);
    done;
    -. !s -. 0.5 *. lambda *. dot w w
  in
  let w = Vec.make0 (Vec.dim x.(0)) in
  ignore(Lbfgs.F.max f_df w);
  w


let iris_features = [1 ; 2 ; 3] ;;
let iris_labels = 2 ;;

let proba w x y = 1. /. (1. +. exp(-. float y *. dot w x))
let () =
  let sol = log_reg iris_features iris_labels in
  printf "w = %a\n" Lacaml.Io.pp_fvec sol;
  let nwrongs = ref 0 in
  for i = 0 to Array.length iris_features - 1 do
    let p = proba sol iris_features.(i) iris_labels.(i) in
    printf "Label = %i prob = %g => %s\n" iris_labels.(i) p
      (if p > 0.5 then "correct" else (incr nwrongs; "wrong"))
  done;
  printf "Number of wrong labels: %i\n" !nwrongs

我有以下问题：

  1. 在尝试编译代码时，我收到错误消息：“Error: Unbound module Lacaml”。我已经安装了 Lacaml；做了几次 opam init，试图提供一个标志 -package = Lacaml ；我不知道如何解决这个问题？
  2. 如您所见，我已经定义了自己的 iris_features 和 iris_labels 版本 - 类型是否正确，即在函数 log_reg 中是 x int 列表的类型和 y 为 int 的类型？

解决方法

iris_features 和 iris_labels 都是数组，OCaml 中的数组字面量用 [|、|] 样式的括号分隔，例如，


let iris_features = [|(* I don't know what to put here*)|]
let iris_labels = [|2|]

iris_features 数组的类型为 vec array，即一个向量数组，而不是一个整数数组，我没有深入挖掘，不知道该放什么，但语法是以下，

let iris_features =[|
  Vec.of_list [1.; 2.; 3.;];
  Vec.of_list [4.; 5.; 6.;];
|]

自从编写代码以来，Lacaml 接口发生了一些变化，axpy 不再接受带标签的 ~x 参数（现在 x 和 y 向量都是位置），因此您需要删除 {{1} } 并修复顺序（我假设 ~x 在 x.(i) 表达式中是 x 而 a*x + y 对应于 g，例如，

y

此代码也依赖于 axpy ~alpha:(yi *. e /. (1. +. e)) x.(i) g; ，因此您也需要安装它，

lbfgs

我建议您使用 dune 作为默认构建系统，但为了快速原型设计，您可以使用 opam depext --install lbfgs 。将您的代码放入一个名为 ocamlbuild 的空文件夹中（您可以选择其他名称，只需相应地更新构建指令），现在您可以将其构建为原生可执行文件，如

regress.ml

运行它

ocamlbuild -pkg lacaml -pkg lbfgs regress.native

如果您在 OCaml 顶层（又名解释器，即在 ./regress.native 解释器中运行您的代码）中进行游戏，您可以使用以下两个指令加载 ocaml 和 lacaml :

lbfgs

（#use "topfind";; #require "lacaml.top";; #require "lbfgs";; 不是提示，而是指令语法的一部分，所以不要忘记输入）。

现在您可以将代码复制粘贴到解释器中并进行操作。

奖励赛道 - 用沙丘建造

  1. 创建一个空文件夹并将 # 放在那里。
  2. remove regress.ml 和 open Bigarray as dune 对警告非常严格，并将它们变成错误（它会在那些行上警告你，因为它们实际上是未使用的）
  3. 创建沙丘项目
open Scanf
  1. 构建和运行
dune init exe regress --libs lacaml,lbfgs
ocamlocamlocamlbuildocamlfind