非常简单的 Node.js 应用程序使用多个 GB 内存

问题描述

我有一个非常简单的 Node.js 应用程序:

const fs = require('fs')
const axios = require('axios')

async function test() {
  const {data} = await axios.get('http://speedtest.ftp.otenet.gr/files/test100k.db')

  fs.mkdirsync('./data',{
    recursive: true
  })

  for (let i = 0; i < 300_000; i++) {
    fs.writeFileSync(`./data/${Date.Now()}`,data)
    console.log(i)
  }
}

test()

大约一分钟后,应用程序达到 15 GB 左右的内存(由于内存不足,我不得不取消它)。我想知道原因。我只是下载一个 100k 的文件并保存 300 000 次。为什么内存增加这么多,有什么解决方案可以防止这个问题(使用流除外)?

解决方法

欢迎使用垃圾回收系统。

您正在大规模循环中不间断地运行代码,并且不会为垃圾回收留下任何周期,因此在中断您的代码流以尝试通过垃圾回收回收一些内存之前,它将使用尽可能多的内存。垃圾收集器通常会等到解释器不忙时再进行垃圾收集。但是你的代码处于一个巨大的循环中,循环的每次迭代都会使用一些内存,所以你永远不会给 GC 想要运行的任何空闲时间。

仅供参考,因为这显然是一个补充测试程序,要就如何最好地解决此类问题提供建议,我们需要查看实际问题和实际代码,以便我们可以针对该实际代码提出最佳解决方案。