在 csv 解析流期间清除 node.js res.write 缓冲区

问题描述

我正在尝试使用 node.js 和“csv-parse”库将 csv 文件转换为 HTML 表。文件非常大，csv-parse 的解析速度比 res.write 可以传输缓冲区中发生的数据变得太大的速度快。 CSV 文件最大可达 2GB。

如何等待 res.write 完成写入然后继续解析 csv 文件？

当前代码是：

const fs = require('fs');
const csv = require('csv-parser');
const catchAsync = require("../utils/catchAsync");
const { promisify } = require('util');

exports.transformHTMLAndServe = catchAsync(async (req,res,next) => {
  const {filename} = req.params;
  res.setHeader('Content-Type','text/html; charset=utf-8');
  res.setHeader('transfer-encoding','chunked');
  res.write('<!DOCTYPE html><html><body><table style="border-collapse: collapse;">');
  let head = [];
  fs.createReadStream(`./uploads/${filename}`)
    .pipe(csv({ mapHeaders: (header,index) => {head.push(header.header); return header.index; }}))
    .on('headers',(headers) => {
      res.write('<tr>');
      head.forEach(header => {
        res.write(`<th style="padding: 0.25rem; text-align: left; border: 1px solid #ccc;">${header}</th>`);
      });
      res.write('</tr>');
    })
    .on('data',async (row) => {
      res.write('<tr>');
      Object.values(row).forEach(el => {
        res.write(`<td style="padding: 0.25rem; text-align: left; border: 1px solid #ccc;">${el}</td>`);
      });
    })
    .on('end',() => {
      res.write('</table></body></html>');
      res.end();
    });
});

我正在修改标题，因为有一些重复的标题。（这是打算）在 350MB 的文件上，一旦使用 10GB 的 RAM 就会失败。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

asynchronous csv csv parsing