如何生成校验和并在Javascript中转换为64位非常大的文件而不会溢出RAM?

题:

>如何正确生成校验和,这是独一无二的,与浏览器无关的一致性?另外,我想将SHA256 / MD5校验和字符串转换为64位.
>如何在没有大量RAM要求的情况下正确读取文件生成校验和?即我们如何在不影响RAM的情况下处理1 GB文件

例如Is it possible to read a file without loading it into memory?(见答案)

This project似乎很有希望,但也无法让它发挥作用.

我的目的是在X MB的块中逐步/递增地生成校验和.这可能有助于避免一次使用太多RAM.
以下是代码,它没有按预期工作:

let SIZE_CHECKSUM = 10 * Math.pow(1024,2); // 10 MB; But can be 1 MB too
async function GetChecksum (file: File):
Promise<string>
{
  let hashAlgorithm: CryptoJS.lib.IHasher<Object> = CryptoJS.algo.SHA256.create();
  let totalChunks: number = Math.ceil(file.size / SIZE_CHECKSUM);
  for (let chunkCount = 0,start = 0,end = 0; chunkCount < totalChunks; ++chunkCount)
  {
    end = Math.min(start + SIZE_CHECKSUM,file.size);
    let resultChunk: string = await (new Response(file.slice(start,end)).text());
    hashAlgorithm.update(resultChunk);
    start = chunkCount * SIZE_CHECKSUM;
  }
  let long: bigInt.BigInteger = bigInt.fromArray(hashAlgorithm.finalize().words,16,false);
  if(long.compareto(bigInt.zero) < 0)
    long = long.add(bigInt.one.shiftLeft(64));
  return long.toString();
}

它在不同的浏览器中显示不同的结果

解决方法

下面的代码中存在一个逻辑问题:
start = chunkCount * SIZE_CHECKSUM;  // <--- bug

变量start初始化为0,然后在第一次迭代中再次重置为0,这是不对的.
以下是使用问题中提到的相同库获取32字节SHA5校验和的方法:“emn178 / js-sha256”.

该库不提供Typescript接口,但我们可以简单地定义如下:

// Sha256.d.ts  (also name the corresponding JS file as "Sha256.js")
declare class Sha256 {
  update (data: ArrayBuffer): Sha256;
  hex (): string;
}

declare var sha256: any;
declare interface sha256 {
  create (): Sha256;
}

然后使用如下:

import "./external/Sha256"

async function GetChecksum (file: File):
Promise<string>
{
  let algorithm = sha256.create(); 
  for(let chunkCount = 0,totalChunks = Math.ceil(file.size / SIZE_CHECKSUM); 
      chunkCount < totalChunks;
      ++chunkCount)
  {
    let start = chunkCount * SIZE_CHECKSUM,end = Math.min(start + SIZE_CHECKSUM,file.size); 
    algorithm.update(await (new Response(file.slice(start,end)).arrayBuffer()));
  }
  return algorithm.hex();
}

上面的代码在我的所有浏览器中为任何块大小生成相同的校验和.

相关文章

前言 做过web项目开发的人对layer弹层组件肯定不陌生,作为l...
前言 前端表单校验是过滤无效数据、假数据、有毒数据的第一步...
前言 图片上传是web项目常见的需求,我基于之前的博客的代码...
前言 导出Excel文件这个功能,通常都是在后端实现返回前端一...
前言 众所周知,js是单线程的,从上往下,从左往右依次执行,...
前言 项目开发中,我们可能会碰到这样的需求:select标签,禁...