dimbin 海量数据高性能序列化方案

程序名称:dimbin

授权协议: MIT

操作系统: 跨平台

开发语言: C#

dimbin 介绍

dimbin,针对大量数据网络传输设计的序列化方案,用于储存多维数组,通过直接内存操作实现高于 JSON 多个数量级的性能和更小的传输体积。

dimbin 为多维数组而设计, 因此传入的数据结构必须为多维数组, 数组维数没有上限, 每一维度数组的元素个数上线为 2^32
,维度和数组元素个数受运行环境和设备限制。

数组的元素支持以下数据类型:

  • number: Int8, UInt8, Int16, UInt16, Int32, UInt32, Float32, Float64
  • string
  • boolean

默认情况下, 所有的数据将使用 Float32 格式进行保存. 如果需要指定数据格式, 请先转换成 TypedArray. 如需要处理字符串和布尔值,
请使用对应的接口预先转换成 TypedArray。

see ./csharp

npm install --save dimbin


import DIMBIN from 'dimbin' // v3
// import DIMBIN from 'dimbin/v2' // old version


const data = [
 [0, 1, 2, 3], // 普通数值数组 ✅
 new Int16Array([1, 2, 3, 4]), // TypedArray ✅
 [
 // 更高维度数组 ✅
 [0, 1, 2],
 [0, 1, 2, 3, 4],
 ],
 DIMBIN.stringsSerialize(['a', 'bc', '']), // Array<string>
 DIMBIN.booleansSerialize([true, false, true, true]), // Array<boolean>
]
// 序列化为ArrayBuffer
const bin = DIMBIN.serialize(data)
// 反序列化为 Array<TypedArray>
const dim = DIMBIN.parse(bin)
dim[3] = DIMBIN.stringsParse(dim[3])
dim[4] = DIMBIN.booleansParse(dim[4])
/*
[
 Float32Array{0, 1, 2, 3},
 Int16Array{1, 2, 3, 4},
 [
 Float32Array{0, 1, 2},
 Float32Array{0, 1, 2, 3, 4},
 ],
 ['a', 'bc', ''],
 [true, false, true, true]
]
*/

dimbin 官网

https://github.com/alibaba/dimbin

相关编程语言

BlazeDS 是一个基于服务器的Java 远程控制(remoting...
OVal 是一个可扩展的Java对象数据验证框架,验证的规...
Volta 是一套开发工具,专为开发分布式、实时系统应...
OpenDDS 是一个开源的 C++ 实现的 对象管理组织 OMG...
JADE (Java Agent DEvelopment Framework) 是一个完...
FastMM ,在D2006和2007中已代替了原来的内存管理器。