Weld-Project 用于数据分析应用程序的高性能运行时

程序名称:Weld-Project

授权协议: BSD-3.0

操作系统: Linux

开发语言: C/C++

Weld-Project 介绍

Weld 使用 Rust 语言编写,可以使用 LLVM 编译器框架,为整个数据分析工作流生成高效的并行运行的代码。CSAIL
曾开发出了几个将速度推向极限的大数据加速项目,比如 Milk 和 Tapir。

这个小组声称 Weld
是一种面向数据分析的通用运行时环境,它拿来现代数据处理堆栈几个分离的部分后,可以步调一致地优化它们。每一个部分快速运行,但是“跨不同功能的数据移动可能占了执行时间的大部分。”

换句话说,管道花在将数据在各部分之间来回移动上的时间超过了花在实际处理数据上的时间。Weld
创建了一种每个库都可以接入的运行时环境,提供了一种通用方法,可以跨管道运行需要并行化和优化的关键数据。

诸多框架本身并不为运行时环境生成代码。相反,它们通过 API 来调用 Weld,该 API 描述了处理哪种类型的工作。然后,Weld 使用 LLVM
生成自动包括优化机制(比如多线程处理)或面向高速向量运算的英特尔 AV2 处理器扩展的代码

当前的性能指标

部分内容摘自云头条

Weld-Project 官网

https://weld-project.github.io/

相关编程语言

欧盟第7框架计划(FP7)的LarKC项目的目标是开发大规模...
Salad 是一种有效且灵活的实现著名的异常检测方法回...
multilanguage 是一个多语开发工具包,用于缓存多语...
go-cortex 是一个服务,通过倾听你的句子,并视图理...
DKPro Core 是基于 Apache UIMA 框架之上的自然语言...
NLTK 会被自然地看作是具有栈结构的一系列层,这些层...