Mars-Project 基于张量/矩阵的超大规模计算框架

程序名称:Mars-Project

授权协议: Apache 2.0

操作系统: 跨平台

开发语言: Python

Mars-Project 介绍

Mars 是一个基于张量/矩阵的超大规模计算框架。

通过简单的 import 替换,就可以将 numpy 的代码替换成 Mars tensor。Mars
能在单机利用多核并行,同时,能在千台规模集群进行分布式处理超大规模张量/矩阵。

据测试,在真实场景计算 2.25T 大小的矩阵和 2.25T 大小矩阵乘法,Mars 能在2个小时的时间计算完成。开发团队还扩展了 numpy,让 Mars
具备在 GPU 上计算和创建稀疏矩阵的能力。后续还将开发完全兼容 pandas 的 Mars DataFrame 部分,希望能将整个 scipy
技术栈带到分布式环境。

单机使用 Mars:

pip install pymars

分布式版本:

pip install 'pymars[distributed]'

Mars 张量提供了类似于 NumPy 的接口

Mars-Project 官网

https://github.com/mars-project/mars

相关编程语言

欧盟第7框架计划(FP7)的LarKC项目的目标是开发大规模...
Salad 是一种有效且灵活的实现著名的异常检测方法回...
multilanguage 是一个多语开发工具包,用于缓存多语...
go-cortex 是一个服务,通过倾听你的句子,并视图理...
DKPro Core 是基于 Apache UIMA 框架之上的自然语言...
NLTK 会被自然地看作是具有栈结构的一系列层,这些层...