Koalas Apache Spark Pandas API

程序名称:Koalas

授权协议: Apache

操作系统: 跨平台

开发语言: Python

Koalas 介绍

通过扩充Apache Spark的Python DataFrame API以与Pandas兼容,Koalas项目在与大数据交互时提高了数据科学家的工作效率。

Pandas是Python中事实上的标准(单节点)数据帧实现,而Spark是大数据处理的事实标准。有了这个包,数据科学家可以:

1)如果已经熟悉Pandas,那么使用Spark可以立即提高效率,没有学习曲线。

2)单个代码库就可以用于Pandas(测试,较小的数据集)和Spark(分布式数据集)。

Koalas 官网

https://koalas.readthedocs.io/en/latest/

相关编程语言

RedHadoop 是一个持续优化的企业级Hadoop基础软件平...
来自 Mozilla 的 Heka 是一个用来收集和整理来自多个...
HBase – Hadoop Database,是一个高可靠性、高性能...
Mincemeat-node 是使用Node.js实现的极简MapReduce框...
REEF 是微软开发的一个大数据框架。 REEF运行在YARN...
Scribe旨在帮助Facebook处理服务器上的大量数据,正...