S3mper

程序名称:S3mper

授权协议: Apache

操作系统: 跨平台

开发语言: Java

S3mper 介绍

S3mper 是通过一致的,二级索引对亚马逊 S3 索引做额外的一致性检查。

S3mper 利用面向方面编程
AspectJ 实现来引导
Hadoop 文件系统实现(主要是实现
NativeS3FileSystem),和额外的逻辑,进行反复的二次索引的一致性检查。

二级索引认使用
DynamoDB,因为它的服务提供速度,一致性和可用性的保证。轻量级的表模式设计速度非常快,不会影响文件系统的性能

表结构:

Hash Key: path Range Key: file epoch deleted dir linkPath linkFile
/// N/A N/A
epoch[^2] N/A N/A N/A ///

S3mper 官网

https://github.com/Netflix/s3mper

相关编程语言

RedHadoop 是一个持续优化的企业级Hadoop基础软件平...
来自 Mozilla 的 Heka 是一个用来收集和整理来自多个...
HBase – Hadoop Database,是一个高可靠性、高性能...
Mincemeat-node 是使用Node.js实现的极简MapReduce框...
REEF 是微软开发的一个大数据框架。 REEF运行在YARN...
Scribe旨在帮助Facebook处理服务器上的大量数据,正...