Elephant-bird 用途: 介绍
Elephant Bird 是 Twitter 上LZO、Hadoop缓存相关协议、Pig、Hive 和 HBase 代码的集合。(library of
LZO,
Thrift, and/or Protocol
Buffer-related
Hadoop InputFormats, OutputFormats, Writables,
Pig LoadFuncs, Hive
SerDe, HBase miscellanea, etc.)
Elephant Bird 提供 hadoop 输入输出格式和在 Pig 平台上创建搜索
lucene 全文索引的加载/存储功能。
用途:
-
能够在 Pig 平台上实施计数功能
-
协议缓冲实用工具
-
Thrift utilities
-
能实现协议缓存和 Thrift 信息到 Pig 消息(Pig tuples)的转换
-
能够实现从 Thrift 到协议缓存的DynamicMessage 转换
-
能读写基于数据块协议的缓存格式 (seeProtobufBlockWriter)