简介
Pig是一个基于Hadoop的大规模数据分析平台,它提供的sql-LIKE语言叫Pig Latin,该语言的编译器会把类sql的数据分析请求转为一系列经过优化处理的MapReduce运算。
特点
- 专注于大量数据集分析
- 运行在集群的计算架构上,Yahoo Pig提供了多层抽象,简化并行计算让普通用户使用,这些抽象完成自动把用户请求queries翻译成有效的并行评估计划,然后在物理集群上执行这些计划;
- 提供类似sql的操作语法
- 开放源代码
Pig与Hive区别
- Pig是一种编程语言,简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如日志文件)。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。
- Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS,并允许使用类似于sql语法进行数据查询。
Pig相比Hive轻量,主要的优势是可大幅消减代码量。
Pig运行模式
- 本地模式,只涉及到一台计算机
- MapReduce模式,需要能访问Hadoop集群,并且装上HDFS
Pig的调用方式
- Grunt shell方式
- Pig script方式
- 嵌入式方式,通过Java调用
安装
实验环境:已安装好Hadoop环境,CentOS7
下载地址:
http://pig.apache.org/
wget http://mirror.bit.edu.cn/apache/pig/pig-0.16.0/pig-0.16.0.tar.gz
tar -zvxf pig-0.16.0.tar.gz
mv pig-0.16.0 pig
修改/etc/profile
export PIG_HOME=/usr/local/pig
export PIG_CLAsspATH=${PIG_HOME}/conf/
export PATH=.:${PIG_HOME}/bin:$PATH
source /etc/profile
设置 Pig与Hadoop关联
进入$PIG_HOME/conf,vi pig.properties,添加:
fs.defaultFS=hdfs://hadoop-master:9000
mapreduce.jobtracker.address=hadoop-master:9001
使用示例
进入与退出
cd $PIG_HOME/bin
./pig --进入grunt shell
quit; --退出grunt
- pig -x local 本地模式
- pig -x mapreduce 集群模式
命令行
ls / --列出目录
cd aa --进入文件夹
cat a.txt --查看文件
Pig latin
Pig Latin是一个相对简单的语言,它可以执行语句。
命令换行时,可用放在行尾 \
测试
cat /whr/daily/stats/2017/03/21/cmd
a = LOAD '/whr/daily/stats/2017/03/21/cmd' USING PigStorage(',') AS (col1:chararray,col2:chararray,col3:chararray,col4:chararray,col5:int);
describe a;
b = GROUP a BY(col2);
describe b;
c = FOREACH b GENERATE COUNT(a.col2); 计算输入文件记录数
dump c;
语法解释 :
- LOAD 加载文件 , 其中PigStorage用来定义列分隔符
- STORE 语句,存储结果集
- explain 解释执行逻辑或物理视图
- describe 显示schema的关系
别名:
- dump \d
- describe \de
- explain \e
- illustrate \i
- 退出 \q
Java嵌入PigLatin(未测试代码)
import java.io.IOException;
import org.apache.pig.PigServer;
public class WordCount {
public static void main(String[] args) {
PigServer pigServer = new PigServer();
try {
pigServer.registerJar("/mylocation/tokenize.jar");
runMyQuery(pigServer,"myinput.txt";
}
catch (IOException e) {
e.printstacktrace();
}
}
public static void runMyQuery(PigServer pigServer,String inputFile) throws IOException {
pigServer.registerQuery("A = load '" + inputFile + "' using TextLoader();");
pigServer.registerQuery("B = foreach A generate flatten(tokenize($0));");
pigServer.registerQuery("C = group B by $1;");
pigServer.registerQuery("D = foreach C generate flatten(group),COUNT(B.$0);");
pigServer.store("D","myoutput");
}
}