7.Spark SQL

1.分析Sparksql出现的原因，并简述Sparksql的起源与发展。

为了将sql语句转为Spark应用程序，简化编程，Spark团队开发了Shark（Hive on Spark）。但由于Shark完全按照Hive设计，难以添加新的优化；并且，Spark线程级别并行，Mapreduce进程级别并行，Spark在兼容Hive时存在线程安全问题，Shark后来停止开发，团队开始开发Sparksql。Sparksql只延用了将sql语句转为语法树这个模块，其他模块都是自己重新编写的，拥有更高的计算性能，新增了数据抽象DataFrame

---

 2. 简述RDD 和DataFrame的联系与区别。

区别：
RDD是分布式的java对象的集合，但是对象内部结构对于RDD而言却是不可知的。
DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息，相当于关系数据库中的一张表
联系
1.都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利
2、都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action才会运算
3.都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出
4、三者都有partition的概念
5.三者有许多共同的函数，如filter，排序等

---

 

三. DataFrame的创建与保存:

1. PySpark-DataFrame创建：
   • spark.read.text(url)
   • spark.read.json(url)
   • spark.read.format("text").load("people.txt")
   • spark.read.format("json").load("people.json")
   • 描述从不同文件类型生成DataFrame的区别。
   • 用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

2. DataFrame的保存
   • df.write.text(dir)
   • df.write.json(dri)
   • df.write.format("text").save(dir)
   • df.write.format("json").save(dir)

---

 

4.选择题：

1单选(2分)‍关于Shark，下面描述正确的是：C

A.Shark提供了类似Pig的功能

B.Shark把sql语句转换成MapReduce作业

C.Shark重用了Hive中的HiveQL解析、逻辑执行计划翻译、执行计划优化等逻辑

D.Shark的性能比Hive差很多

 

2单选(2分)‏下面关于Spark sql架构的描述错误的是：D

A.在Shark原有的架构上重写了逻辑执行计划的优化部分，解决了Shark存在的问题

B.Spark sql在Hive兼容层面仅依赖HiveQL解析和Hive元数据

C.Spark sql执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责

D.Spark sql执行计划生成和优化需要依赖Hive来完成

 

3单选(2分)‌要把一个DataFrame保存到people.json文件中，下面语句哪个是正确的：A

A.df.write.json("people.json")

B.df.json("people.json")

C.df.write.format("csv").save("people.json")

D.df.write.csv("people.json")

 

4多选(3分)‎Shark的设计导致了两个问题：AC

A.执行计划优化完全依赖于Hive，不方便添加新的优化策略

B.执行计划优化不依赖于Hive，方便添加新的优化策略

C.Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

D.Spark是进程级并行，而MapReduce是线程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

 

5 多选(3分)‌下面关于为什么推出Spark sql的原因的描述正确的是：AB

A.Spark sql可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作

B.可以支持大量的数据源和数据分析算法，组合使用Spark sql和Spark MLlib，可以融合传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力

C.Spark sql无法对各种不同的数据源进行整合

D.Spark sql无法融合结构化数据管理能力和机器学习算法的数据处理能力

 

6多选(3分)‌下面关于DataFrame的描述正确的是：ABCD

A.DataFrame的推出，让Spark具备了处理大规模结构化数据的能力

B.DataFrame比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能

C.Spark能够轻松实现从MysqL到DataFrame的转化，并且支持SQL查询

D.DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息

 

7多选(3分)‏要读取people.json文件生成DataFrame，可以使用下面哪些命令：AC

A.spark.read.json("people.json")

B.spark.read.parquet("people.json")

C.spark.read.format("json").load("people.json")

D.spark.read.format("csv").load("people.json")

 

四. PySpark-DataFrame各种常用操作

1. 基于df的操作：
   • 打印数据 df.show()默认打印前20条数据
   • 打印概要 df.printSchema()
   • 查询总行数 df.count()
   • df.head(3) #list类型，list中每个元素是Row类
   • 输出全部行 df.collect() #list类型，list中每个元素是Row类
   • 查询概况 df.describe().show()
   • 取列 df[‘name’], df.name, df[1]

2. 基于spark.sql的操作
   • 创建临时表 df.registerTempTable('people')
   • spark.sql执行sql语句 spark.sql('select name from people').show()

5. Pyspark中DataFrame与pandas中DataFrame

　　分别从文件创建DataFrame

　　　　Pyspark

 　　　　

 　　　　pandas

　　　　

　　比较两者的异同 

　　

　　pandas中DataFrame转换为Pyspark中DataFrame

　　

　　Pyspark中DataFrame转换为pandas中DataFrame