汇总三个文件中的内容

环境：Spark Yarn-Cluster模式下

要求:将三份文件中的内容读取并合并，格式：学号，姓名，大数据成绩，Hadoop成绩，总成绩，平均分

一、启动集群，关闭安全模式，进入spark-shell

[zkpk@master ~]start-dfs.sh
[zkpk@master ~]start-yarn.sh
[zkpk@master ~]xcall.sh
[zkpk@master ~]hdfs dfsadmin -safemode leave
[zkpk@master ~]cd spark
[zkpk@master spark]bin/spark-shell

二、准备文件，上传到HDFS上

[zkpk@master ~]hdfs dfs -put /home/zkpk/student1.txt /user/zkpk

上传命令：hdfs dfs -put /文件所在路径 /上传到的路径

三、创建RDD（读取文件）

scala >  val student = sc.textFile("./student1.txt")
scala >  val bigdata = sc.textFile("./result_bigdataPaltform1.txt")
scala >  val hadoop = sc.textFile("./result_hadoopTraining1.txt")

四、通过map函数将读取到的RDD进行切分

student1.txt文件中提取学号和姓名，另外两个文件中提取学号和成绩：

scala >  val m_student = student.map{x=>val line=x.split("\t");(line(0),line(1))}
scala >  val m_hadoop = hadoop.map{x=>val line=x.split("\t");(line(0),line(2))}
scala >  val m_bigdata = bigdata.map{x=>val line=x.split("\t");(line(0),line(2))}

五、合并三个PairRDD,将合并后的PairRDD中的二元数组拆分成多元数组

scala >  val result = m_student.join(m_hadoop)
scala >  val result1 = result.join(m_bigdata)

scala >  val result2 = result1.map(x=>(x._1,x._2._1._1,x._2._1._2,x._2._2))

结果展示：

六、添加总成绩和平均成绩

scala >  val result3 = result2.map(x=>(x._1,x._2,x._3.toInt,x._4.toInt,(x._3.toInt+x._4.toInt)))

scala >  val result4 = result3.map(x=>(x._1,x._2,x._3,x._4,x._5,(x._5.todouble/2)))

七、将RDD保存到HDFS上并查看前五行的结果

scala >  result4.saveAsTextFile("/user/zkpk/output.txt")
scala >  result4.saveAsTextFile("/user/zkpk/output.txt").take(5)

汇总三个文件中的内容

相关文章