2022.1.1 大数据学习02 Spark入门项目 快速上手

学习目标:

理解Spark框架的使用

创建Maven项目:

在这里插入图片描述

在这里插入图片描述

为了方便,将创建的新项目当成父项目,删除src

创建子项目

在这里插入图片描述

提示:这里可以添加要学的内容
例如:
1、 增加Scala插件
当jdk版本为1.8时,选用scala2.11.8
下载地址
https://www.scala-lang.org/download/2.11.8.html
在这里插入图片描述在这里插入图片描述
2.WordCount 快速上手

在这里插入图片描述

2、 Scala的使用
添加依赖

<dependencies>
	 <dependency>
		 <groupId>org.apache.spark</groupId>
		 <artifactId>spark-core_2.12</artifactId>
		 <version>3.0.0</version>
	 </dependency>
</dependencies>
<build>
	 <plugins>
	 <!-- 该插件用于将 Scala 代码编译成 class 文件 -->
		 <plugin>
		 <groupId>net.alchim31.maven</groupId>
		 <artifactId>scala-maven-plugin</artifactId>
		 <version>3.2.2</version>
		 <executions>
			 <execution>
				 <!-- 声明绑定到 maven 的 compile 阶段 -->
				 <goals>
				 	<goal>testCompile</goal>
				 </goals>
			 </execution>
		 </executions>
		 </plugin>
		 <plugin>
			 <groupId>org.apache.maven.plugins</groupId>
			 <artifactId>maven-assembly-plugin</artifactId>
			 <version>3.1.0</version>
			 <configuration>
				 <descriptorRefs>
				 	<descriptorRef>jar-with-dependencies</descriptorRef>
				 </descriptorRefs>
			 </configuration>
			 <executions>
				 <execution>
					 <id>make-assembly</id>
					 <phase>package</phase>
					 <goals>
					 	<goal>single</goal>
					 </goals>
				 </execution>
			 </executions>
		 </plugin>
	 </plugins>
</build>

3、 掌握条件语句
4、 掌握循环语句


学习时间:

提示:这里可以添加计划学习的时间
例如:
1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点


学习产出:

提示:这里统计学习计划的总量
例如:
1、 技术笔记 2 遍
2、CSDN 技术博客 3 篇
3、 学习的 vlog 视频 1 个

相关文章

1.SparkStreaming是什么?SparkStreaming是SparkCore的扩展A...
本篇内容介绍了“Spark通讯录相似度计算怎么实现”的有关知识...
本篇文章给大家分享的是有关如何进行Spark数据分析,小编觉得...
本篇内容主要讲解“Spark Shuffle和Hadoop Shuffle有哪些区别...
这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数...
本篇内容介绍了“Hadoop与Spark性能原理是什么”的有关知识,...