spark学习进度03入门案例、sparkshell本地文件读取,hdfs读取、本地运行、提交运行

一、编写spark代码的几种方式:

(主要看重的方面:1、观察数据集  2、编写代码测试数据集  3、固化代码、提交集群运行上线)

1、spark-shell

    (数据集的探索、测试)

Spark shell 简介
  • 启动 Spark shell
    进入 Spark 安装目录后执行 spark-shell --master master 就可以提交Spark 任务

  • Spark shell 的原理是把每一行 Scala 代码编译成类, 最终交由 Spark 执行

1.1读取本地文件

步骤一:

 

 步骤二:

 

 步骤三:

 

 注意事项:

 

 运行的结果如下:

 退出scala操作是:

 

 

 

 

 

1.2读取hdfs

删除当前文件夹中的文件

 

 hdfs上创建新的文件夹:

 

 将文件上传到hdfs:

 

 HDFS操作如下:

 

相关文章

1.SparkStreaming是什么?SparkStreaming是SparkCore的扩展A...
本篇内容介绍了“Spark通讯录相似度计算怎么实现”的有关知识...
本篇文章给大家分享的是有关如何进行Spark数据分析,小编觉得...
本篇内容主要讲解“Spark Shuffle和Hadoop Shuffle有哪些区别...
这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数...
本篇内容介绍了“Hadoop与Spark性能原理是什么”的有关知识,...