大数据开发写sql写烦了，要不要转？

如果说大数据是每天写sql还不太精准（精准的是用各种方式写SQL）

当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。会不会转别的，看个人兴趣，大数据方向还有那么多。

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。

丰富自己的能力，到处都机会。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapReduce、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie

眼花缭乱的上面就有30多种吧，别说精通了，全部都会使用的，估计也没几个。

就我个人而言，主要经验是在第1个方向（开发/设计/架构）

入职了大半年后，经常加班，虽然累但学起来很快，不久就把大数据的相关组件，hadoop,hive,oozie,shell,sparksql,spark,sqoop,kylin,等等都学到了，还学会了用python处理数据，shell如何做工具脚本，怎样搭大数据平台，大数据仓库，都有所学习到，自己周末也是拼命的学习，因为在北京，你不努力，随时可能被淘汰。耐下心来慢慢学

关于数仓开发

数仓开发其实主要就是基于数仓模型对数据进行分层建模工作，整合加工数据完成OLAP，数仓分为实时数仓和离线数仓两种。如果公司只有离线数仓，那么其实主要的工作内容用sql就可以完成了，可以用hive ql 或者是 spark sql 完成，当然也不排除需要应用到spark 算子去完成相关计算的逻辑，而且一些复杂的逻辑需要通过实现自定义函数来完成，这就要求不但要会写sql，而且还能有一定的代码功底。如果公司对数据的实时性要求比较高，那么还会有实时数仓的业务，实时部分当前比较流行的是flink去做，当然也有spark streaming去做的，这就要求对代码有比较深厚的掌握了。因为数据往往不是存在hive中的，而是hbase、clickhouse等这种实时性较强的内存数据库中，不但实时计算框架的各种api需要熟练掌握，对数据库的底层和调用也要掌握，而且实时数据一般来自消息队列如kafka，所以也需要对消息队列比较熟悉。

之前练过一个数仓项目很有收获，做这个项目电脑内存大点，基本现在工作用的都有讲的，是企业级实时数仓和离线数仓构建，值得一收。数仓实战项目，大数据千亿级数仓实战（离线数仓+实时数仓）_哔哩哔哩_bilibili2021重磅推出数仓项目实战，点赞，投币，收藏是对老师最大的鼓励哈。本课程采用由浅入深,层层递进的讲解方式,让你轻松掌握企业级数仓架构的搭建及使用,使用该架构可以胜任企业级实时数仓和离线数仓构建。,视频播放量 34372、弹幕量 86、点赞数 477、投硬币枚数 269、收藏人数 1879、转发人数 90,视频作者黑马程序员,作者简介进阶学习、课程体验、就业指导，可联系播妞q：2291329369，相关视频：全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台，黑马程序员大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程），clickhouse+flink构建实时数仓，【好程序员】最新大数据用户画像项目教程，一套精通大数据用户画像项目实战，【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战，2019kettle8.2最新教程，大数据多源数据采集实战【企业实战项目免费首发，大数据采集，爬虫，ETL、Flume、Kettle】，离线+实时全栈数仓项目，大数据项目：基于Spark2.x新闻网大数据实时分析可视化系统项目，数仓工程师在大数据职位中优势，为啥up主推荐大数据上岸首选数仓，小伙伴围观！

https://www.bilibili.com/video/BV1bv411x7vr?spm_id_from=333.999.0.0

下面的也一定收藏起来有一天你一定会回来谢谢我的。

大数据-分布式数据存储

大数据-框架

Spark-大数据教程十天系统学习Spark分布式内存计算框架
Spark3.0新特性：大数据基础丨轻松掌握Spark3.0新特性
Flink：大数据自学精品教程Flink从入门到精通【大数据自学系列教程】
NiFi：大数据基础教程小白由浅入深快速掌握Nifi使用【全网首套完整版】
大数据-数据湖架构-大数据新概念数据湖架构开发，大数据最新技术Delta Lake
大数据-技术栈-ElasticStack：黑马程序员大数据教程丨快速掌握上手ElasticStack技术栈

大数据-生态圈工具

大数据项目

疫情防控平台：大数据教程丨从数据爬取到分析再到可视化全流程搭建疫情防控作战平台
BI商业分析平台-3天从零快速搭建BI商业大数据分析平台
反爬虫：2020年最新大数据实战教程|反爬虫系统项目实战（Lua+Spark+Redis+Hadoop框架）

电信号：

大数据开发写sql写烦了，要不要转？

大数据-分布式数据存储

大数据-框架

相关文章