【大数据】大数据学习路线
职位选择
首先明确一点:大数据涉及的知识面广度还是有的,需要学习的组件繁多,想要每一项精通几乎不可能,所以企业在招聘的时候会进行细分,基于某个方向进行招聘,比如关键字,数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重,保证自己兴趣所致并重点关注。
方向1:ETL工程师
ETL:数据抽取、转换、加载
ETL工作属于业务与数据的交点、需要处理上下游的关系,首先,需要对业务层面非常熟悉,其次,需要对接数据开发工程师、数据科学家,整理并准备数据、进行数据清洗、整理、融合。
方向2:数据仓库工程师
数仓会细化离线数仓和实时数仓、目前离线数仓方向发展的已经很成熟了,实时数仓是未来趋势和方向。
方向3:数据治理工程师(国企岗位居多)
数据治理的工作内容主要是对数据进行分类处理、指标整理、熟悉业务流程。
基
方向4:大数据开发工程师
大数据开发需要有良好的Java后端开发能力以及不错的源码阅读能力
大数据学习路线
系统的学习大数据相关的课程,可按照如下顺序学习
需要先掌握 Java SE 阶段,Linux 基础命令,MySQL数据库
如果上述基础技能没有掌握,可网上搜索相关课程进行学习(这类基础课程网上免费的特别多)
Java可以先学习 Java SE
会在虚拟机中安装Linux发行版本(建议安装 CentOS),学完Linux基础即可。
MySQL需要学习 sql 语法,范式,事务等。(Sql能力是必备的,没有上限)
如果以上技能你都掌握的话,接下来就进入大数据框架
可按照如下顺序进行学习(涵盖ETL、数仓、开发等岗位)
Hadoop -> Zookeeper -> Hive -> Flume && Sqoop && DataX-> Azkaban && DolphinScheduler -> 数仓建模理论+实践 ->离线数仓项目 ->Kafka -> Hbase -> Spark -> Doris-> Flink -> 实时数仓项目 ->数据治理相关知识 ->数据湖(Hudi,Iceberg)
注1.橙色为优先学习组件
** 2.大家一定要重视自己的后端开发能力,要至少做到不比后端同学差,不要让这方面的能力成为制约你职业发展的束缚。**
学习视频推荐
编程语言
关于编程语言这部分,大部分同学都是Java附带Scala技能加点,当然如果你学了一点Python的东西也是一个加分项。那么关于Java语言你可以参考下面这个视频,尤其是如果你的语言基础极差,都没有用过Java语言。
《Java基础到高级-宋红康》
https://www.bilibili.com/video/BV1Qb411g7cz
数据结构
《数据结构-浙江大学》
https://www.bilibili.com/video/BV1JW411i731
Linux基础
Linux基础这块对于数据开发非常重要,因为大家平时接触过的数据框架的搭建过程涉及大量的Linux命令操作,并且在系统级别的调优还会接触atime、ulimit这种比较高级的命令。
《史上最牛的Linux视频教程—兄弟连》
https://www.bilibili.com/video/av18156598
数据库入门
基于MySQL了解常见的SQL语法,大数据领域SQL化是未来的发展方向。
MySQL数据库教程天花板
https://www.bilibili.com/video/BV1Kb411W75N
Hadoop
尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优)
https://www.bilibili.com/video/BV1Qp4y1n7EN/
Hive
尚硅谷大数据Hive 3.x教程
https://www.bilibili.com/video/BV1g84y147sX/?
Kafka
尚硅谷Kakfa3.X教程
https://www.bilibili.com/video/BV1vr4y1677k/
Spark
尚硅谷大数据Spark教程从入门到精通
https://www.bilibili.com/video/BV11A411L7CK
Flink
【尚硅谷】Flink1.13实战教程(Java)
https://www.bilibili.com/video/BV133411s7Sa/
【尚硅谷】Flink1.13实战教程(Scala)
https://www.bilibili.com/video/BV1zr4y157XV/
Hudi
Hudi数据湖
https://www.bilibili.com/video/BV1ue4y1i7n
Doris
【尚硅谷】大数据Apache Doris教程
https://www.bilibili.com/video/BV15S4y1h7Kt
Sqoop
尚硅谷Sqoop教程(sqoop大数据开发标配)
https://www.bilibili.com/video/BV1jb411A7tc/
Flume
【尚硅谷】大数据技术之Flume教程从入门到实战
https://www.bilibili.com/video/BV1wf4y1G7EQ
DataX
【尚硅谷】Alibaba开源数据同步工具DataX技术教程
https://www.bilibili.com/video/BV1H44y1x76X
Atlas
【尚硅谷】大数据技术之Atlas数据治理
https://www.bilibili.com/video/BV1jA411F76d/
项目学习
离线数仓
尚硅谷大数据项目【电商数仓5.0】
https://www.bilibili.com/video/BV1AT411j7hu
实时数仓
尚硅谷大数据之Flink实时数仓3.0
https://www.bilibili.com/video/BV1TG411a7nL
数据中台
大数据九章云台项目
https://www.bilibili.com/video/BV1vR4y1z79G
注:电商数仓项目早已烂大街,尽量不要把这两个项目写到自己的简历上。
【大数据】大数据学习路线相关推荐
- 大数据开发初学者学习路线_初学者的Web开发路线图
大数据开发初学者学习路线 This beginner's roadmap lays out all the basics for web development. We're going to go ...
- 大数据开发工程师学习路线
自己大数据开发的学习路线,先后顺序大概是:Linux常用命令.Shell语言.Java基础.MySQL.Hadoop.YARN.MapReduce.Flume.Kafka.HBase.Hive.Spa ...
- 进阶大数据架构师学习路线
![在这里插入图片描述](https://img-blog.csdnimg.cn/25b820fe1d054f53bab70310694faffe.jpeg#pic_center 文末有惊喜 大数据架 ...
- 【第90期】关于数据分析师的学习路线,这是我见过最全面的
导读:对于很多初入数据分析领域的小白来说,往往都会陷入迷茫.数据分析的坑很大,一旦走上这条路,就要明确基本方向,不然只会越走越偏,最后耗费力气,毫无收获. 比如你想要成为一名数据分析师,你就可以到招聘 ...
- 大数据开发初学者学习路线
目录 前言 导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章 ...
- 干货分享 | 大数据零基础学习路线:新手从入门到精通
很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门?应该学习哪些技术?学习路线又是什么? 所有萌生入行的想法与想要学习Java的同学的初衷是一样的.岗位非常火,就业薪资比较高, ...
- 零基础学习大数据人工智能,学习路线篇!
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
- python大数据零基础_零基础学习大数据人工智能,学习路线篇!
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
- 大数据全网最佳学习路线总结,不看肯定后悔
一,题记 要说当下IT行业什么最火?ABC无出其右.所谓ABC者,AI + Big Data + Cloud也,即人工智能.大数据和云计算(云平台).每个领域目前都有行业领袖在引领前行,今天我们来讨论 ...
- 大数据从何学起?大数据脑图+学习路线清晰的告诉你!
近些年,大数据的火热可谓是技术人都知道啊,很多人呢,也想学习大数据相关,但是又不知道从何下手,所以今天在这里分享几个大数据脑图,希望可以让你清楚明白从哪里入门大数据,知道该学习以及掌握哪些知识点:当然 ...
最新文章
- 说说重试的那些实现方式
- 数据结构 - 递归
- python3 重新学习
- 洛谷 一种堆套路 P1631序列合并、P2085最小函数值
- python运行出现数据错误_Python运行出错情况
- YII2 实现后台操作记录日志
- Qt工作笔记-对Qt工作线程的进一步理解
- mysql 列换行 表设计 设计_MySql行转列、列转行
- c语言程序设计实验8,C语言程序设计实验八结构体.doc
- 在Idea中为项目添加Tomcat配置
- VS 提示:请考虑使用 app.config 将程序集“XXX”从版本“XX”重新映射到版本“XX”,以解决冲突并消除警告。...
- 3lcd和dlp怎么选,DLP和3LCD投影机的选择对比
- 深度linux u盘安装教程,deepin 2014 u盘安装教程:u盘安装deepin2014步骤
- linux etc xdg,Xdg-menu (简体中文)
- pyecharts世界地图用:国家中英文对照表
- 分布式文件系统(Distributed File System,DFS)
- 随机游走模型 matlab,随机游走的matlab实现
- 搬:五大车载操作(VOS)系统优劣对比,车载系统架构分析
- python 安装wheel .whl文件
- 五. Tomcat 常见问题解决及面试题