职位选择

首先明确一点:大数据涉及的知识面广度还是有的,需要学习的组件繁多,想要每一项精通几乎不可能,所以企业在招聘的时候会进行细分,基于某个方向进行招聘,比如关键字,数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重,保证自己兴趣所致并重点关注。
方向1:ETL工程师
ETL:数据抽取、转换、加载
ETL工作属于业务与数据的交点、需要处理上下游的关系,首先,需要对业务层面非常熟悉,其次,需要对接数据开发工程师、数据科学家,整理并准备数据、进行数据清洗、整理、融合。

方向2:数据仓库工程师
数仓会细化离线数仓和实时数仓、目前离线数仓方向发展的已经很成熟了,实时数仓是未来趋势和方向。

方向3:数据治理工程师(国企岗位居多)
数据治理的工作内容主要是对数据进行分类处理、指标整理、熟悉业务流程。

方向4:大数据开发工程师
大数据开发需要有良好的Java后端开发能力以及不错的源码阅读能力

大数据学习路线

系统的学习大数据相关的课程,可按照如下顺序学习
需要先掌握 Java SE 阶段,Linux 基础命令,MySQL数据库
如果上述基础技能没有掌握,可网上搜索相关课程进行学习(这类基础课程网上免费的特别多)
Java可以先学习 Java SE
会在虚拟机中安装Linux发行版本(建议安装 CentOS),学完Linux基础即可。
MySQL需要学习 sql 语法,范式,事务等。(Sql能力是必备的,没有上限)
如果以上技能你都掌握的话,接下来就进入大数据框架
可按照如下顺序进行学习(涵盖ETL、数仓、开发等岗位)
Hadoop -> Zookeeper -> Hive -> Flume && Sqoop && DataX-> Azkaban && DolphinScheduler -> 数仓建模理论+实践 ->离线数仓项目 ->Kafka -> Hbase -> Spark -> Doris-> Flink -> 实时数仓项目 ->数据治理相关知识 ->数据湖(Hudi,Iceberg)

注1.橙色为优先学习组件
** 2.大家一定要重视自己的后端开发能力,要至少做到不比后端同学差,不要让这方面的能力成为制约你职业发展的束缚。**

学习视频推荐

编程语言

关于编程语言这部分,大部分同学都是Java附带Scala技能加点,当然如果你学了一点Python的东西也是一个加分项。那么关于Java语言你可以参考下面这个视频,尤其是如果你的语言基础极差,都没有用过Java语言。

《Java基础到高级-宋红康》
https://www.bilibili.com/video/BV1Qb411g7cz

数据结构

《数据结构-浙江大学》
https://www.bilibili.com/video/BV1JW411i731

Linux基础

Linux基础这块对于数据开发非常重要,因为大家平时接触过的数据框架的搭建过程涉及大量的Linux命令操作,并且在系统级别的调优还会接触atime、ulimit这种比较高级的命令。

《史上最牛的Linux视频教程—兄弟连》
https://www.bilibili.com/video/av18156598

数据库入门

基于MySQL了解常见的SQL语法,大数据领域SQL化是未来的发展方向。

MySQL数据库教程天花板
https://www.bilibili.com/video/BV1Kb411W75N

Hadoop

尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优)
https://www.bilibili.com/video/BV1Qp4y1n7EN/

Hive

尚硅谷大数据Hive 3.x教程
https://www.bilibili.com/video/BV1g84y147sX/?

Kafka

尚硅谷Kakfa3.X教程
https://www.bilibili.com/video/BV1vr4y1677k/

Spark

尚硅谷大数据Spark教程从入门到精通
https://www.bilibili.com/video/BV11A411L7CK

Flink

【尚硅谷】Flink1.13实战教程(Java)
https://www.bilibili.com/video/BV133411s7Sa/
【尚硅谷】Flink1.13实战教程(Scala)
https://www.bilibili.com/video/BV1zr4y157XV/

Hudi

Hudi数据湖
https://www.bilibili.com/video/BV1ue4y1i7n

Doris

【尚硅谷】大数据Apache Doris教程
https://www.bilibili.com/video/BV15S4y1h7Kt

Sqoop

尚硅谷Sqoop教程(sqoop大数据开发标配)
https://www.bilibili.com/video/BV1jb411A7tc/

Flume

【尚硅谷】大数据技术之Flume教程从入门到实战

https://www.bilibili.com/video/BV1wf4y1G7EQ

DataX

【尚硅谷】Alibaba开源数据同步工具DataX技术教程

https://www.bilibili.com/video/BV1H44y1x76X

Atlas

【尚硅谷】大数据技术之Atlas数据治理
https://www.bilibili.com/video/BV1jA411F76d/

项目学习

离线数仓

尚硅谷大数据项目【电商数仓5.0】

https://www.bilibili.com/video/BV1AT411j7hu

实时数仓

尚硅谷大数据之Flink实时数仓3.0
https://www.bilibili.com/video/BV1TG411a7nL

数据中台

大数据九章云台项目
https://www.bilibili.com/video/BV1vR4y1z79G

注:电商数仓项目早已烂大街,尽量不要把这两个项目写到自己的简历上。

【大数据】大数据学习路线相关推荐

  1. 大数据开发初学者学习路线_初学者的Web开发路线图

    大数据开发初学者学习路线 This beginner's roadmap lays out all the basics for web development. We're going to go ...

  2. 大数据开发工程师学习路线

    自己大数据开发的学习路线,先后顺序大概是:Linux常用命令.Shell语言.Java基础.MySQL.Hadoop.YARN.MapReduce.Flume.Kafka.HBase.Hive.Spa ...

  3. 进阶大数据架构师学习路线

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/25b820fe1d054f53bab70310694faffe.jpeg#pic_center 文末有惊喜 大数据架 ...

  4. 【第90期】关于数据分析师的学习路线,这是我见过最全面的

    导读:对于很多初入数据分析领域的小白来说,往往都会陷入迷茫.数据分析的坑很大,一旦走上这条路,就要明确基本方向,不然只会越走越偏,最后耗费力气,毫无收获. 比如你想要成为一名数据分析师,你就可以到招聘 ...

  5. 大数据开发初学者学习路线

    目录 前言 导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章 ...

  6. 干货分享 | 大数据零基础学习路线:新手从入门到精通

    很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门?应该学习哪些技术?学习路线又是什么? 所有萌生入行的想法与想要学习Java的同学的初衷是一样的.岗位非常火,就业薪资比较高, ...

  7. 零基础学习大数据人工智能,学习路线篇!

    大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...

  8. python大数据零基础_零基础学习大数据人工智能,学习路线篇!

    大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...

  9. 大数据全网最佳学习路线总结,不看肯定后悔

    一,题记 要说当下IT行业什么最火?ABC无出其右.所谓ABC者,AI + Big Data + Cloud也,即人工智能.大数据和云计算(云平台).每个领域目前都有行业领袖在引领前行,今天我们来讨论 ...

  10. 大数据从何学起?大数据脑图+学习路线清晰的告诉你!

    近些年,大数据的火热可谓是技术人都知道啊,很多人呢,也想学习大数据相关,但是又不知道从何下手,所以今天在这里分享几个大数据脑图,希望可以让你清楚明白从哪里入门大数据,知道该学习以及掌握哪些知识点:当然 ...

最新文章

  1. 说说重试的那些实现方式
  2. 数据结构 - 递归
  3. python3 重新学习
  4. 洛谷 一种堆套路 P1631序列合并、P2085最小函数值
  5. python运行出现数据错误_Python运行出错情况
  6. YII2 实现后台操作记录日志
  7. Qt工作笔记-对Qt工作线程的进一步理解
  8. mysql 列换行 表设计 设计_MySql行转列、列转行
  9. c语言程序设计实验8,C语言程序设计实验八结构体.doc
  10. 在Idea中为项目添加Tomcat配置
  11. VS 提示:请考虑使用 app.config 将程序集“XXX”从版本“XX”重新映射到版本“XX”,以解决冲突并消除警告。...
  12. 3lcd和dlp怎么选,DLP和3LCD投影机的选择对比
  13. 深度linux u盘安装教程,deepin 2014 u盘安装教程:u盘安装deepin2014步骤
  14. linux etc xdg,Xdg-menu (简体中文)
  15. pyecharts世界地图用:国家中英文对照表
  16. 分布式文件系统(Distributed File System,DFS)
  17. 随机游走模型 matlab,随机游走的matlab实现
  18. 搬:五大车载操作(VOS)系统优劣对比,车载系统架构分析
  19. python 安装wheel .whl文件
  20. 五. Tomcat 常见问题解决及面试题

热门文章

  1. Kubernetes各组件工作原理 Pod 生命周期
  2. usb gadget driver 之一UDC driver
  3. QT时间相关的使用(日期相减问题)
  4. Java Math3 Probability Distributions(概率分布)
  5. Git操作详解以及在VScode中的使用
  6. 张文成的《墨菲定律》读后感(三)
  7. 在html中使用swiper插件实现轮播图效果
  8. QT Designer 生成的ui文件转化成py文件以及简单使用
  9. 三相交流参数稳压电源,三相交流电源稳压器
  10. 4个利用社交媒体进行假日营销的品牌案例