大数据与HDFS学习笔记

GFS 论文 -- > HDFS

MapReduce论文 -- > MapReduce

BigTable 论文 -- > HBase

Hadoop

基于hadoop的生态圈

Hbase

Hive

hql

Spark

类似于spring

sparksql

学习流程

Linux

Nginx

HDFS

MapReduce

Hbase 数据库

Hive 学了这个就不用写mapreduce了

HDFS： https://www.bilibili.com/video/BV1154y1U73k?p=2&spm_id_from=pageDriver

适用场景，大文件，一次写多次读

不适用，低时延，多写，多小文件

第二个存本机架，第三副本另一个机架

6. 高级特性

1）文件数配额和大小配额

2）安全模式

7. 基准测试

大数据与HDFS学习笔记相关推荐

大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666 [P001-P ...
大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码: ...
hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶
hadoop大数据开发技术学习笔记第三天:(前序)MySQL数据库进阶一.回顾知识 1.myschool数据库和数据表的创建 (1)创建数据库 (2)数据库模型图 (3)创建数据表grand (4) ...
大数据第一阶段学习笔记
开始:2022年11月6日以下内容仅为个人笔记整理.(第一阶段的内容并不完全.硬件上有点问题,暂时无法解决,空着的部分后续补上.) 第0章大数据介绍大数据可以从事的职位有: 大数据工程师数据分 ...
大讲台大数据特训学习笔记
什么是大数据技术? 对于一个从事大数据行业人来说,一切数据都是有意义的.因为通过数据采集.数据存储.数据管理.数据分析与挖掘.数据展现等,我们可以发现很多有用的或有意思的规律和结论. 比如,北京公交一 ...
百万大数据架构师学习笔记
什么是大数据技术? 对于一个从事大数据行业人来说,一切数据都是有意义的.因为通过数据采集.数据存储.数据管理.数据分析与挖掘.数据展现等,我们可以发现很多有用的或有意思的规律和结论. 比如,北京公交一 ...
.NET 大数据实时计算--学习笔记
摘要纯 .Net 自研大数据实时计算平台,在中通快递服务数百亿包裹,处理数据万亿计!将分享大数据如何落地以及设计思路,技术重难点. 目录背景介绍计算平台架构项目实战背景介绍计算平台架构分 ...
大数据课程体系-学习笔记概要
目录目录大数据课程体系简介学习阶段不定时更新大数据课程体系简介作为一名物联网工程专业的学生,对于大数据有着不同寻常的热情,在有了一定的Android基础和J2EE基础后,希望学习更多的数 ...
阿里云ACA大数据助理工程师认证学习笔记和题
1 某大型企业计划使用MaxCompute对本公司的数据进行加工和分析,预计该项目会有上万个表.数干个本题分信任务,同时有近4人的团队负责该项目的建设和运维.从工程角度出发, ()可以大大减少项目管理 ...

大数据与HDFS学习笔记

大数据与HDFS学习笔记相关推荐

最新文章

热门文章