hadoop原理学习笔记不含命令

hadoop海量数据实现原理
如何将机器学习与hadoop对接不考虑安装二次开发运行
数据是机器学习的核心 hadoop框架
谷歌100亿网页 2011年谷歌100万台服务器双十一购物信息统计机
java+hadoop是大数据工程师
运行和监控是运维工程师能够会安装部署监控hadoop的运维工程师是云架构工程师
程序员为了分布式系统改造程序和数据
云计算平台按小时计费的租赁计算系统大量数据海量数据处理计算自己组建hadoop成本高
微软亚马逊华为腾讯阿里费用昂贵
节点机架通过switch连接组成集群
集群是多个节点干一件事分布式是多个节点分工干一件事分布式集群通过hadoop调度将海量数据分解成块并行处理聚合
map reduce思想核心如何处理大规模数据 map任务key一般只有一个 1.map逐行分解预聚合 2.group by 排序 3.reduce key聚合 value聚合
hadoop 并行 yarn调度监控各个子节点对数据块进行遍历一个块一个map 一个任务一个reduce
提高并行效率调整map reduce默认处理文件大小 map进行预处理远大于全部reduce集中处理数并行效率
节点故障 map所有此任务节点重启map reduce待完成未完成重启reduce name节点呼叫管理员
spark 框架底层mapreduce 内存运行高效适用计算学习占内存处理效率高稳定性不如map map适用数据准备占硬盘io
hive数据查询提供hql底层mapreduce 效率高于用Mapreduce进行数据查询需要装hadoop 或spark mysql适用频繁修改hive适用数据库查询

关联规则基本概念
1.项目每一个数据样本一件商品
2.事物项目的集合购物车
3.*项集有意义的项目集合叫项集面包牛奶搭配经常出现叫二项集
*参数
4.阀值支持度高到一定程度才会有观测的意义
5.支持度项集出现的频繁程

hadoop原理学习笔记不含命令相关推荐

Golang底层原理学习笔记（一）
LCY~~Golang底层原理学习笔记 1 源码调试 go源代码地址:GitHub - golang/go: The Go programming language 1.1 源码编译现在的go语言大 ...
大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码: ...
Java 基础第3阶段：高级应用——尚硅谷学习笔记（含面试题） 2023年
Java 基础第 3 阶段:高级应用--尚硅谷学习笔记(含面试题) 2023 年 Java 基础第 3 阶段:高级应用--尚硅谷学习笔记(含面试题) 2023 年第 9 章异常处理 9.1 异 ...
[编译原理学习笔记2-2] 程序语言的语法描述
[编译原理学习笔记2-2] 程序语言的语法描述文章目录 [编译原理学习笔记2-2] 程序语言的语法描述 [2.3.1] 上下文无关文法 [2.3.2] 语法分析树与二义性 [2.3.3] 形式语言鸟 ...
大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666 [P001-P ...
MOOC人工智能原理学习笔记1
人工智能原理学习笔记1 The Foundations of AI: Philosophy Mathematics Economics Neuroscience Psychology Computer ...
自控原理学习笔记-反馈控制系统的动态模型（4）-频率特性函数Nyquist图及Bode图
自控原理学习笔记自控原理学习笔记专栏文章目录 1.频率特性函数 1.1 图形表示方法: 1.2 零极点位置和暂态增益图 1.2.1 复轨迹曲线 1.2.3 例子 1.3 计算系统响应 2.开环频率 ...
自控原理学习笔记-系统稳定性分析（2）-环路分析及Nyquist-Bode判据
自控原理学习笔记自控原理学习笔记专栏文章目录 3. 环路分析 3.1环路分析基本思想: 3.2 稳定程度的性能指标(相对稳定) 3.3 环路整形 4.Nyquist判据 4.1 与幅角原理关系 4 ...
自控原理学习笔记-反馈控制系统的动态模型（1）
自控原理学习笔记 1.导论 2.反馈控制系统的动态模型(1) 3.反馈控制系统的动态模型(2) 3.反馈控制系统的动态模型(3) 4.反馈控制系统的动态模型(4) 5.反馈控制系统的动态模型(5) 文 ...

hadoop原理学习笔记不含命令