初学者对于spark的几个疑问

Hadoop是啥？spark是啥？
spark能完全取代Hadoop吗？
Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)？
学习Hadoop和spark，哪门语言好？
哪里能找到比较全的学习资料？

1 Hadoop是啥？spark是啥？

(1)先来了解下Hadoop历史渊源

Doug Cutting是Apache Lucene创始人， Apache Nutch项目开始于2002年，Apache Nutch是Apache Lucene项目的一部分。2005年Nutch所有主要算法均完成移植，用MapReduce和NDFS来运行。2006年2月，Nutch将MapReduce和NDFS移出Nutch形成Lucene一个子项目，命名Hadoop。

Hadoop不是缩写，而是虚构名。项目创建者Doug Cutting解释Hadoop的得名:“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”

(2)狭义的Hadoop

个人认为，狭义的Hadoop指Apache下Hadoop子项目，该项目由以下模块组成：

Hadoop Common: 一系列组件和接口，用于分布式文件系统和通用I/O
Hadoop Distributed File System (HDFS?): 分布式文件系统
Hadoop YARN: 一个任务调调和资源管理框架
Hadoop MapReduce: 分布式数据处理编程模型，用于大规模数据集并行运算

狭义的Hadoop主要解决三个问题，提供HDFS解决分布式存储问题，提供YARN解决任务调度和资源管理问题，提供一种编程模型，让开发者可以进来编写代码做离线大数据处理。

(3)广义的Hadoop

个人认为，广义的Hadoop指整个Hadoop生态圈，生态圈中包含各个子项目，每个子项目为了解决某种场合问题而生，主要组成如下图：

Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
Apache Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
Apache Hama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
Apache Giraph: 是一个可伸缩的分布式迭代图处理系统，基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
Apache Crunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
Apache Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

从广义的角度来讲，spark是Hadoop生态圈中的一个子项目。

(4)spark历史渊源

百度百科写道

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说， Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

(5)spark目前项目组成

Spark Streaming：实时流式数据处理，与之类似的有storm
Spark SQL, DataFrames and Datasets：SQL化处理一切数据，与之类似的有hive
Machine Learning Library：机器学习
GraphX：图形可视化
Bagel on Spark：谷歌公司Bagel图形处理技术，如何运行于spark
R on Spark：R语言在spark上运用

2 spark能完全取代Hadoop吗？

个人认为，spark目前不能完全取代Hadoop，理由如下：Haoop中的分布式文件存储是spark没有的，目前能站得住脚的就只有这点了。

spark的出现是有原因的，这个得从Hadoop的编程模型mapreduce说起，mapreduce中间结果首先存储到磁盘文件，大量的IO读写会影响整个计算的耗时，而spark中间结果首先是基于内存存储，免去IO带来的性能开销。

mapreduce有这个弱点，为啥不也用内存呢？个人认为，既然都是Apache项目，spark已经解决了这个问题，那么很可能是Apache放弃了在mapreduce方面的优化，也是顺应大势所趋，没必要在mapreduce浪费时间和经历，当然这也是个人片面之词。

3.Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)？

这个首先要看你说的是哪个明确的子项目了，个人观点：

Hadoop生态圈中子项目Apache Hadoop中的mapreduce是属于离线计算技术；
Hadoop生态圈中子项目Apache hive本质是mapreduce，也属于离线计算技术；
Hadoop生态圈中子项目Apache storm属于实时计算技术；
Hadoop生态圈中子项目Apache spark中spark-shell属于离线计算技术，只不过它基于内存存储中间结果，速度上比mapreduce快很多倍，又离实时计算技术很近；
Hadoop生态圈中子项目Apache spark中spark streaming属于实时计算技术，类似于storm；
Hadoop生态圈中子项目Apache spark中sparkSQL属于离线计算技术，只不过它基于内存存储中间结果，速度上比hive快很多倍。

4 学习Hadoop和spark，哪门语言好？

这个问题先要看下我们用到的技术首先是用啥写的，目前，spark和kafka这两个是用基于JVM上的语言Scala实现的，而Hadoop、hbase、hive这些是用基于JVM上的语言java实现的。

所以个人认为，学习这些技术，如果要深入源代码研究和查找问题，建议首选java和Scala，最好做到精通。

那么其他语言开发者咋办，也不是不能从事大数据开发了，因为目前大数据技术方面考虑到了其他语言开发者的感受，提供多种语言支持的，这里首先推荐去学习解释型语言Python，推荐这个的另一好处是，Python使用matlib不用考虑版权问题了，但用这些非JVM语言一个缺点是，当出现了问题的时候，你拿到的一堆JVM错误信息，你可咋办？？？

5.哪里能找到比较全的学习资料？

就个人目前学习大数据经验来说，最全的资料还是官网了。

很多微博和视频都有介绍，包括我现在在写的微博，总体来说都比较片面，你被强迫的接受就是要这么去操作，例如Hadoop很多地方部署都写的是Hadoop1.x版本里面的namenode+secondarynamenode部署方式，很少人告诉你这是是部署方式之一，还有Hadoop2.x里面的HA部署方式；spark部署方式很多地方介绍的是单master方式，很少有地方告诉你还有基于zookeeper上的多master部署方式，而这些没有告诉你的方式在某些视频中被标榜为独门秘籍，那些老师得意洋洋的说：“来吧，交点钱，来听我的课，在我的课程里我会告诉你怎么部署spark多master方式”

spark (1)初学者对于spark的几个疑问相关推荐

Spark（四） -- Spark工作机制
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/45728173 一.应用执行机制一个应用 ...
【原创】大数据基础之Spark（9）spark部署方式yarn/mesos
1 下载解压 https://spark.apache.org/downloads.html $ wget http://mirrors.shu.edu.cn/apache/spark/spark-2 ...
学习笔记Spark（六）—— Spark SQL应用（1）—— Spark SQL简介、环境配置
一.Spark SQL简介 1.1.Spark SQL特性 Spark SQL是Spark Core之上的一个组件,它引入了一个称为SchemaRDD的新- 数据抽象,它为结构化和半结构化数据提供支持 ...
学习笔记Spark（二）—— Spark集群的安装配置
一.我的软件环境二.Spark集群拓扑 2.1.集群规模 192.168.128.10 master 1.5G ~2G内存.20G硬盘.NAT.1~2核 : 192.168.128.11 node1 ...
学习笔记Spark（一）—— Spark入门
一.Spark简介什么是Spark? 快速.分布式.可扩展.容错的集群计算框架: Spark是基于内存计算的大数据分布式计算框架: 低延迟的复杂分析: Spark是Hadoop MapReduce的 ...
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
Spark学习笔记(8)---Spark Streaming学习笔记
Spark Streaming学习笔记同Spark SQL一样,Spark Streaming学习也是放在了github https://github.com/yangtong123/RoadOfS ...
Spark（6）——Spark与scala交互
在前面我们使用的是python与spark交互,其实spark也提供了与scala交互的页面,在spark/bin目录下,实行如下语句: spark-shell --master local[2] 其 ...
[Kafka与Spark集成系列二] Spark的安装及简单应用
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...

spark (1)初学者对于spark的几个疑问