1.采用哪些方式可以获得大数据？

方式1、外部购买数据

有很多公司或者平台是专门做数据收集和分析的，企业会直接从那里购买数据或者相关服务给数据分析师，这是一种常见的获取数据的方式之一。

方式2、网络爬取数据

除了购买数据以外，数据分析师还可以通过网络爬虫从网络上爬取数据。比如大家可以利用网络爬虫爬取一些需要的数据，再将数据存储称为表格的形式。当你在浏览网页时，浏览器就相当于客户端，会去连接我们要访问的网站获取数据，然后通过浏览器解析之后展示给我们看，而网络爬虫可以通过代码模拟人类在浏览器上访问网站，获取相应的数据，然后经过处理后保存成文件或存储到数据库中供我们使用。此外，网络爬虫还可以爬取一些手机APP客户端上的数据。

方式3、免费开源数据

外部购买数据要花费一定的资金，网络爬取对技术又有一定的要求，有没有什么办法能又省力又省钱的采集数据呢？当然有，互联网上有一些“开放数据”来源，如政府机构、非营利组织和企业会免费提供一些数据，根据需求你可以免费下载。

方式4、企业内部数据

了解了企业外部数据的来源，其实企业内部本身就会产生很多数据提供给我们分析，我们一起来了解一下吧。前面说了，内部数据通常包含销售数据、考勤数据、财务数据等。比如销售数据是大部分公司的核心数据之一，它反应了企业发展状况，是数据分析的重点对象。还有考勤数据是记录企业员工上下班工作时间的数据，通过考勤数据可以分析员工的工作效率、状态等，便于企业对员工进行管理优化。财务数据是反应企业支出与收入情况的数据，可以通过对财务数据的分析了解企业经营状况，及时调整企业发展战略等。

2.常用的大数据采集工具

1、Apache Flume

官网：https://flume.apache.org/

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

官网：http://docs.fluentd.org/articles/quickstart

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

https://github.com/elastic/logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，它用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github.com/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

官网：http://www.splunk.com/

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。
Indexer负责数据的存储和索引
Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

3.常用的ETL工具

1. datastage

点评：最专业的ETL工具，价格不菲，使用难度一般

下载地址：ftp://ftp.seu.edu.cn/Pub/Develop … taStage.v7.5.1A-iSO

BT种子下载：http://pan.baidu.com/share/link?shareid=172289&uk=67437475

2. informatica

点评：专业程度如Datastage旗鼓相当，价格似乎比Datastage便宜。

Informatica PowerCenter 8.6.1 for Win 32Bit

服务端下载：http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载：http://pan.baidu.com/share/link?shareid=183217&uk=67437475

Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载：http://pan.baidu.com/share/link?shareid=172290&uk=67437475

Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载：http://pan.baidu.com/share/link?shareid=183201&uk=67437475

3. kettle

点评：业界最有名的开源ETL工具。开源当然就免费，免费的有些东西使用就不是很方便。

下载地址：http://kettle.pentaho.com/

4. ODI

点评：oracle数据库厂商提供的工具，有局限性，与oracle数据库耦合太深。

下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html

大数据获取方法；数据采集工具；常用ETL工具简介相关推荐

一篇文章搞懂数据仓库：常用ETL工具、方法
目录一.什么是ETL? 二.ETL & ELT 三.常用的ETL工具 3.1 sqoop 3.2 DataX 3.3 Kettle 3.4 canal 3.5 StreamSets 四.ET ...
推荐系统常用ETL工具、方法【35】
数据只有一个目的:推荐一.什么是ETL? 二.ETL & ELT 三.常用的ETL工具 3.1 sqoop 3.2 DataX 3.3 Kettle 3.4 canal 3.5 Stream ...
mysql etl工具有哪些_常用ETL工具
一 ETL工具 [国外] 1. datastage 点评:最专业的ETL工具,价格不菲,使用难度一般下载地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage ...
可以用python写的etl工具_python ETL工具 pyetl
pyetl是一个纯python开发的ETL框架, 相比sqoop, datax 之类的ETL工具,pyetl可以对每个字段添加udf函数,使得数据转换过程更加灵活,相比专业ETL工具pyetl更轻量, ...
大数据获取方法及常用工具学习
大数据根据来源分类,可以分为内部数据和外部数据. 内部数据可以通过ETL的方式来进行整理. 外部数据的格式比较复杂,大多数企业是通过爬虫来获取数据的.
从ETL工具到企业云数据管理，在大数据风口的Informatica完成蜕变
数据已经成为整个社会的一个重要资产,越来越多的企业正在向数据驱动型企业转型.然而,数据的爆炸性增长,特别是非结构化数据的爆炸性增长使得这种转型面临巨大挑战.有研究显示,到2020年,平均每个互联网用户 ...
【ETL】ETL----如何决定是否采用ETL工具
原文链接:https://blog.csdn.net/cormier_an/article/details/12349533?utm_source=blogxgwz1 ETL工具还是手工编码 (购买工 ...
测试老鸟都在用的接口抓包常用工具以及接口测试工具都有哪些？
目录接口接口测试的重要性常用抓包工具常用接口测试工具接口接口测试是测试系统组件间接口的一种测试.接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点.测试的重点是要检查数据 ...
搜索引擎提交工具_钦州SEO优化_SEO工具常用的有哪些大盘点，做SEO优化不再累...
发布时间:2020-11-06 08:11:48 现在的搜索引擎中,已经有大量的或免费,或付费的seo工具,总的来讲,可以分为几个大类,包括但不限于网站管理员工具,外链查询工具,seo综合查询工具,关 ...

大数据获取方法；数据采集工具；常用ETL工具简介