Flume之flume-ng

Flume —flume-ng

在开始阅读之前让我们喊出口号：“要想人前显贵，就要人后受罪！”加油嘎嘣儿，加油所有想获得美好未来的你！
一、什么是Flume
Flume 是Cloundera提供的一个高可用，高可靠的分布式海量日志采集、聚合和传送系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。
二、Flume-ng
运行原理图：

其中Agent 是Flume-ng的最小的独立运行单位。Agent是Flume中产生数据流的地方，一个agent就是一个jvm。单个的Agent由 Source、Sink、和Channel三大组件构成。

二、三大组件

Source:完成对日志数据的收集，通过event将数据传给到Channel之中。
Channle:主要提供一个队列的功能，对source提供中的数据进行简单的缓存。
Sink:取出Channle中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。

Source :常用类型

Avro Source	通过Avro 接口远程连接Source
Exec Source	通过UNIX命令想标准输出输出数据
Spooling Directory Source	监听整个目录，将新文件内容发送给Event
Syslog Sources	读取syslog数据，产生Event，支持UDP和TCP
HTTP Source	基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式
自定义Source	通过实现Flume提供的接口定制Source

Channel:常用类型

Memory Channel	Event数据存储在内存中
JDBC Channel	Event数据存储在持久化存储中
File Channel	Event数据存储在磁盘中

Sink:常用类型

Hdfs Sink	将数据写入到Hdfs中
Avro Sink	数据被转换成Avro Event，然后发送到配置的RPC端口上
Hbase Sink	将数据写入到Hbase数据库中
File Roll Sink	将数据写入到本地文件系统中

Flume之flume-ng相关推荐

【Flume】Flume入门
Flume 简介 Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generatio ...
[Flume]使用 Flume 来传递web log 到 hdfs 的例子
[Flume]使用 Flume 来传递web log 到 hdfs 的例子: 在 hdfs 上创建存储 log 的目录: $ hdfs dfs -mkdir -p /test001/weblogsfl ...
Flume篇---Flume安装配置与相关使用
一.前述 Copy过来一段介绍Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制.flume具有高可用, ...
Flume(7) flume自定义Sinks实现
源码地址前言接上一篇Flume(6) flume自定义Sources实现,我们总结了一下自定义source的流程,这次我们实现一个自己的Sink,将数据Sink到Mysql数据库中. 创建数据库相 ...
日志采集框架Flume以及Flume的安装部署（一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统）...
Flume支持众多的source和sink类型,详细手册可参考官方文档,更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flum ...
日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. 2.Flume可以采集文件,socket数据包等各 ...
flume案例-flume级联-配置文件编写
分析第一个agent负责收集文件当中的数据,通过网络发送到第二个agent当中去第二个agent负责接收第一个agent发送的数据,并将数据保存到hdfs上面去 Node02 安装 Flume 将 ...
日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）...
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. 2.Flume可以采集文件,socket数据包等各 ...
【flume】flume读取web应用某个文件夹下日志到hdfs
简介这里主要是做这个实验遇到的问题以及解决方法问题:java.lang.OutOfMemoryError: GC overhead limit exceeded ###1.准备工作我本来想用已经 ...
【flume】flume案例集锦
1.一个单点avro例子配置文件 testAvro.conf #test avro sources a1.sources=r1 a1.channels=c1 a1.sinks=k1a1.source ...

Flume之flume-ng

Flume —flume-ng

Flume之flume-ng相关推荐

最新文章

热门文章