flume伪分布模式实践

1）启动flume master：bin/flume master ,这时你可以到master的web界面http://localhost:35871/查看flume集群信息，web界面如下：

从截图中可以看出，当前flume集群中没有node节点。

2）启动flume node节点：flume node_nowatch，你可以到http://localhost:35862/查看该节点的信息。

附注：启动flume节点有两种方式：a）flume node：以守护进程的方式运行node，无法通过console和用户进行交互；b）flume node_nowatch：使用户能够通过console和flume node进程进行交互

3）在成功启动flume node节点之后，刷新flume master的web界面：

可以看到flume 集群中已经新添加了一个节点。

4）通过master的web界面配置node节点：

从configure node中选择所要配置的节点，然后配置节点的source和sink，点击提交查询：

提交成功后，返回到主页，可以看到相关栏目已经更新：

5）测试配置是否成功，到运行flume node_nowatch的窗口输出，配置成功：

this is test
hadoop07 [INFO Mon Oct 31 07:34:21 CST 2011] this is test

6）修改配置，将hadoop07的source修改为：tail("/etc/services")，提交查询，等到十几秒之后运行flume node_nowatch的窗口输出了/etc/services当前所有的内容。再次修改source：tail("/var/log/messages")，结果node节点报错，原因是运行flume的用户无法读取文件，将文件权限改为777后正常。将sink修改为：dfs("file:///tmp/var_log_messages.copy")，dfs sink的输出为序列文件；将sink修改为：text("/tmp/var_log_messages.copy")，flume节点出现错误信息：

2011-10-31 07:55:16,721 [Check config] ERROR agent.LogicalNode: Forcing driver to exit uncleanly
2011-10-31 07:55:16,723 [logicalNode hadoop07-30] WARN text.TailSource: next unexpectedly interrupted :null
java.lang.InterruptedException
at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:877)
at com.cloudera.flume.handlers.text.TailSource.next(TailSource.java:271)
at com.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:105)
2011-10-31 07:55:16,723 [logicalNode hadoop07-30] ERROR connector.DirectDriver: Closing down due to exception during append calls
java.lang.InterruptedException
at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:877)
at com.cloudera.flume.handlers.text.TailSource.next(TailSource.java:271)
at com.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:105)
2011-10-31 07:55:16,723 [logicalNode hadoop07-30] INFO connector.DirectDriver: Connector logicalNode hadoop07-30 exited with error: null
java.lang.InterruptedException
at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:877)
at com.cloudera.flume.handlers.text.TailSource.next(TailSource.java:271)
at com.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:105)
2011-10-31 07:55:16,725 [Check config] INFO agent.LogicalNode: Node config successfully set to com.cloudera.flume.conf.FlumeConfigData@1a5af9f
2011-10-31 07:55:16,825 [TailThread-3] ERROR text.TailSource: Tail thread nterrupted: sleep interrupted
java.lang.InterruptedException: sleep interrupted
at java.lang.Thread.sleep(Native Method)
at com.cloudera.util.Clock$DefaultClock.doSleep(Clock.java:62)
at com.cloudera.util.Clock.sleep(Clock.java:88)
at com.cloudera.flume.handlers.text.TailSource$TailThread.run(TailSource.java:197)
2011-10-31 07:55:16,826 [TailThread-3] INFO text.TailSource: TailThread has exited
2011-10-31 07:55:16,826 [logicalNode hadoop07-30] INFO hdfs.DFSEventSink: Closing file:///tmp/var_log_messages.copy
2011-10-31 07:55:16,828 [logicalNode hadoop07-30] ERROR connector.DirectDriver: Exiting driver logicalNode hadoop07-30 in error state TailSource | DFSEventSink because null

但是数据已经正确的写入到文件：/tmp/var_log_messages.copy，但文件格式不是原始的文件格式。将sink修改为：text( "/tmp/var_log_messages1.copy", "raw" )，警告：

conf.FlumeBuilder: Deprecated syntax: Expected a format spec but instead had a (String) raw

查看数据文件：/tmp/var_log_messages1.copy，文件已经和原始格式一致。

7）启动collector，注意：flume node_nowatch 会绑定35862端口，flume node_nowatch -n collector会绑定35863端口，所以查看节点信息时的端口依据于最先启动的程序。

flume node_nowatch -n collector

8）使用Configure multiple nodes进行配置，配置代码如下：

hadoop07 : console | agentSink("localhost",35853) ;
collector : collectorSource(35853) | console ;

配置失败，错误信息如下：

com.cloudera.flume.conf.FlumeSpecException: Parser error: unexpected 'collector' at position 0 line 2: 'hadoop07:console|agentSink("localhost",35853); collector:collectorSource(35853)|console;'

使用Configure a single node进行配置，最终配置信息如下：

测试配置，成功。

9）最终的master web界面：

flume伪分布模式实践相关推荐

【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
阅读目录概要章节1:安装java 1.6 章节2:设置ssh无密码登录章节3:Hadoop的安装(在Hadoop用户下) 章节4:配置Hadoop相关配置文件章节5:Hadoop启动章节6: ...
Linux环境搭建Hadoop伪分布模式
Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...
大数据2 Hadoop伪分布模式配置部署
为什么80%的码农都做不了架构师?>>> Hadoop伪分布模式配置部署一.实验环境说明注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录无需密码自动登 ...
hadoop1.2.1伪分布模式配置
1.修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default.name< ...
Hadoop1.2.1伪分布模式安装指南
一.前置条件 1.操作系统准备 (1)Linux可以用作开发平台及产品平台. (2)win32只可用作开发平台,且需要cygwin的支持. 2.安装jdk 1.6或以上 3.安装ssh,并配置免密码登 ...
Hadoop学习之以伪分布模式部署Hadoop及常见问题
Hadoop既可以以单机模式运行,也可以以伪分布模式运行,这两种模式都是为了使用者方便学习和调试Hadoop,要想发挥Hadoop分布式.并行处理的优势,还须以分布式模式来部署运行Hadoop.单机模 ...
hadoop 伪分布模式
学习hadoop有一个星期了,先是看了看书,hadoop权威指南,很不错的入门级教材. 书的内容偏向于基础原理,多读几遍会收获很多. 本人菜鸟一只,为了把自己的学习心得分享给大家,就在此开始记录一下, ...
Linux下部署Hadoop伪分布模式
Hadoop版本为1.2.1 Distribution为Fedora19并使用hadoop账号安装第一步:配置ssh本地登录证书(虽然为伪分布模式,Hadoop依然会使用SSH进行通信) [hado ...
SUSE上搭建Hadoop环境（单机模式+伪分布模式）
为什么80%的码农都做不了架构师?>>> [环境]: 经常遭遇因为依赖软件版本不匹配导致的问题,这次大意了,以为java问题不大,就用本来通过yast安装的java1.6 op ...

flume伪分布模式实践

flume伪分布模式实践相关推荐

最新文章

热门文章