项目实现：电商网站日志分析平台（二:采集日志数据）

本篇为第二篇，剩余请移步主页查看

第二步：采集日志数据
准备工作：
（1）开启3台虚拟机
（2）3台虚拟机用xshell启动zookeeper

（3）3台启动Hadoop
在master群起后jps查看节点
在slave1查看节点：

在slave2查看节点：
1.创建/home/hadoop/web_log目录，使用以下命令：

mkdir /home/hadoop/web_log

2.进入/home/hadoop/web_log目录，使用以下命令：

cd /home/hadoop/web_log/

3.创建nginx_memory_hdfs.properties文件，编辑文件使用以下命令：

vim nginx_memory_hdfs.properties

填写以下内容：

# agent 起个名字叫做 a1
# 设置 a1 的 sources 叫做 r1
a1.sources = r1# 设置 a1 的 sinks 叫做 k1
a1.sinks = k1# 设置 a1 的 channels 叫做 c1
a1.channels  = c1# 设置 r1 的类型是 exec，用于采集命令产生的数据
a1.sources.r1.type = exec# 设置 r1 采集 tail -F 命令产生的数据
a1.sources.r1.command= sudo tail -F /var/log/nginx/access.log# 设置 c1 的类型是 memory
a1.channels.c1.type = memory# 设置 c1 的缓冲区容量
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# 设置 k1 的类型是 hdfs
a1.sinks.k1.type = hdfs# 设置 k1 输出路径，按照时间在 hdfs 上创建相应的目录
a1.sinks.k1.hdfs.path = /web/log/%y-%m-%d/%H
a1.sinks.k1.hdfs.filePrefix = events-# 设置 k1 输出的数据保存为文本
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text# 把时间戳放入数据的头中
a1.sinks.k1.hdfs.useLocalTimeStamp = true# 设置 r1 连接 c1
a1.sources.r1.channels = c1# 设置 k1 连接 c1
a1.sinks.k1.channel = c1

4.使用nginx_memory_hdfs.properties文件启动flume，使用以下命令：

flume-ng agent -n a1 -c conf -f /home/hadoop/web_log/nginx_memory_hdfs.properties

在浏览器进去http://ip/shop.html后在master使用以下命令监控访问日志：

sudo tail -F /var/log/nginx/access.log

5.在hdfs检查日志数据是否采集到/web/log目录

项目实现：电商网站日志分析平台（二:采集日志数据）相关推荐

大型电商网站架构分析
电商网站架构案例.从电商网站的需求,到单机架构,逐步演变为常用的,可供参考的分布式架构的原型.除具备功能需求外,还具备一定的高性能,高可用,可伸缩,可扩展等非功能质量需求(架构目标). 根据实际需要, ...
项目案例——电商网站
初学程序结构写的一个简单网站,使用了大量的循环语句,代码重复较多,因此参考度不大. 下面是完整代码: """ 用户登录的电商网站 """ # ...
ELK日志分析平台(二)----logstash数据采集
logstash数据采集 1. logstash 1.1logstash介绍 1.2logstash的力量 2. Logstash的安装与配置(一台新的虚拟机) 2.1软件的下载和安装 2.1.1软件 ...
从用商派Onex到SAP的hybris开发电商网站
商派,10多年国内电商网站开发领军企业. SAP,几十年国际ERP领军企业,尤其最近几年收购了hybris,靠hybris进入国内电商网站开发领域. 一年中,本人有幸先后使用两者开发电商网站,现将两者 ...
电商详情页缓存架构（一）电商网站的商品详情页架构
小型电商网站的商品详情页的页面静态化架构以及其缺陷小型电商网站,一般使用页面静态化的方案,提前将数据渲染到模板中. 问题:每次模板变更,模板对应的所有数据需要全部重新渲染大型电商网站的异步多级缓存 ...
基于hadoop的小红书电商网站用户行为分析系统毕业论文+任务书+开题报告+答辩PPT+知网查重报告+项目源码及Mysql数据
基于hadoop的小红书电商网站用户行为分析系统毕业论文+任务书+开题报告+答辩PPT+知网查重报告+项目源码及Mysql数据库-99源码网,程序代做,代写程序代码,代写编程,代写Java编程,代写p ...
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析本课程从Hadoop核心技术入手,以电商项目为依托,带领你从0基础开始上手,逐步掌握大数据核心技术(如:HDFS.YARN.MapRedu ...
接口做的好怎么形容_电商网站平台怎么做？
关于电商网站平台的开发问题,之前敖游已经分享了很多篇相关文章.电商网站平台怎么做?平台开发需要准备哪些资料?-- 这次我准备做一个总结性的发布.让准备做电商的朋友,看了这篇文章基本上可以找到想要的解决 ...
订单支付和评论——基于Django框架的天天生鲜电商网站项目系列博客（十五）
系列文章目录需求分析--基于Django框架的天天生鲜电商网站项目系列博客(一) 网站框架搭建--基于Django框架的天天生鲜电商网站项目系列博客(二) 用户注册模块--基于Django框架的天天 ...
Django项目之Web端电商网站的实战开发（一）
说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 项目源码下载目录一丶项目介绍二丶电商项目开发流程三丶项目需求四丶项目架构概览五丶项目数据库设计六丶项目框架搭建一丶 ...

项目实现：电商网站日志分析平台（二:采集日志数据）

项目实现：电商网站日志分析平台（二:采集日志数据）相关推荐

最新文章

热门文章