EFK（elk+kafka+filebeat+zookeeper）

环境：
centos7
192.168.10.130:jdk,zookeeper,kafka,filebeat，elasticsearch
192.168.10.131:jdk,zookeeper,kafka,logstash
192.168.10.132:jdk,zookeeper,kafka，kibana

1：时间同步

[root@localhost ~]# ntpdate pool.ntp.org

2：关闭防火墙

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce  0

3：修改主机名

[root@localhost ~]# hostnamectl set-hostname kafka1
[root@localhost ~]# hostnamectl set-hostname kafka2
[root@localhost ~]# hostnamectl set-hostname kafka3

4：修改hosts文件

192.168.32.153 kafka1
192.168.32.154 kafka2
192.168.32.155 kafka3

5：安装jdk

[root@kafka03 src]# rpm -ivh jdk-8u131-linux-x64_.rpm

6：安装zookeeper

[root@kafka01 src]# tar xzf zookeeper-3.4.14.tar.gz
mv zookeeper /usr/local/zookeeper

cd /usr/local/zookeeper/conf/
mv zoo_sample.cfg zoo.cfg

6: 编辑zoo.cfg

server.1=192.168.32.153:2888:3888
server.2=192.168.32.154:2888:3888
server.3=192.168.32.155:2888:3888

7:创建data目录

mkdir /tmp/zookeeper

8：配置myid

echo "1" > /tmp/zookeeper/myid
echo "2" > /tmp/zookeeper/myid
echo "3" > /tmp/zookeeper/myid

9：运行zk服务

/usr/local/zookeeper/bin/zkServer.sh start

10：查看zk的状态

[root@kafka03 conf]# /usr/local/zookeeper/bin/zkServer.sh status

一个leader
两个follower

11：安装kafka

 tar zxvf kafka_2.11-2.2.0.tgz mv kafka_2.11-2.2.0 /usr/local/kafka

12 ：编辑kafka配置文件

vim /usr/local/kafka/config/server.properties

broker.id=分别为0,1,2
advertised.listeners=PLAINTEXT://（主机名kafka01,kafka02,kafk03）:9092zookeeper.connect=192.168.32.153:2181,192.168.32.154:2181,192.168.32.155:2181

13:启动kafka

-daemon (引用配置文件)

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

验证：


netstat  -lptnu|grep 9092

tcp6       0      0 :::9092                 :::*                    LISTEN      9814/java

14：创建一个topic

[root@kafka01 logs]  /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.32.153:2181 --replication-factor 2 --partitions 3 --topic wg007 created topic wg007.

15：模拟生产者：

 /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.32.153:9092 --topic wg007

16：模拟消费者：

 /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.32.153:9092 --topic wg007 --from-beginning

16.2 查看当前的topic

[root@kafka02 bin] /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.32.153:2181

__consumer_offsets
msg
wg007

17:安装filebeat（收集日志的）

[root@kafka01 src]  rpm -ivh filebeat-6.8.12-x86_64.rpm

18：编辑filebeat.yaml

cd /etc/filebeatmv filebeat.yml filebeat.yml.bak

vim filebeat.yml

filebeat.inputs:
- type: logenabled: truepaths:- /var/log/messagesoutput.kafka:enabled: truehosts: ["192.168.32.153:9092","192.168.32.154:9092","192.168.32.155:9092"]topic: msg

systemctl start filebeat

19: 安装logstash

rpm -ivh logstash-6.6.0.rpmvim /etc/logstash/conf.d/msg.conf

input{kafka{bootstrap_servers => ["192.168.32.153:9092,192.168.32.154:9092,192.168.32.155:9092"]group_id => "logstash"topics => "msg"consumer_threads => 5}
}output{elasticsearch{hosts => "192.168.32.153:9200"index => "msg-%{+YYYY.MM.dd}"}
}

20：安装elasticsearch

rpm -ivh elas
vim /etc/elasticsearch/elas.yml

cluster.name: wg007
node.name: node-1
network.host: 192.168.32.153
http.port: 9200

21：安装kibana

rpm -ivh kibana-6.6.2-x86_64.rpm

server.port: 5601
.host: "192.168.32.155"
elasticsearch.hosts: ["http://192.168.32.153:9200"]

EFK入门从头到尾一条龙服务相关推荐

Anaconda详细安装教程(从头到尾一条龙服务，无需彷徨，图文详解！具详细！)
温馨提示: 刚刚入门的新手小白注意了,文件名最好养成用英文的习惯,很多软件不支持中文识别,会导致无法使用的情况,尤其是系统文件的命名,可以用英文和数字,不然对于刚刚入门的计算机系同学来说后期会有很多麻 ...
史上最细Maven一条龙服务（从0到飞起）
史上最细Maven一条龙服务(从0到飞起) Maven 的安装 Maven 软件的下载 Maven 软件的安装 Maven环境变量及 JDK 配置 Maven 软件版本测试 Maven 仓库 Mav ...
什么是婚礼一条龙服务及一站式服务
现代的婚礼市场是一个琳琅满目及鱼龙混杂的市场,面对庆典公司.礼仪服务公司.花坊.花店各种服务的店面,新人如何去选择,可以说是一个很大的难题.面对不了解的行业,新人往往是茫目的选择,或者是单面的选择, ...
NIO框架入门(一)：服务端基于Netty4的UDP双向通信Demo演示
2019独角兽企业重金招聘Python工程师标准>>> 前言 NIO框架的流行,使得开发大并发.高性能的互联网服务端成为可能.这其中最流行的无非就是MINA和Netty了,MINA目 ...
Axure RP8 下载、安装、破解、汉化一条龙服务
最近开始要画图,但是找了半天,感觉还是axure靠谱一点,做了一下攻略,然后找了半天资源.现在分享一下,分享的内容,包含axureRP8 的下载包,破解吗.汉化包.压缩包中,不仅含有windows版 ...
Spring Cloud入门-Sentinel实现服务限流、熔断与降级(Hoxton版本)
文章目录 Spring Cloud入门系列汇总摘要 Sentinel简介安装Sentinel控制台创建sentinel-service模块限流功能创建RateLimitController类 ...
创新创业想做电商？CRMEB 为你一条龙服务
文章目录 1. 遇见 CRMEB 2. CRMEB 介绍 3. 项目开源,优点很多 4. 轻松的部署 4.1 环境和工具安装 4.2 开源项目下载 4.3 WEB 管理端部署 4.4 Java 项目部 ...
来~打包实现小程序动态分享图一条龙服务( ¨̮ )
前一阵有完成在小程序内动态生成图片再进行分享的需求,是很常见的场景,因此我抽出了一个小工具CanvasPainter.js,囊括在小程序内canvas画图基本需求: 用配置形式绘图(暂支持单行及多行文 ...
U9 一条龙服务（SO-LRP-GreatMo-Dispatch）
U9 一条龙服务(SO-LRP-GreatMo-Dispatch) 先来说说场景,毕竟一切没有场景的二开都是耍流氓! 公司从接单到生产到交货周期比较短,基本上一接到客户订单就要准备料品,BOM,工艺, ...

EFK入门从头到尾一条龙服务

EFK（elk+kafka+filebeat+zookeeper）

systemctl start filebeat

EFK入门从头到尾一条龙服务相关推荐

最新文章

热门文章