[elk]kafka_elk
kafka
https://www.tutorialspoint.com/apache_kafka/apache_kafka_cluster_architecture.htm
https://dzone.com/articles/kafka-architecture
https://leokongwq.github.io/2017/02/06/mq-kafka-tutorial.html
在上图中一个topic被配置为拥有3个分区,
分区1包含两个偏移因子0和1。
分区2包含4个偏移因子0, 1, 2 和 3。
分区3包含1个偏移因子0。
分区副本的id和该副本所在的broker的id一致。
http://www.imooc.com/article/29209#
由两个机器组成的集群拥有4个分区 (P0-P3) 2个consumer组. A组有两个consumerB组有4个
细节注意点
/usr/local/zookeeper/bin/zkServer.sh status/usr/local/zookeeper/bin/zkCli.sh -server 192.168.56.11:2181
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties#/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & #此方式zookeeper会在shell断开后关闭/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 --partitions 3 --replication-factor 3 --topic logstashtest/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 --topic logstashtest状态说明:logstashtest有三个分区分别为1、2、3,分区0的leader是3(broker.id),分区0有三个副本,并且状态都为lsr(ln-sync,表示可以参加选举成为leader)。
[root@linux-host1 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
cluster.name: ELK-Cluster #ELK的集群名称,名称相同即属于是同一个集群
node.name: elk-node1 #本机在集群内的节点名称
path.data: /elk/data #数据保存目录
path.logs: /elk/logs #日志保存目
bootstrap.memory_lock: true #服务启动的时候锁定足够的内存,防止数据写入swap
network.host: 0.0.0.0 #监听IP
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.56.11", "192.168.56.12"]
1.3.3:修改内存限制,并同步配置文件:
[root@linux-host1 ~]# vim /usr/lib/systemd/system/elasticsearch.service #修改内存限制
LimitMEMLOCK=infinity #去掉注释,可以最大化使用内存
[root@linux-host1 ~]# vim /etc/elasticsearch/jvm.options
22 -Xms2g
23 -Xmx2g #最小和最大内存限制,为什么最小和最大设置一样大?
https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
#官方配置文档最大建议30G以内。curl –sXGET http://192.168.56.11:9200/_cluster/health?pretty=true
测试获取topic:
可以在任意一台kafka服务器进行测试:
[root@linux-host3 ~]# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181 --topic logstashtest
状态说明:logstashtest有三个分区分别为1、2、3,分区0的leader是3(broker.id),分区0有三个副本,并且状态都为lsr(ln-sync,表示可以参加选举成为leader)。
[elk]kafka_elk相关推荐
- 2021年大数据ELK(二十八):制作Dashboard
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 制作Dashboard 一.点击第三个组件图标,并创建一个新的Dashboar ...
- 2021年大数据ELK(二十七):数据可视化(Visualize)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 数据可视化(Visualize) 一.数据可视化的类型 二.以饼图展示404与 ...
- 2021年大数据ELK(二十六):探索数据(Discovery)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 探索数据(Discovery) 一.使用探索数据功能 二.导入更多的Apach ...
- 2021年大数据ELK(二十五):添加Elasticsearch数据源
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 添加Elasticsearch数据源 一.Kibana索引模式 添加Elast ...
- 2021年大数据ELK(二十四):安装Kibana
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 安装Kibana 在Linux下安装Kibana,可以使用Elastic stack ...
- 2021年大数据ELK(二十三):Kibana简介
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. Kibana简介 通过上面的这张图就可以看到,Kibana可以用来展示丰富的图表. ...
- 2021年大数据ELK(二十二):采集Apache Web服务器日志
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 采集Apache Web服务器日志 一.需求 二.准备日志数据 三.使用Fil ...
- 2021年大数据ELK(二十一):Logstash简介和安装
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Logstash简介和安装 一.简介 1.经典架构 2.对比Flume 3.对 ...
- 2021年大数据ELK(二十):FileBeat是如何工作的
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 FileBeat是如何工作的 一.input和harvester 1.inpu ...
最新文章
- 曾是谷歌程序员,抛下百万年薪创业,4 年成就 7 亿用户,今身价百亿!
- Android之如何以最简单方式开启闪光灯
- Java面试宝典系列之面试复习提纲
- A-Night at the Museum 水题
- oracle数据基本操作,Oracle数据库基本操作
- paip.httpd.conf 是空的.txt
- 【Scratch】进阶篇-《Scratch游戏开发》恐龙跳一跳
- jflash添加芯片_Jflash用于烧录
- cesium添加单张图片
- 转载:【菜鸟专用】使用LaTeX轻松撰写精美个人简历
- Postaman 报错:Could not get the lock, quitting
- Geoserver中引用多个图层
- 如何更快地渲染?深入了解3D渲染性能的指南!(5)
- 产品管理精华:第三,需求调研,从用户出发
- Base64 和 MD5 加密
- flutter gridview item 有空隙
- 解决H5视频(video)音频(audio)不兼容IE8的问题
- 音响Dolby与DTS区别
- uniapp里获取验证码
- backtrack5的安装配置
热门文章
- 华为等向联合国提议重构互联网:提议采用一种新的核心网络技术新标准,名为“New IP”...
- 深度学习不能取代计算机视觉技术背后的真正原因
- 从观望到行动:全球工业物联网市场生态全景观察
- 埃森哲:技术改变看病的五大趋势!每个人都将受益【附下载】| 智东西内参...
- 乔布斯诞辰67周年,他的这些思想仍值得我们学习
- 吐血整理:手拿几个大厂 Offer 的秘密武器!
- 程序员看过来!JS、Java、C 依然强势,Go、Kotlin、Python 潜力股,2020 开发者生态系统报告
- 【Rocket MQ】RocketMQ4.2.0 和 spring boot的结合使用,实现分布式事务
- 在vue-cli创建的项目里配置scss
- 网易2017春招笔试真题编程题集合(2)——赶去公司