生产环境Docker部署ELK跨区访问kafka不通问题的解决
由于分布式系统的日志集中采集的需求非常强烈,我们组通过调研和实践搭建了一套基于Docker的日志收集系统Amethyst。
我们首先在测试环境搭建了一套基于Docker swarm集群的ELK分布式环境。
测试云
docker swarm 配置:
[elastic@host-10-191-51-44 ~]$ docker node ls ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION qjdc5dhfauxz9b6bxlj12k0b4 * host-10-191-51-44 Ready Active Reachable 18.09.4 sn0uy2i8rwfpk1z8jjwkmb3un host-10-191-51-45 Ready Active Reachable 18.09.4 rjsxhmbrstpxadw9vc4rzbc4e host-10-191-51-46 Ready Active Leader 18.09.4 xl24brlx3b6r1r9bm22nl3s95 host-10-191-51-47 Ready Active 18.09.4
四台linux主机配置各为:
Kernel Version: 3.10.0-327.el7.x86_64 Operating System: CentOS Linux 7 (Core) OSType: linux Architecture: x86_64 CPUs: 8 Total Memory: 15.51GiB
Docker swarm service包括
NAME SERVICES ORCHESTRATOR es 4 Swarm kafka 3 Swarm kibana 1 Swarm log 1 Swarm zk 3 Swarm
五种service关系如下图所示:
Filebeat主机和Amethyst处于同一个测试网网段,ip地址直接可以连接,状态一切正常,kibana里可以看见测试数据,所以我们测试两个月后便准备投入生产,从此记录从评审开始遇到的主要问题。
评审阶段:
关键词:网络如何限流
解决办法:kafka consumer配额,Filebeat的压力感知功能可以在kafka限流时降低自身发送日志的速率。
参考 https://www.cnblogs.com/huxi2b/p/8609453.html
也考虑过使用容器tc限流,但是发现tc只能对输出流量做限制,故放弃。
第一次发布:
关键词:1) filebeat 跨区跨防火墙连接kafka IP地址不通.
2) docker程序所属用户为manag
问题1:由于kafka的三个IP地址做了NAT映射,filebeat 中配置连接IP为kafka映射后的地址,连接kafka时,kafka会返回给filebeat注册到zookeeper的对外地址,也就是KAFKA_ADVERTISED_LISTENERS;这里出现一个问题:1)当我们把kafka集群中的KAFKA_ADVERTISED_LISTENERS配置为映射前地址,kafka集群状态正常但是,filebeat连接时会收到kafka返回的映射前地址,所以filebeat无法连接,导致i/o wait。2)当我们把kafka集群中的KAFKA_ADVERTISED_LISTENERS配置为映射后地址,会导致KAFKA集群之间无法通讯,从而集群状态异常。
解决办法:
网络通讯不使用IP地址的方式,通过主机名和/etc/hosts映射的方式通讯,当把KAFKA_ADVERTISED_LISTENERS配置为主机名后,kafka返回给filebeat的地址就是hostname:port,这里只要在Filebeat主机中在/etc/hosts 添加映射后的IP和hostname关系便可以让filebeat获得hostname后依然可以找到映射地址。
问题2:这是因为我们通过Docker启动进程时,默认会指定进程的uid为1000,而生产环境上uid=1000的用户正是manage用户,故docker启动的进程显示为manage所属。
解决办法:可以通过在docker swarm stack配置文件中指定服务uid来限定docker进程的名称。
第二次发布:
关键词:1) kafka集群状态异常导致
问题1: 当把kafka配置的KAFKA_ADVERTISED_LISTENERS修改为hostname后,发现各主机用hostname之间无法ping通,而在测试网中尝试均可以通过hostname ping通(后面了解应该是测试云的openstack内置的dns解析可以在openstack虚拟机外部解析hostname),这里想当然的修改elk集群中的/etc/hosts 各IP和主机映射;这时启动kafka集群状态还是异常。在尝试在物理机上部署kafka后,集群状态就正常了;正准备让logstash从kafka里消费数据时发现logstash也无法读取kafka配置文件中的hostname,这里想到其实最初在kafka集群中添加/etc/hosts的操作应该是在各Docker内部完成!此时配置uid=“0”,启动kafka_stack和logstash_stack,在容器内部添加/etc/hosts条目。
解决办法:在kafka和logstash内部添加/etc/hosts条目。
研究方向:
kafka通讯机制
docker的uid机制
转载于:https://www.cnblogs.com/lirunzhou/p/11012105.html
生产环境Docker部署ELK跨区访问kafka不通问题的解决相关推荐
- docker java 中文乱码_java使用awt包在生产环境docker部署时出现中文乱码的处理
描述: 有一个业务是需要后台生成图片,后台使用了Graphics2D类.在docker部署时,图片上的中文变成方块. 解决方案: 百度了一下,发现是生产上的docker容器下没有中文字体,需要在容器里 ...
- 被一位读者赶超,手摸手 Docker 部署 ELK Stack
被一位读者赶超,容器化部署 ELK Stack 你好,我是悟空. 被奇幻"催更" 最近有个读者,他叫"老王",外号"茴香豆泡酒",找我崔更 ...
- 【转】在生产环境中部署前端代码
在生产环境中部署前端代码 本文章前端代码是基于vue+webpack开发的 Nginx是一款轻量级的Web 服务器/反向代理服务器 首先,webpack配置如下 在开发过程中,我们是通过npm run ...
- 你知道怎么在生产环境下部署tomcat吗?
享学课堂特邀作者:老顾 转载请声明出处! 一.前言 小伙伴们在网上看到的很多文章,都是对tomcat的一些介绍,什么配置啊,怎么启动.其实在生产环境中怎么部署,和网上介绍的有很大区别.这篇文章老顾就带 ...
- 开源J2EE项目Zheng环境Docker部署
摘要:开源项目Zheng的部署环境十分复杂,虽然官方提到只需要10分钟就可以完成部署,但是涉及到多达6种依赖服务的安装和配置,十分繁琐.所以本文将使用docker对该项目的环境进行配置.目前第一部是将 ...
- docker部署ELK
docker部署ELK 文件目录结构 docker-compose.yml 文件 elasticsearch.yml kibana.yml logstash.yml logstash.conf fil ...
- Docker 部署ELK 日志分析
Docker 部署ELK 日志分析 elk集成镜像包 名字是 sebp/elk 安装 docke.启动 yum install docke service docker start Docker至少得 ...
- Tomcat学习总结(8)——Tomcat+Nginx集群解决均衡负载及生产环境热部署
近日,为解决生产环境热部署问题,决定在服务器中增加一个tomcat组成集群,利用集群解决热部署问题.
- Kubernetes 生产环境安装部署 基于 Kubernetes v1.14.0 之 etcd集群
说明:没有明确注明在某台服务器,都是在k8s-operation 工作服务器完成 K8S node 节点数大于2000 节点 k8s-operation 目录规划,工作目录/apps/work/k8s ...
最新文章
- GFStableList Adapter
- 关于Android中的onCreate()多次被调用导致bindService被多次调用的问题...
- 手动安装sys驱动文件_海龙工具的正确安装及卸载方法,自己动手丰衣足食
- 写一个脚本定时自动备份mysql到指定目录
- 10 个 GitHub 上最火的程序员简历项目,2021 金三银四必备!
- 【线性变换/矩阵及乘法】- 图解线性代数 03
- 获取进程列表和结束进程
- SQLite 的日期时间函数
- JavaScript:instanceof 实现原理
- 深入理解原型和原型链
- CTF [网络安全实验室] [脚本关]
- vue设置页面取消滚动和可以滚动
- java 步长_java设定窗口步长,依次统计窗口内数值总和
- skynet框架应用 (十四) 登录服务
- 移动端-安卓-接口测试简介
- 西游记研究之五:巨人的角逐
- 短语、直接短语、句柄、素短语
- 如何从零开始搭建自己的博客(通俗易懂)
- FairGuard anti-cheat 反外挂方案解析
- 美图M8美战版、椰子鞋等潮品被疯抢是一种怎样的消费观?
热门文章
- 测试面试常见面试题汇总一
- Python scapy抓取网卡中的数据包
- 集训第一周 Linux
- Pancake光机普及 VR终端瘦身
- 【企业微信】企业微信开发整理(私有化部署企业微信 / 普通企业微信)
- Apple A2289 820-01987图纸下载
- 大屏 android 平板,IDC:平板遭遇大屏电话冲击,Android 统治市场
- python包裹和运费_关于Python中包裹传参和解包裹的理解
- 腾讯企点 for Mac(办公协同软件)中文免费版
- centos 6.7安装mysql_Linux(CentOS6.7) 安装MySql5.7数据库