利用 ELK 搭建 Docker 容器化应用日志中心
概述
应用一旦容器化以后,需要考虑的就是如何采集位于 Docker 容器中的应用程序的打印日志供运维分析。典型的比如SpringBoot应用的日志收集。
本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对日志进行查询与分析,其架构如下图所示:
架构图
镜像准备
ElasticSearch镜像
Logstash镜像
Kibana镜像
Nginx镜像(作为容器化应用来生产日志)
开启Linux系统Rsyslog服务
修改Rsyslog服务配置文件:
vim /etc/rsyslog.conf
开启下面三个参数:
$ModLoad imtcp
$InputTCPServerRun 514
*.* @@localhost:4560
开启3个参数
意图很简单:让Rsyslog加载imtcp模块并监听514端口,然后将Rsyslog中收集的数据转发到本地4560端口!
然后重启Rsyslog服务:
systemctl restart rsyslog
查看rsyslog启动状态:
netstat -tnl
部署ElasticSearch服务
docker run -d -p 9200:9200 \ -v ~/elasticsearch/data:/usr/share/elasticsearch/data \ --name elasticsearch elasticsearch
部署Logstash服务
添加 ~/logstash/logstash.conf 配置文件如下:
input { syslog {type => "rsyslog" port => 4560 }}
output { elasticsearch {hosts => [ "elasticsearch:9200" ] }}
配置中我们让Logstash从本地的Rsyslog服务中取出应用日志数据,然后转发到ElasticSearch数据库中!
配置完成以后,可以通过如下命令来启动Logstash容器:
docker run -d -p 4560:4560 \-v ~/logstash/logstash.conf:/etc/logstash.conf \--link elasticsearch:elasticsearch \--name logstash logstash \logstash -f /etc/logstash.conf
部署Kibana服务
docker run -d -p 5601:5601 \--link elasticsearch:elasticsearch \-e ELASTICSEARCH_URL=http://elasticsearch:9200 \--name kibana kibana
启动nginx容器来生产日志
docker run -d -p 90:80 --log-driver syslog --log-opt \syslog-address=tcp://localhost:514 \--log-opt tag="nginx" --name nginx nginx
很明显Docker容器中的Nginx应用日志转发到本地syslog服务中,然后由syslog服务将数据转给Logstash进行收集。
至此,日志中心搭建完毕,目前一共四个容器在工作:
实验验证
浏览器打开 localhost:90 来打开Nginx界面,并刷新几次,让后台产生GET请求的日志
打开 Kibana 可视化界面:localhost:5601
收集 Nginx 应用日志
查询应用日志
在查询框中输入program=nginx可查询出特定日志
查询应用日志
福利时间:
《深入浅出Docker》
作者:【英】Nigel Poulton(奈吉尔 波尔顿)
扫描二维码,一键购买
本书作者Nigel Poulton,亚马逊畅销图书作者,存储专家,Docker技术先驱。Nigel有丰富的运维技术经验,著有多部容器相关的图书,并开设了视频培训课程,在业界有非常大的影响力。
《深入浅出Docker》由Docker概览和Docker技术两部分组成,遵循简介—详解—命令的章节布局,全面系统地剖析Docker的基本原理与实践应用。清晰详细的操作步骤结合大量的实际代码,为读者切实入门Docker保驾护航。
送书规则:
1、仅限公众号读者参加,截止时间2019年4月13日12:00
2、留言分享你在学习docker容器、或需要此书的理由,精选留言点赞前2名各送出一本,刷赞或短时间内爆涨的无效,随时抽查。
3、在精选留言中随机抽出最走心的留言的2名读者,各送出一本。
4、在精选留言中随机抽出一直支持、关注公众号的读者2名,各送出一本。
5、请中奖者于一个工作日内与民工哥联系(微信ken_chu1985),发送具体收货地址,逾期视为自动放弃。
- MORE | 往期精彩文章 -
大型 IT 公司如何防止运维偷窥和篡改数据
浏览器缓存的这些知识点你都清楚吗?
腾讯云:光纤挖断后的150秒
又多了13个新职业!某东员工吐槽:太恶心了
CPU 利用率背后的真相,只有 1% 人知道
如果你喜欢本文
请长按二维码关注民工哥技术之路
转发朋友圈,是对我最大的支持。
扫码加群交流
点击【阅读原文】公众号所有的精华都在这
在看的读者,请点这里↓↓↓
利用 ELK 搭建 Docker 容器化应用日志中心相关推荐
- 利用TICK搭建Docker容器可视化监控中心
概述 性能监控是容器服务必不可少的基础设施,容器化应用运行于宿主机上,我们需要知道该容器的运行情况,包括 CPU使用率.内存占用.网络状况以及磁盘空间等等一系列信息.在我的前文<Docker容器 ...
- go环境搭建_容器化 Go 开发环境的尝试
Go语言中文网,致力于每日分享编码知识,欢迎关注我,会有意想不到的收获! 01 写在前面 昨天上午"起早"到附近的影院看<波西米亚狂想曲>,选的座位比较靠前,最后的二十 ...
- Docker容器化技术教程,24小时快速入门
Docker介绍 Docker简介和安装 Docker是什么 为什么使用Docker 和普通虚拟机的对比 打包.分发.部署 小结 Docker部署的优势 Docker通常用来做什么 重要概念:镜像.容 ...
- 一套标准的ASP.NET Core容器化应用日志收集分析方案
点击上方蓝字 给一个关注吧 讲故事 关注我公众号的朋友,应该知道我写了一些云原生应用日志收集和分析相关的文章,其中内容大多聚焦某个具体的组件: 超级有用的TraceId,快点用起来吧! 如何利用NLo ...
- Kubernetes集群搭建及容器化部署
Kubernetes集群搭建及容器化部署 目录 一.k8s 集群部署 2 1.k8s 快速入门 2 2.k8s 集群安装 10 二.k8s 容器化部署 18 1.Kubectl命令行部署 18 2.K ...
- Docker 容器化部署
文章目录 思维导图 概念 安装(基于 centos7) 结构 Docker 命令 进程(daemon)相关命令 镜像(image)相关命令 容器(container))相关命令 数据卷 数据卷容器 d ...
- 悟空CRM11.0 PHP版本docker容器化部署全流程
由于本地服务器为PHP5.3,项目部署需要PHP >= 7.0.*,所以选择docker容器化部署,服务器系统为centos7.3,所有的sql文件都在项目路径 public/sql下 目录 一 ...
- 【Microsoft Azure 的1024种玩法】六十八.基于Azure云平台使用Azure Virtual machines快速搭建Docker容器
[简介] Docker 是一个开放源代码软件,主要应用于开发应用.交付应用.运行应用,Docker 可以将应用程序及其依赖项打包到可以在任何 Linux.Windows 或 macOS 计算机上运行的 ...
- Docker容器化部署config-server无法直接访问
Docker容器化部署config-server无法直接访问 1. 本机ip启动方式: 2. Docker容器启动 1)问题 2)解决办法 - 本机启动 - 服务器启动俩种方式 3. dockerfi ...
最新文章
- linux中设置程序开机自动启动
- Windows核心编程 第九章 线程与内核对象的同步(下)
- Spring Cloud【Finchley】-07Feign构造多参数GET/POST请求
- Python果然不得了,数独都能轻松解决?python秒解数独了解下?
- Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?
- Mono for Android 对话框 倒计时
- redis客户端连接数量_实战解析无所不知的Redis拓展应用——Info,进阶学习,无所不能...
- CF1444C Team-Building(可持久化并查集)(二分图)
- python语言编写一个生成九宫格图片的代码_python实现图片九宫格分割
- SQLite3中的数据类型
- B站校招面试官“炫耀资产、贬低应试者”?当事人发长文回应,北邮学子要求向学校道歉...
- Linux 系统文件及结构
- 一个完整的性能测试流程
- 歌曲从DTS转换为MP3的方法
- 笔记本电脑分区后怎么恢复?3个方法
- android app启动动画效果,Android 启动页优化及过渡动画
- 判断自定义异形view的点击事件是否在绘制区域内
- 买天文望远镜必看——已知望远镜焦距、相机画幅,求视场(附代码,实时更新)
- android逆向知乎,Android逆向之路---为什么从后台切换回app又显示广告了
- Android开发——适配终结者AutoLayout
热门文章
- linux连接小米路由器ssh,小米路由器配置ssh登入方法
- iOS tintColor与backgroundColor的区别
- 投稿[1]-SCI投稿之CRediT author statement
- 光猫桥接后如何连接光猫页面
- Google Earth Engine(GEE)——Landsat SR影像去云函数
- OfficeClickToRun.exe禁了后word就打不开了
- 超级好用的工作文本记录软件
- 推广新网站的八种有效方法
- 2021-11-09 C++封装继承多态---继承语法、多态语法、文件操作(附代码理解)
- 京成一品教你辨识骗子创业加盟店(转载)