ELK-1-ELK简介
一,ELK简介
ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats,它是一个轻量级的日志收集处理工具(Agent),Beats占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具,目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack,Elastic Stack包含:
Elasticsearch:是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。(存储,查询)详细可参考Elasticsearch权威指南
Logstash :主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。(日志收集,过滤,筛选)
Kibana: 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。(提供界面查询日志)
每个工具的核心作用,上面用红色的字体标识出来了。
二,为什么使用ELK
上面看了ELK的简介,有发现ELK的作用吗?我们为什么要使用ELK了?其实最主要的作用就是为了快速方便根据日志来查询需要数据,定位和分析问题。
假如一个公司有多个系统,比如,10个,20个,100个...........,然后用户反馈出现了问题,你如何去定位问题了。如果只有几个系统,你又有权限,完全可以到生产服务器去看日志,然后定位问题,但是也存在一个问题日志文件那么多,你如何从中找到你需求的信息,这是第一个问题。
还是上面的假如,说少一点,如果有几十上百个系统,可能系统还存在分布式部署,集群部署,那么你又该如何找到对应的机器,拿到你所需要的日志。如果从众多系统众多机器中拿到所需要的日志,这是第二个问题。
大部分注重安全的公司,生产服务器的日志不是谁都能拿的,需要一定的权限,或者找相关的人才能拿到,每次如果出问题了,你到处找人拿日志,然后一个系统一个系统去定位,一台机器一台机器拿日志,我想你不嫌麻烦,给你拿日志的人也被你烦死了。传统查看日志定位问题的效率低,费力,这就是第三个问题。
在用户少,数据量少的时候,我们可能都是把系统的日志打印在服务器本地,出问题了,就像上面一样去服务器拿日志然后定位问题,如果系统存在集群的情况,定位问题又变麻烦些了。所以有没有办法把不同机器,不同系统的日志都统一收集起来,然后通过一个地方去查询呢?这样的话,如果出了问题,不需要到机器拿日志查看,直接在那个地方查询某个系统的日志就行了,提升了效率,节约了成本。
ELK就是一种解决上面三个问题的一种方式。使用logstash(felibeat)客户端收集日志,然后汇总到logstash进行筛选,过滤,然后写入Elasticsearch中,最后通过Kibana提供的界面来查询日志。
ELK的简介就介绍到这里,后面的博文会介绍ELK相关的安装,使用,各个软件相关的协助,怎么串联起来。
ELK-1-ELK简介相关推荐
- 1. ELK 之elasticsearch 简介、获取、安装
简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Ap ...
- 【ELK】ELK安装与配置
一.ELK体系结构 二.系统环境变量 [主机信息] IP 主机名 操作系统版本 10.10.10.102 console CentOS7.5 10.10.10.103 log1 CentOS7.510 ...
- 【可观测之ELK】elk+logback+redis 搭建日志平台
日志平台背景: 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间. ...
- 【ELK】ELK菜鸟手记 (一) 环境配置+log4j日志记录——转自Master HaKu
感谢Master HaKu的分享,博客园的账号忘了,文章里面有原文链接,尊重原创 ELK菜鸟手记 (一) 环境配置+log4j日志记录 - Master HaKu - 博客园 Master HaKu ...
- ELK入门——ELK详细介绍(ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍)
目录 主要参考链接 一.什么是ELK(端口9200) 主要特点: 1.存储:面向文档+JSON 2.检索:倒排+乐观锁 3.分析:监控+预警+可视化 4.支持集群 二.Logstash(端口5044) ...
- 【ELK】ELK集群搭建(ElasticSearch Logstash Kinaba)
1. Logstash 1.1 安装 注:安装在需要收集日志的机器上. cd /data/softs sudo wget https://download.elastic.co/logstash/lo ...
- .NET下日志系统的搭建——log4net+kafka+elk
.NET下日志系统的搭建--log4net+kafka+elk 前言 我们公司的程序日志之前都是采用log4net记录文件日志的方式(有关log4net的简单使用可以看我另一篇博客),但是随着后来我们 ...
- ELK收集日志到mysql数据库
场景需求 在使用ELK对日志进行收集的时候,如果需要对数据进行存档,可以考虑使用数据库的方式.为了便于查询,可以同时写一份数据到Elasticsearch 中. 环境准备 CentOS7系统: 192 ...
- Docker ElK安装部署使用教程
Docker ElK安装部署使用教程 原文:Docker ElK安装部署使用教程 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elast ...
- ELK日志分析平台.1-搭建
ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elas ...
最新文章
- linux内网机器访问外网代理设置squid
- wpf采用Xps实现文档显示、套打功能
- 算法---------括号生成
- 吴恩达 coursera AI 专项五第一课(下)总结+作业答案
- 减小Delphi xe系列生成的exe文件大小
- IT运维服务管理问题总结 #F#
- java int字母,从Java中获取int,也包含字母
- 7 CO配置-控制-一般控制-维护版本
- java7教程_Java 7基础教程:掌握Java 7的理想起点
- sping boot demo解释
- HTML5——锚点链接
- Mac没有winnt格式_Mac视频格式转换工具-H265 Converter Pro
- 火影忍者 动漫 全集目录 分章节 精彩打斗剧集 思维导图整理
- idea一顿切换分之后编译项目提示找不到其他分支类的解决办法~
- Python爬虫 | 2008-2018年各省专利统计数据
- PyTorch(Python)训练MNIST模型移动端IOS上使用Swift实时数字识别
- 你不能只会flex居中布局,精制动画讲解所有flex布局方式,通俗易懂教程
- idea激活码?学生如何白嫖使用idea?
- PowerShell对象的批处理方法
- 基于Echarts的销售企业经营数据分析-散点图
热门文章
- 【Unity3D日常开发】自动寻路系统Navigation实现人物上楼梯、走斜坡、攀爬、跳跃
- FREERPD android客户端编译
- c语言中中括号的作用,括号的拼音,c语言中中括号什么意思?[ ]?
- jenkins创建新用户_JENKINS安装及新建用户,权限配置
- 香港金管局正式推出区块链贸易融资技术平台“贸易联动”
- 【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)
- 产品经理的愚人节专属福利,Axure案例免费下载
- 安卓辅助功能无障碍实现app自动化操作
- 麒麟820和980哪个好-麒麟820和980差距有多大
- stm32的引脚wakeup有什么作用