开源实时日志分析ELK平台部署

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products

l  Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

l  Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

l  kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

工作原理如下如所示：

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

开源实时日志分析ELK平台部署流程：

（1）安装Logstash依赖包JDK

Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序，而不是开发，下载JRE即可。首先，在Oracle官方下载新版jre，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

可以看到提供了多种版本，下载时，选择适合自己机器运行环境的版本，我使用的是RHEL6.5 x86_64的操作系统，所以，下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。

1
#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

JDK的安装方式比较简单，只需将下载回来的程序包解压到相应的目录即可。

1
2
# mkdir /usr/local/java
# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

设置JDK的环境变量，如下：

1
2
3
4
# tail -3 ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

在Shell提示符中执行java –version命令，显示如下结果，说明安装成功：

1
2
3
4
# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)

（2）安装Logstash

下载并安装Logstash，安装logstash只需将它解压的对应目录即可，例如：/usr/local下：

1
2
# https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
# tar –zxf logstash-1.5.2.tar.gz -C /usr/local/

安装完成后运行如下命令：

1
2
3
4
# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
Hello World!
2015-07-15T03:28:56.938Z noc.vfast.com Hello World!

我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。

使用-e参数在命令行中指定配置是很常用的方式，不过如果需要配置更多设置则需要很长的内容。这种情况，我们首先创建一个简单的配置文件，并且指定logstash使用这个配置文件。例如：在logstash安装目录下创建一个“基本配置”测试文件logstash-test.conf，文件内容如下：

1
2
3
4
5
# cat logstash-simple.conf
input { stdin { } }
output {
   stdout { codec=> rubydebug }
}

Logstash使用input和output定义收集日志时的输入和输出的相关配置，本例中input定义了一个叫"stdin"的input，output定义一个叫"stdout"的output。无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符，其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。

使用logstash的-f参数来读取配置文件，执行如下开始进行测试：

1
2
3
4
5
6
7
8
9
10
11
# echo "`date`  hello World"
Thu Jul 16 04:06:48 CST 2015 hello World
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf
Logstash startup completed
Tue Jul 14 18:07:07 EDT 2015 hello World   #该行是执行echo “`date`hello World” 后输出的结果，直接粘贴到该位置
{
      "message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",
     "@version" => "1",
   "@timestamp" => "2015-07-14T22:07:28.284Z",
         "host" => "noc.vfast.com"
}

（3）安装Elasticsearch

下载Elasticsearch后，解压到对应的目录就完成Elasticsearch的安装。

1
# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/

启动Elasticsearch

1
# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

如果使用远程连接的Linux的方式并想后台运行elasticsearch执行如下命令：

1
# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &

确认elasticsearch的9200端口已监听，说明elasticsearch已成功运行

1
2
# netstat -anp |grep :9200
tcp        0      0 :::9200                     :::*                        LISTEN      3362/java

接下来我们在logstash安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf，该文件中定义了stdout和elasticsearch作为output，这样的“多重输出”即保证输出结果显示到屏幕上，同时也输出到elastisearch中。

1
2
3
4
5
6
# cat logstash-es-simple.conf
input { stdin { } }
output {
   elasticsearch {host => "localhost" }
   stdout { codec=> rubydebug }
}

执行如下命令

1
2
3
4
5
6
7
8
9
10
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
… …
Logstash startup completed
hello logstash
{
      "message" => "hello logstash",
     "@version" => "1",
   "@timestamp" => "2015-07-15T18:12:00.450Z",
         "host" => "noc.vfast.com"
}

我们可以使用curl命令发送请求来查看ES是否接收到了数据：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# curl 'http://localhost:9200/_search?pretty'
返回结果
{
  "took": 58,
 "timed_out" : false,
 "_shards" : {
   "total" : 5,
   "successful" : 5,
   "failed" : 0
  },
  "hits": {
   "total" : 1,
   "max_score" : 1.0,
   "hits" : [ {
     "_index" : "logstash-2015.07.15",
     "_type" : "logs",
     "_id" : "AU6TWiixxDXYhySMyTkP",
     "_score" : 1.0,
     "_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}
    } ]
  }
}

至此，你已经成功利用Elasticsearch和Logstash来收集日志数据了。

（4）安装elasticsearch插件

Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：

1
2
# cd /usr/local/elasticsearch-1.6.0/
# ./plugin -install lmenezes/elasticsearch-kopf

安装完成后在plugins目录下可以看到kopf

1
2
# ls plugins/
kopf

在浏览器访问http://10.1.1.188:9200/_plugin/kopf浏览保存在Elasticsearch中的数据，如下所示：

（5）安装Kibana

下载kibana后，解压到对应的目录就完成kibana的安装

1
# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

启动kibana

1
# /usr/local/kibana-4.1.1-linux-x64/bin/kibana

使用http://kibanaServerIP：5601访问Kibana，登录后，首先，配置一个索引，默认，Kibana的数据被指向Elasticsearch，使用默认的logstash-*的索引名称，并且是基于时间的，点击“Create”即可。                     

看到如下界面说明索引创建完成。

点击“Discover”，可以搜索和浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据。可以自定义选择时间。

      到此，说明你的ELK平台安装部署完成。

（6）配置logstash作为Indexer

将logstash配置为索引器，并将logstash的日志数据存储到Elasticsearch，本范例主要是索引本地系统日志。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# cat /usr/local/logstash-1.5.2/logstash-indexer.conf
input {
  file {
    type =>"syslog"
     path => ["/var/log/messages", "/var/log/syslog" ]
  }
  syslog {
    type =>"syslog"
    port =>"5544"
  }
}
output {
  stdout { codec=> rubydebug }
  elasticsearch {host => "localhost" }
}
# /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf

使用echo命令模拟写入日志，命令执行后看到如下图的信息

1
# echo "`date` 优衣库视频" >>/var/log/messages

刷新kibana，发现最新的测试数据显示到浏览器中，如下图所示：

到此，ELK平台部署和基本的测试已完成。

http://www.tuicool.com/articles/YR7RRr

http://baidu.blog.51cto.com/71938/1676798

Logstash agent或log4j socket appender或ibeats

开源实时日志分析ELK平台部署相关推荐

  1. 开源实时日志分析ELK

    开源实时日志分析ELK 2018-01-04 转自:开源实时日志分析ELK平台部署 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错 ...

  2. 日志分析ELK平台部署第一节

    很多培训机构喜欢把一些简单的开源软件弄一个很大的噱头,比如今天跟大家分享的ELK部署,就是一个简单的开源软件,跟zabbix一样都是开源,只是功能不同,哦对了,他们把zabbix叫企业级项目实战之50 ...

  3. 开源实时日志分析平台—ELK

    ELK简介 什么是日志 日志就是程序产生的,遵循一定格式(通常包含时间戳)的文本数据. 通常日志由服务器生成,输出到不同的文件中,一般会有系统日志. 应用日志.安全日志.这些日志分散地存储在不同的机器 ...

  4. ELK实时日志分析平台环境部署--完整记录

    在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...

  5. ELK(ElasticSearch, Logstash, Kibana)实时日志分析平台部署

    开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成.官方网站:https://www.elastic.co/p ...

  6. ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

    ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自: http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志. ...

  7. ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平

    ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应 ...

  8. 企业日志分析ELK(Logstash+Elasticsearch+Kibana)介绍及搭建

    目录 一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤 二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.分片和副本 三.LogStash概述 1. ...

  9. asp.net core结合NLog搭建ELK实时日志分析平台

    0.整体架构 整体架构目录:ASP.NET Core分布式项目实战-目录 一.介绍ELK 1.说明(此篇ELK采用rpm的方式安装在服务器上)-牛刀小试 承接上一篇文章的内容准备部署ELK来展示asp ...

最新文章

  1. IOS15打包动态库
  2. python函数拟合不规则曲线_python曲线拟合
  3. 二改注册登录版素材代下载搜索引擎系统源码，自带火车头采集
  4. spring学习笔记四（注入Bean属性）
  5. C++STL优先队列小根堆大根堆自定义的应用
  6. python 继承与多态
  7. Portable SharpDevelop(PSD):便携的DotNet集成开发环境
  8. ASCII,UTF-8,GBK编码简介
  9. python实现银行ATM系统
  10. 杭电OJ刷题指南（ACM）
  11. 使用财务系统所用到的会计基础知识（一）
  12. @SuppressWarnings注解用法详解
  13. 浅谈微信活码架构及其简易实现
  14. Python requests HTTP验证登录实现流程
  15. android 原生请求权限代码
  16. Nginx 指定域名（或子域名）和网站绑定
  17. 中国人民公安大学 网络对抗技术 15网安六区 杨益 201521460031
  18. 《数学建模与数学实验》第5版 数据的统计描述 习题8.7
  19. 网络三巨头：腾讯，阿里巴巴和百度
  20. @Test注解没法运行，解决方法

热门文章

  1. 第五章：iptables应用案例分析（代理服务器上设置iptables）
  2. “懒宅经济”下小家电产品市场需求热度居高不下，你拿什么保持海外市场竞争力？
  3. ORA-01103: database name 'ORCLDG' in control file is not 'ORCL'
  4. 程序员，你如此不解风情，就不要怪女神不要你！
  5. 粘滞位权限与文件保护
  6. html加拼音注释,小学必背古诗80首+带拼音(注释彩打版)（31页）-原创力文档
  7. android10蓝牙搜不到ble设备_Android 蓝牙搜索不到设备（android M权限问题）
  8. 模块(import语句,from...import语句,_name_属性)
  9. 电力系统 | 信息间隙决策理论 / (理论讲解)
  10. SpringMVC基础知识2