springcloud搭建elk日志管理

对于java项目查看日志方法很多，由于项目需要，查看日志需要命令查看，为方便后端开发人员查看错误日志，项目要求搭建elk日志管理

此次是springcloud搭建elk，spirngboot亦可如此

elk ：是elasticsearch(存储日志数据），logstash(收集日志) ，kibana(显示日志数据)的缩写

首先得安装这三个软件，下载地址：

开源搜索：Elasticsearch、ELK Stack 和 Kibana 的开发者 | Elastic

1.启动elastcsearch:

elasticsearch下载解压，然后找到bin目录下的（windows下）elasticsearch.bat启动，默认端口9200无需修改 linux环境下启动需要新建用户，然后用新用户cd到bin目录下，然后用 ./elasticsearch & 命令启动。

启动成功访问 htttp://ip:9200 如图代表成功

2.启动kibana:

kibana下载解压

（windows环境下）修改 config下的kibana.yml文件如图:打开kibana链接es的地址保存

然后进入bin目录点击kibana.bat启动

linux环境下同样修改kibana.yml文件，然后用新用户cd到bin目录下，用 ./kibana &命令启动

启动成功访问 http://ip:5601 如图

3.配置logstash日志收集（重点）

logstash下载解压：在bin目录或者config目录新建logstash.conf文件 ,文件内容：

input {beats {port => 5044}#tcp端口tcp {port => 4569codec => "json"}}#过滤filter {grok {match => {"message" => "(?<date>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\[(?<level>[A-Z]{4,5})\]\[(?<thread>[A-Za-z0-9/-]{4,40})\]\[(?<class>[A-Za-z0-9/.]{4,40})\]\[(?<msg>.*)"}remove_field => ["message"]}#过滤error和warn 只要这两个日志if [level] !~ "(ERROR|WARN)" {drop {}}}output {if[appname] != "" {elasticsearch {# 链接es地址hosts => ["http://127.0.0.1:9200"]index => "%{[appname]}-%{+YYYY.MM.dd}" #索引名称}} else {elasticsearch {hosts => ["http://127.0.0.1:9200"]index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"}}}

保存后启动:

windous环境下cd到bin目录下，用 logstash -f logstash.conf命令启动如果logstash.conf文件在config目录下用 logstash -f ./config/logstash.conf命令启动

linux环境下 cd到bin目录下:用./logstash -f logstash.conf命令启动

至此elk文件已配置完成，接下来在项目里面配置

1.引入lagstash maven依赖

<!--集成logstash--><dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>5.3</version></dependency>

2.在resources下新建logback.xml 文件内容

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE xml>
<configuration debug="false"><!-- 定义参数 --><property name="log.pattern" value="%d{yyyy-MM-dd HH:mm:ss.SS} [%thread] %-5level %logger{50} - %msg%n" /><!-- 控制台打印设置 --><appender name="consoleAppender" class="ch.qos.logback.core.ConsoleAppender"><encoder><pattern>${log.pattern}</pattern></encoder></appender><!-- logstash设置 --><appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><param name="Encoding" value="UTF-8"/><!-- logstash服务器ip --><remoteHost>127.0.0.1</remoteHost><!-- logstash tcp 端口--><port>4569</port><!-- encoder is required --><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" ><!--            // 索引名--><customFields>{"appname":"auth-service"}</customFields></encoder></appender><!-- 日志输出级别    logger 自动继承root 的appender, 如果logger 有自己自定义的appender,设置additivity="false" 表示不继承使用，防止日志重复打印 --><springProfile name="prod"><!-- 生产环境时激活 --><logger name="com.adtec.credit" level="Info" additivity="false"><appender-ref ref="consoleAppender" /><appender-ref ref="logstash"/></logger><root level="Info"><appender-ref ref="consoleAppender" /><appender-ref ref="logstash"/></root></springProfile><springProfile name="test"><!-- 测试环境时激活 --><logger name="com.adtec.credit" level="DEBUG" additivity="false"><appender-ref ref="consoleAppender" /><appender-ref ref="logstash"/></logger><root level="DEBUG"><appender-ref ref="consoleAppender" /><appender-ref ref="logstash"/></root></springProfile><springProfile name="dev"><!-- 开发环境时激活 --><logger name="com.adtec.credit" level="DEBUG" additivity="false"><appender-ref ref="consoleAppender" /><appender-ref ref="logstash"/></logger><root level="DEBUG"><appender-ref ref="consoleAppender" /><appender-ref ref="logstash"/></root></springProfile></configuration>

然后启动项目进入kibana界面 1、2、3步骤查看

点击 index Management就会有刚设置的索引，索引es已经自动创建

点击 index patterns 然后点击create index patterns

输入auth-service-,创建kibana日志的索引然后点击next step

完成后：点击

红色框切换就可以看到错误日志

springcloud搭建elk日志管理相关推荐

搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装 ...
搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器
27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志本文是 ...
elk 日志管理_具有ELK的APIGEE API网关日志管理（弹性搜索，Logstash和Kibana）
elk 日志管理在本文中,我们将看到如何使用 Elastic Search , Logstash 和 Kibana 管理APIGEE API网关生成的日志 . 下图突出显示了日志数据如何流经ELK堆 ...
搭建ELK日志服务器
实验名称:搭建ELK日志分析服务器实验要求:搭建ELK日志分析系统并进行验证实验环境: 一台centos7操作系统虚拟机,IP地址192.168.22.100,CUP核心数2,4G运行内存,作为E ...
喜闻乐见ELK(日志管理分析系统)
@[TOC] # 1. 简介 ELK(日志管理分析系统),一款能将系统的日志进行分析处理,并且展示到界面上面.集各种强大功能于一身.妈妈再也不用担心我为查日志感到烦恼了. ELK核心的组件是由ela ...
搭建ELK日志分析系统详解
日志分析是运维工程师解决系统故障.发现问题的主要手段.日志包含多种类型,包括程序日志.系统日志以及安全日志等.通过对日志的分析,既可以做到未雨绸缪.预防故障的发生,又可以在故障发生时,寻找蛛丝马迹.快 ...
快速搭建ELK日志分析系统
官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/i ...
在滴滴云 DC2 云服务器上搭建 ELK 日志采集系统
前段时间大学同学聚会,一个在读的博士同学谈到他们实验室做实验时,物理服务器需要向老师申请且组内同学都共用那些机器.由于运行一些大数据和人工智能的项目比较耗费资源,且对资源环境的隔离要求比较高,因而很多 ...
在Windows系统下搭建ELK日志分析平台
2018年07月11日 22:29:45 民国周先生阅读数:35 再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下 ...

springcloud搭建elk日志管理

springcloud搭建elk日志管理相关推荐

最新文章

热门文章