es+fluentd+kibana使用实战

环境搭建
1.es安装
选用版本6.6.2
2.kibana安装
选用版本6.6.2
3.fluentd安装
选用版本td-agent3.7.1
td-agent.conf中配置说明
fluentd官网
https://docs.fluentd.org/parser/multiline

####
## Output descriptions:
### Treasure Data (http://www.treasure-data.com/) provides cloud based data
# analytics platform, which easily stores and processes data from td-agent.
# FREE plan is also provided.
# @see http://docs.fluentd.org/articles/http-to-td
#
# This section matches events whose tag is td.DATABASE.TABLE## match tag=debug.** and dump to console
#tag类型匹配    这里表示匹配test
<match test.**>#表示写入es@type elasticsearch#是否开启logstash日志格式化logstash_format true#flush时间间隔flush_interval 10s#es连接iphost localhost#es连接端口号port 9200#在es创建得index名称   这里使用tag-时间index_name ${tag}-%Y.%m.%d#在es创建得type   这里使用tag-时间type_name ${tag}-%Y.%m.%dlogstash_prefix ${tag}include_tag_key truetag_key @log_name<buffer tag, time>#默认单位s   s/m/h   多久会产生一个chunktimekey 1h#默认单位s   s/m/h   是指当前chunk 结束了以后，延迟多长时间，才把该chunk   flush到文件里timekey_wait 10</buffer>
</match>
####
## Source descriptions:
#### built-in TCP input
## @see http://docs.fluentd.org/articles/in_forward
#监听tcp   默认ip localhost   port 24224   可通过tcp得方式发送日志到fluentd
<source>@type forward@id input_forward
</source>## built-in UNIX socket input
#<source>
#  type unix
#</source># HTTP input
# POST http://localhost:8888/<tag>?json=<json>
# POST http://localhost:8888/td.myapp.login?json={"user"%3A"me"}
# @see http://docs.fluentd.org/articles/in_http
#可接受http类型得日志发送请求 默认ip localhost
<source>@type http@id input_http#端口8888port 8888#限制大小32mbody_size_limit 32m#限制超时时间10skeepalive_timeout 10s
</source>## live debugging agent
<source>@type debug_agent@id input_debug_agentbind 127.0.0.1port 24230
</source>
#tail类型读取日志文件
<source>@type tail#文件路径（自定义）path /suns/log/td-agent/*.test.log#记录读取位置得文件（自定义）pos_file /suns/log/td-agent/test.log.pos#没有读取记录时是否从头开始读read_from_head true#多行匹配筛选日志（这里为自定义日志）<parse>@type multilineformat_firstline /^Begin:/     #这里时指以Begin:这一行为开始format1 /^Url:(?<Url>.*)/      #这里是匹配Url忽略：format2 /^RequestParams:(?<RequestParams>.*)/      #这里匹配RequestParams忽略：format3 /^ResponseResults:(?<ResponseResults>.*)/         #这里匹配ResponseResults忽略：format4 /^Cost:(?<Cost>.*)/      #这里匹配Cost忽略：format5 /^End/</parse>tag test
</source>

单行匹配示例

#单行匹配
<source>@type tail#文件路径（自定义）path /app/full-cycle-chain2.0/logs/*.log#记录读取位置得文件（自定义）pos_file /app/full-cycle-chain2.0/pos/test.log.pos#没有读取记录时是否从头开始读read_from_head true#单行匹配筛选日志（这里为自定义日志）format /^(?<access_time>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})\s+\[(?<traceid>.{0,100})\]\s+\[(?<app_trace_id>.{0,100})\]\s+\[(?<level>\S+)\]\s+\[(?<thread_id>\S+)\]\s+(?<message>.*)$/tag checkorder-server
</source>

kibana操作
1.查看索引
2.创建索引模式
3.Discover查看日志监控
4.可创建可视化（可选）
5.创建仪表盘（可选）

es head安装
参考https://blog.csdn.net/weixin_33092023/article/details/80765775
从springboot项目直接发送日志到fluentd
1.引入依赖


<dependency><groupId>org.fluentd</groupId><artifactId>fluent-logger</artifactId><version>0.3.3</version>
</dependency>

本地调用远程fluent服务
//service-a.ServiceController tag前缀
private static FluentLogger log = FluentLogger.getLogger(“service-a.ServiceController”,“192.168.181.99”,24224);
然后调用log.log方法指定tag，日志级别和日志内容。
也可在日志得xml文件中指定apperder来发送（具体可查看官网）

es+fluentd+kibana使用实战相关推荐

es实战-Monitoring原理讲解及kibana可视化实战
实战结合官方文档进行学习效果更佳,可以参考本人另一篇简书-官方文档-监控集群(Monitor)翻译. Monitoring学习方法:在官方文档与源码阅读基础之上进行实战操作. 1 Monitoring ...
linux es连接mysql_Linux下ES，kibana,mysql,kafka，zookeeper启动关闭方式
Linux下ES,kibana,mysql,kafka,zookeeper启动关闭方式 ES 前台方式启动切换到ES的bin目录下,执行./elasticsearch命令关闭窗口或者ctrl+c会 ...
es+ik+kibana的简单使用
一.es下载与启动 1.下载eshttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.2.2-windows-x86 ...
docker部署es和kibana遇到的坑
使用docker部署es和kibana遇到的坑 docker容器部署ES和kibana需要注意的点: 1.es和kibana的镜像版本必须一致.我这次用的是7.7.1版本 2.es非常占用内存,因此在 ...
使用Docker快速安装部署ES和Kibana并配置IK中文分词器以及自定义分词拓展词库
使用Docker快速安装部署ES和Kibana的前提:首先需要确保已经安装了Docker环境如果没有安装Docker的话,可以参考上一篇的内容:Linux上安装Docker 有了Docker环境后, ...
Elasticsearch基础1——搜索引擎发展史和工作流程、es/es-head/kibana的基础安装
文章目录一.搜索引擎 1.1 搜索引擎的发展背景 1.2 Lucene和Elasticsearch 1.3 Solr和Elasticsearch对比 1.4 数据搜索方式 1.5 搜索引擎 1.5. ...
elasticsearch 7.9.3知识归纳整理（一）之 es，kibana，ik的下载安装
es,kibana,ik的下载安装下载地址 es下载地址:https://www.elastic.co/cn/downloads/elasticsearch kibana下载地址: https:// ...
windows下es以及kibana安装
windows下es以及kibana安装文章目录 windows下es以及kibana安装前言一.es是什么? 二.安装包下载三.es安装四. kibana 安装五. ik分词器安装六 ...
docker compose 安装es和kibana
docker compose 安装es和kibana 准备工作创建es数据存放目录 mkdir /root/app/elk/es/data 增加目录权限不增加权限,es有可能启动不起来 chmod ...

es+fluentd+kibana使用实战

es+fluentd+kibana使用实战相关推荐

最新文章

热门文章