1. docker-compose ELK

1.1. 简介

ELK 是三个开源软件的缩写, 分别表示: Elasticsearch, Logstash, Kibana, 它们都是开源软件。新增了一个 FileBeat, 它是一个轻量级的日志收集处理工具 (Agent), Filebeat 占用资源少, 适合于在各个服务器上搜集日志后传输给 Logstash, 官方也推荐此工具。

Elasticsearch 是个开源分布式搜索引擎, 提供搜集、分析、存储数据三大功能。它的特点有: 分布式, 零配置, 自动发现, 索引自动分片, 索引副本机制, restful 风格接口, 多数据源, 自动搜索负载等。主要负责将日志索引并存储起来, 方便业务方检索查询。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具, 支持大量的数据获取方式。一般工作方式为 c/s 架构, client 端安装在需要收集日志的主机上, server 端负责将收到的各节点日志进行过滤、修改等操作在一并发往 elasticsearch 上去。是一个日志收集、过滤、转发的中间件, 主要负责将各条业务线的各类日志统一收集、过滤后, 转发给 Elasticsearch 进行下一步处理。

Kibana 也是一个开源和免费的工具, Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面, 可以帮助汇总、分析和搜索重要数据日志。

更多详情可参见这篇文章: https://blog.csdn.net/qq_41475058/article/details/89840468

1.2. docker-compose.yml

version: '3.7'services:# Elasticsearch Docker Images: https://www.docker.elastic.co/elasticsearch:container_name: elasticsearchimage: docker.elastic.co/elasticsearch/elasticsearch:7.17.1environment:- xpack.security.enabled=false- discovery.type=single-node- ES_JAVA_OPTS: "-Xmx256m -Xms256m"ulimits:memlock:soft: -1hard: -1nofile:soft: 65536hard: 65536cap_add:- IPC_LOCKvolumes:- elasticsearch-data:/usr/share/elasticsearch/dataports:- 9200:9200- 9300:9300kibana:container_name: kibanaimage: docker.elastic.co/kibana/kibana:7.17.1environment:- ELASTICSEARCH_HOSTS=http://elasticsearch:9200ports:- 5601:5601volumes:- /home/x/docker-composes/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.ymldepends_on:- elasticsearchlogstash:container_name: logstashimage: docker.elastic.co/logstash/logstash:7.17.1environment:- ELASTICSEARCH_HOSTS=http://elasticsearch:9200ports:- "5044:5044"depends_on:- elasticsearchvolumes:elasticsearch-data:driver: local

1.3. troubleshooting

shell on host machine:

sudo sysctl -w vm.max_map_count=262144
sudo sysctl -p #使配置生效

from: https://www.elastic.co/guide/en/elasticsearch/reference/5.0/vm-max-map-count.html#vm-max-map-count

1.4. docs

Elasticsearch: http://localhost:9200
Logstash: http://localhost:5044
Kibana: http://localhost:5601

1.5. other elk

https://www.robertobandini.it/2021/01/31/how-to-install-the-elk-stack-using-docker-compose/

这个 elk docker 如果和 datadog 在同一台电脑上运行的话可能会有 5000 端口被占用的冲突, 可以参考这里解决 https://github.com/DataDog/datadog-agent/issues/4229#issuecomment-830210940。

docker-compose ELK相关推荐

Docker核心技术之Docker Compose
一.Docker Compose 简介 Docker Compose是什么? Docker Compose是一个能一次性定义和管理多个Docker容器的工具. 详细地说: Compose中定义和启动的 ...
docker compose 安装es和kibana
docker compose 安装es和kibana 准备工作创建es数据存放目录 mkdir /root/app/elk/es/data 增加目录权限不增加权限,es有可能启动不起来 chmod ...
docker部署ELK
docker部署ELK 文件目录结构 docker-compose.yml 文件 elasticsearch.yml kibana.yml logstash.yml logstash.conf fil ...
Docker compose 容器编排
1. 概述问题:如果要使用 Docker 运行 LNMP 架构,那么 Nginx.MySQL.PHP. Linux三个服务运行在一个容器里,还是运行在多个容器里呢? 答案是都可以. 你可以分别放在三 ...
Docker Compose 1.18.0 之服务编排详解
一个使用Docker容器的应用,通常由多个容器组成.使用Docker Compose,不再需要使用shell脚本来启动容器.在配置文件中,所有的容器通过services来定义,然后使用docker-c ...
Centos7 Docker Compose部署mysql5.7
1 . 创建docker-compose.yml文件 version: '3' services:mysql:restart: alwaysimage: mysql:5.7.22container_n ...
Docker Compose安装
一 . Docker Compose概述 Docker Compose是一个用于定义和运行多个容器Docker应用程序的工具.使用Compose,您可以使用YAML文件来配置应用程序的服务.然后 , ...
Docker(八)：Docker Compose
Docker Compose Compose 简介 Compose 是用于定义和运行多容器 Docker 应用程序的工具.通过 Compose,您可以使用 YML 文件来配置应用程序需要的所有服务.然 ...
Docker compose多容器管理
前言 Docker Compose 将所管理的容器分为三层,工程(project),服务(service)以及容器(contaienr). Docker Compose 运行的目录下的所有文件(doc ...
Docker Compose—简化复杂容器应用的利器
Compose是用于定义和运行复杂Docker应用的工具.你可以在一个文件中定义一个多容器的应用,然后使用一条命令来启动你的应用,然后所有相关的操作都会被自动完成. 1. 安装Docker和Compo ...

docker-compose ELK

这里填写标题