ELK 安装部署（入门必备）

一、简介

ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据

官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/7.x/rpm.html

二、环境准备

jdk1.8.0_201（自行百度安装）
链接: https://pan.baidu.com/s/1XFAeaQp2WTCAYcfJznSKCw 提取码: n8gq

elasticsearch-7.9.3
kibana-7.9.3
logstash-7.9.3
链接: https://pan.baidu.com/s/1i54lIGVyNSFAj6XIclFraw 提取码: k4sk

主机三台

 10.0.128.20710.0.128.20810.0.128.210（主）

每台主机创建目录elk

 mkdir /opt/elkmkdir /var/log/elk/es7mkdir /data/es7

创建elk用户

 useradd elk

解压相关文件

 #三个节点都需要tar -zxf elasticsearch-7.9.3-linux-x86_64.tar.gz  -C /opt/elk/#主节点tar -zxf kibana-7.9.3-linux-x86_64.tar.gz -C /opt/elk/tar -zxf logstash-7.9.3.tar.gz -C /opt/elk/tar -zxf elasticsearch-head-master.tar.gz -C /opt/elk/

修改目录权限

 chown -R elk:elk /opt/elkchown -R elk:elk /var/log/elkchown -R elk:elk /data/es7

三、开始安装配置

3.1 安装elasticsearch


#1、修改elasticsearch.yml配置文件vim /opt/elk/elasticsearch-7.9.3/config/elasticsearch.yml# ---------------------------------- Cluster -----------------------------------cluster.name: bigdata-elk# ------------------------------------ Node ------------------------------------node.name: bigdata210# ----------------------------------- Paths ------------------------------------path.data: /data/es7path.logs: /var/log/elk/es7# ---------------------------------- Network -----------------------------------network.host: 0.0.0.0transport.host: 0.0.0.0network.publish_host: 10.0.128.210http.port: 9200# --------------------------------- Discovery ----------------------------------discovery.seed_hosts: ["10.0.128.210", "10.0.128.208","10.0.128.207"]cluster.initial_master_nodes: ["bigdata210", "bigdata208", "bigdata207"]# ---------------------------------- Various -----------------------------------http.cors.enabled: true          http.cors.allow-origin: "*"        bootstrap.memory_lock: falsebootstrap.system_call_filter: false
#2、修改系统参数，不修改可能达到系统瓶颈，导致软件崩溃echo "vm.max_map_count=655360" >> /etc/sysctl.confsysctl -p报错：sysctl: cannot stat /proc/sys/–p: No such file or directory执行以下命令：1、  modprobe br_netfilter2、  ls /proc/sys/net/bridge3、  sysctl -pvim /etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc  65536* hard nproc  65536echo "elk     soft    nproc       65536" >> /etc/security/limits.d/20-nproc.conf
#3、切换用户elk来运行elasticsearchsu elk/opt/elk/elasticsearch-7.9.3/bin/elasticsearch -d
#4、检查elasticsearch状态，如下则表示正常运行[elk@bigdata210 config]$ curl http://10.0.128.210:9200{"name" : "bigdata210","cluster_name" : "bigdata-elk","cluster_uuid" : "_na_","version" : {"number" : "7.9.3","build_flavor" : "default","build_type" : "tar","build_hash" : "c4138e51121ef06a6404866cddc601906fe5c868","build_date" : "2020-10-16T10:36:16.141335Z","build_snapshot" : false,"lucene_version" : "8.6.2","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"}
#5、告警：Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone.
#在文件elasticsearch.yml中加入下面的配置
xpack.security.enabled: false

3.2 安装 Logstash

logstash pipeline 包含两个必须的元素：input和output，和一个可选元素：filter。
从input读取事件源，（经过filter解析和处理之后），从output输出到目标存储库（elasticsearch或其他）。

官网：https://www.elastic.co/guide/en/logstash/7.9/index.html

运行一个最基本的logstash测试一下

 bin/logstash -e 'input {stdin {}} output {stdout {}}'

配置读取日志

vim config/test_file.conf
input {file {path => ["/var/log/elk/es7/bigdata-elk.log"]type => "bigdata-elk"}
}output {elasticsearch {hosts => ["10.0.128.210:9200"]index => "sbigdata-elk-log-%{+YYY.MM.dd}"}
}

指定配置文件运行logstash

bin/logstash -f config/test_file.conf &
netstat -tulnp |grep 9600

3.3 安装ES插件：elasticsearch-head

第一种：
通过chrome安装插件的方式提供一个可操作es的图形化界面
谷歌浏览器访问http://extb.cqttech.com/search/elasticsearch%2520head

第二种：
1.安装node.js
官网地址：https://nodejs.org/en/download/

下载解压

 wget https://nodejs.org/dist/v14.15.0/node-v14.15.0-linux-x64.tar.xzxz -d node-v14.15.0-linux-x64.tar.xztar -xf node-v14.15.0-linux-x64.tar#或者使用tar -xJf node-v14.15.0-linux-x64.tar#phantomjs 官网   https://phantomjs.org/download.htmlwget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2#以下两个如果已经装过可忽略yum -y install bzip2yum -y install fontconfig-develtar -xvjf  phantomjs-2.1.1-linux-x86_64.tar.bz2#创建软连接ln -s /opt/elk/node-v14.15.0-linux-x64/bin/node /usr/local/bin/nodeln -s /opt/elk/node-v14.15.0-linux-x64/bin/npm /usr/local/bin/npmln -s /opt/elk/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/phantomjs#查看版本node -vnpm -vphantomjs --version

2.安装head插件

cd /opt/elk/elasticsearch-head
npm install
npm run start
npm run start &#使用grunt方式启动
npm install -g grunt-cli
grunt server &netstat -tulnp| grep 9100

3.4 安装kibana

#修改配置文件
vim /opt/elk/kibana-7.9.3-linux-x86_64/config/kibana.yml
server.port: 5601
server.host: "10.0.128.210"
server.name: "bigdata-kibana"
elasticsearch.hosts: ["http://10.0.128.210:9200"]
logging.dest: /var/log/elk/kibana/kibana.log
i18n.locale: "zh-CN"
#创建日志目录
mkdir /var/log/elk/kibana
chown -R elk:elk /var/log/elk/kibana
#启动kibana
bin/kibana &

访问 http://10.0.128.210:5601/