logstash启动失败的问题追查

在实验中logstash是作为日志过滤器的作用，日志收集使用的则是filebeat组件。redis作为缓存器，logstash从redis中拉取数据进行过滤并传给elasticsearch组件。

但是logstash总是启动失败，还没有报错信息，因此追查起来异常艰难。

Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: Unit logstash.service entered failed state.
Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: logstash.service failed.
Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: logstash.service holdoff time over, scheduling restart.
Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: start request repeated too quickly for logstash.service
Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: Failed to start logstash.
Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: Unit logstash.service entered failed state.
Jan 15 07:13:42 ip-172-31-22-29.ec2.internal systemd[1]: logstash.service failed.

就像上面的这个样子，什么也看不出来问题信息在哪。

今天我们来看一下logstash的一些用法：

1、查看配置文件：

logstash服务中，会去pipelines.yml中过滤数据，但这个文件的内容其实指向的是conf.d这个目录，因此我们要在conf.d目录下创建好配置文件，以备logstash服务来对数据进行使用。

2、我们在conf.d目录下创建一个新文件并写入一些信息

3、保存好之后我们就可以进行启动了，但是启动报错了。

[root@:vg_adn_tidbCkhsTest: /etc/logstash]#systemctl status logstash
● logstash.service - logstashLoaded: loaded (/etc/systemd/system/logstash.service; disabled; vendor preset: disabled)Active: failed (Result: start-limit) since Tue 2019-01-15 07:23:33 UTC; 2s agoProcess: 11144 ExecStart=/usr/share/logstash/bin/logstash --path.settings /etc/logstash (code=exited, status=1/FAILURE)Main PID: 11144 (code=exited, status=1/FAILURE)Jan 15 07:23:32 ip-172-31-22-29.ec2.internal systemd[1]: Unit logstash.service entered failed state.
Jan 15 07:23:32 ip-172-31-22-29.ec2.internal systemd[1]: logstash.service failed.
Jan 15 07:23:33 ip-172-31-22-29.ec2.internal systemd[1]: logstash.service holdoff time over, scheduling restart.
Jan 15 07:23:33 ip-172-31-22-29.ec2.internal systemd[1]: start request repeated too quickly for logstash.service
Jan 15 07:23:33 ip-172-31-22-29.ec2.internal systemd[1]: Failed to start logstash.
Jan 15 07:23:33 ip-172-31-22-29.ec2.internal systemd[1]: Unit logstash.service entered failed state.
Jan 15 07:23:33 ip-172-31-22-29.ec2.internal systemd[1]: logstash.service failed.

报错信息看不出来问题出在哪里。后来我按照下列步骤来进行检查。

我们定位到这一行信息

这可以看出来systemctl start logstash触发的是这一条命令进行启动程序的。因此我们以这样的方式进行启动程序

如果以这样的方式进行启动我们发现

[root@:vg_adn_tidbCkhsTest: /etc/logstash]#/usr/share/logstash/bin/logstash --path.settings /etc/logstash
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties
[2019-01-15T07:22:16,497][FATAL][logstash.runner          ] Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting.
[2019-01-15T07:22:16,521][ERROR][org.logstash.Logstash    ] java.lang.IllegalStateException: Logstash stopped processing because of an error: (SystemExit) exit

这个报错意思是说我之前已经启动了一个logstash实例了，我又想起来使用的是nohup方式以后台启动的，虽然没有启动成功，但是却占用进程不放，因此我们找出来把他kill掉即可。

kill掉之后再次使用这个命令就可以启动成功了，这个命令的功能跟下面这个比较类似：

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l.conf

可以看出结果是指定了-f选项就要指定详细的配置文件，而指定--path.settings参数则是指定目录，因为它会从pipelines.yml这个文件中去找文件。

4、后来查出原因为什么systemctl命令不能启动logstash成功的原因是什么了，我们再使用systemctl命令启动程序时，最好查看一下/var/log/messages这个日志信息。今天就捕捉到原因了：

原理是因为JAVA环境变量引起的问题，好吧，logstash使用RPM包安装的，而JAVA使用的是tar包解压缩的，环境变量没有任何问题，可是这几个组件总是说找不到环境变量。所以我认为java这个环境变量以后使用yum一键安装最好了。如何还是想解压缩的话，那就创建个硬链接，把java的bin目录里面的各个二进制文件链接到/bin目录里面，我发现这几个组件总是到/usr/bin、/bin、/sbin、/usr/sbin这四个目录下寻找环境变量（这四个路径是Linux系统一开始安装好的最原始的PATH变量），后面你新加的环境变量都没有起作用。

既然明白了错误在哪里，就知道了如何去修改它，所以我就在java目录下创建一个硬链接，链接到/bin目录下好了。

其实像java的程序，我们使用yum一键安装最好了。

5、像redis这样的缓存，filebeat要使用，logstash也要使用，所以我们要看好这两个服务分别与redis之间的连接是正常响应的。

转载于:https://www.cnblogs.com/FengGeBlog/p/10273974.html

logstash启动失败的问题追查相关推荐

Eclipse启动失败：No java virtual machine was found after searching the follwing locations
Eclipse启动失败,错误信息如下如所示: 通过阅读错误信息,可以看到错误原因和 javaw.exe路径有关: 打开eclipse.ini文件,也就是启动Eclipse的初始化文件: 在本地计算机 ...
硬盘满了 mysql启不来_MySQL数据库之磁盘已满造成的mysql启动失败问题分享
本文主要向大家介绍了MySQL数据库之磁盘已满造成的mysql启动失败问题分享 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 突然发现mysql死活都启不起来了: 复制代码代 ...
ArcGis License 启动失败
2019独角兽企业重金招聘Python工程师标准>>> 安装ArcGis10.2后,License启动失败,点击启动没有任何反应,ArcGis License Manager服务显示 ...
总结—elasticsearch启动失败的几种情况及解决
1.使用root用户启动失败在有一次搭建elasticsearch的时候,使用systemctl启动elasticsearch失败,然后在bin目录下面去使用启动脚本启动,发现报错不能用root用户 ...
sqlnet.ora限制导致双机应用资源启动失败
现场环境: suse9sp3系统下安装oracle9208,为VCS双机.双机配置完成,VCS可以正常启动,刚开始所有资源都可以正常online,但很快server应用资源就会变成offline,从而 ...
centos 6.0 启动失败提示。
init: prefdm main process -terminated with status 1 init: prefdm respawning too fast,stopped 1.进入单用户 ...
Android启动失败
今天突然发现ANDROID模拟器启动失败,log显示如下错误信息 ? ERROR: the user data image is used by another emulator. aborting) ...
mysql启动失败的一个解决方法
mysql启动失败的一个解决方法参考文章: (1)mysql启动失败的一个解决方法 (2)https://www.cnblogs.com/notfresh/p/mysqlStartError.htm ...
MariaDB 修改存储路径后启动失败问题解决
MariaDB 修改存储路径后启动失败问题解决参考文章: (1)MariaDB 修改存储路径后启动失败问题解决 (2)https://www.cnblogs.com/dizhiyaochang/p/ ...

logstash启动失败的问题追查

logstash启动失败的问题追查相关推荐

最新文章

热门文章