logstash 删除字段

问题

filebeat采集日志信息后，logstash打印信息，这个过程中，filebeat将自身的客户端信息也传送给了logstash，如果logstash不对这些字段进行过滤，导致es创建索引时，产生大量没有必要的字段。

解决方案：

在配置文件中进行过滤，删除没有必要的字段。

input {beats {port => 5044}}filter{mutate{remove_field => ["host"]remove_field => ["agent"]remove_field => ["ecs"]remove_field => ["tags"]remove_field => ["fields"]remove_field => ["@version"]remove_field => ["@timestamp"]remove_field => ["input"]remove_field => ["log"]}
}output {elasticsearch {hosts => ["192.168.22.68:9200"]index => "english"}stdout { codec => rubydebug }
}

结果如下：

kibana中显示效果如下：

官网（https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html）

参考博客（https://www.cnblogs.com/iiiiher/p/8000463.html）

logstash 删除字段相关推荐

Python读取多个excel文件（删除字段、数据格式转换、dataframe多表合并）并写入ElasticSearch实战（自动创建索引、写入ElasticSearch、探索性数据分析）
Python读取多个excel文件(删除字段.数据格式转换.dataframe多表合并)并写入ElasticSearch实战(自动创建索引.写入ElasticSearch.探索性数据分析) 目录
hive创建mysql表,hiveMysql创建、修改、删除字段/表
本文围绕以下框架,对Hive及Mysql中,常用的字段/表处理语句进行整理汇总. 1. 创建表 (1)Hive (2)Mysql 2. 字段重命名 (1)Hive -- 改变列名/类型/位置/注释 A ...
Oracle增加修改删除字段/主键
修改字段名称 alter table xgj rename column old_name to new_name; 修改字段类型 alter table tablename modify (colu ...
MySQL添加、删除字段
添加字段 ALTER TABLE 表名 ADD 新字段名数据类型 [约束条件] [FIRST|AFTER 已存在字段名] 参数说明 FIRST,可选参数用于将新添加的字段,设置为表的第一个字段 A ...
SqlServer 增加字段，修改字段名，删除字段，修改字段默认值
SqlServer 增加字段,修改字段名,删除字段,修改字段默认值 1:增加字段语法:alter table 表名 add 新增字段名字段类型默认值- 2:修改字段名语法:exec sp_re ...
mysql 删除顺序_mysql 添加字段、删除字段、调整字段顺序转
ALTER TABLE - 更改表属性添加字段: alter table `user_movement_log` Add column GatewayId int not null default ...
Mysql 添加字段修改字段删除字段
1.表添加字段(字段类型.长度.默认值.注释) ALTER TABLE 表名 ADD 字段名字段类型(字段长度) DEFAULT 默认值 COMMENT '注释' 例如:ALTER TABLE o ...
MySql增加字段、删除字段、修改字段名称、修改字段类型
修改数据库字段 alter table biz_apply MODIFY CUSTOMER_ID bigint(60); MySql增加字段.删除字段.修改字段名称.修改字段类型 MySql的简单语 ...
用Sql添加删除字段，判断字段是否存在的方法
增加字段 alter table docdsp add dspcode char(200) 删除字段 ALTER TABLE table_NAME DROP COLUMN column_NAME 修 ...

logstash 删除字段

问题

解决方案：

logstash 删除字段相关推荐

最新文章

热门文章