logstash读取kafka所有topics 自动创建es 索引

logstash读取kafka的topics,根据内容提取指定字段然后自动创建es索引。

input {
kafka{
bootstrap_servers => "192.168.1.15:9092"
auto_offset_reset => "latest"
topics_pattern => "svc.*" #topics_pattern支持正则匹配，topics不支持
consumer_threads => 5
codec => "json"
}

}
filter {
mutate {
# gsub => [
# "fieldname", "#", "-"
# ] 用于替换指定字符
split => ["message","#"] #分割字符串获取服务名
add_field => { "service" => "%{[message][3]}" }
}
#下面移除不必要的字段
mutate {
remove_field => ["@version"]
remove_field => ["@timestamp"]
remove_field => ["tags"]
remove_field => ["_id"]
remove_field => ["_type"]
remove_field => ["_index"]
remove_field => ["_score"]

}

output {
elasticsearch{
hosts => "192.168.1.15:9200"
index => "log-%{service}"
}
stdout {
codec => rubydebug
}
}

logstash读取kafka所有topics 自动创建es 索引相关推荐

oracle 创建clob类型字段的索引,LOB字段相关概念(自动创建LOB索引段和重建索引方法)...
LOBs,或Large Objects字段,是Oracle中用于处理存储非字符数据推荐的一种字段类型,例如mp3,video,图片,和long字符串数据.二进制大对象,或BLOBs,字符大对象,或CL ...
java 索引实现,Java创建ES索引实现
标签:public text cluster frame put elastics sea min user 1.pom.xml文件 org.springframewo ...
LOB字段相关概念(自动创建LOB索引段和重建索引方法)
LOBs,或Large Objects字段,是Oracle中用于处理存储非字符数据推荐的一种字段类型,例如mp3,video,图片,和long字符串数据.二进制大对象,或BLOBs,字符大对象,或CL ...
oracle中LOB字段相关概念(自动创建LOB索引段和重建索引方法)
OBs,或Large Objects字段,是Oracle中用于处理存储非字符数据推荐的一种字段类型,例如mp3,video,图片,和long字符串数据.二进制大对象,或BLOBs,字符大对象,或CLO ...
Logstash读取Kafka数据写入HDFS详解
强大的功能,丰富的插件,让logstash在数据处理的行列中出类拔萃通常日志数据除了要入ES提供实时展示和简单统计外,还需要写入大数据集群来提供更为深入的逻辑处理,前边几篇ELK的文章介绍过利用lo ...
ElasticSearch 根据环境自动创建动态索引
我的客户端的版本是7.13.0,对应springboot与spring-data-elasticsearch的版本如下:(2.5.8与4.2.7) 引入依赖: <dependency>&l ...
怎样合理创建es索引_如何通过Elasticsearch创建索引库？
今天是刘小爱自学Java的第158天. 感谢你的观看,谢谢你. 学习计划安排如下:Elasticsearch作为一门全文检索技术,那它是如何使用的呢? 先学习Elasticsearch的一些语法,后续 ...
kibana创建es索引_java操作es动态创建索引（按月生成），索引类型，索引别名
第一步:判断索引是否存在: //判断索引是否已经存在String indexName = Constans.ES_INDEX_TIME+"_"+DateUtils.getDateS ...
kibana创建es索引_es 索引数据创建mapping 普通内部对象嵌套文档父子文档创建和查询...
普通内部对象 "kibana_sample_data_ecommerce" : { "mappings" : { "properties" ...

logstash读取kafka所有topics 自动创建es 索引

logstash读取kafka所有topics 自动创建es 索引相关推荐

最新文章

热门文章