一些高大上的日志系统收集

日志系统基本可以分为两类：传统日志系统和分布式日志系统，本节我们研究分布式日志系统的相关开源实现，主要分析facebook的scribe和apache的机遇Hadoop的chukwa。

facebook的scribe

简单描述：Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。

系统架构：

基本概念：

LocalServer和Central Server都是基于Thrift框架来实现

Client可以基于众多编程语言实现，官方提供Python实现

Scribe提供高容错性

信息处理最终汇集在Central Server端，这个系统模型可以水平扩展和多级报告。支持Hadoop海量数据分析。

apache的chukwa

简单描述：

chukwa是一个非常新的开源项目，由于其属于hadoop系列产品，因而使用了很多hadoop的组件（用HDFS存储，用mapreduce处理数据），它提供了很多模块以支持hadoop集群日志分析。

架构分析：

Chukwa has five primarycomponents:

·Agents that run on each machine and emit data.

·Collectors that receive data from the agent and write it tostable storage.

·ETL Processes for parsing and archiving the data.

·Data Analytics Scripts for aggregate Hadoop cluster health.

·HICC, the Hadoop Infrastructure Care Center; a web-portal styleinterface for displaying data.

Below is a figure showing the Chukwa data pipeline,annotated with data dwell times at each stage. A more detailed figure isavailable at the end of this document.

学习结论：环境搭建比较简单。但依赖Hadoop集群。如果要启用其HICC图形接口，则依赖HBase集群。

其他开源实现：

linkedin的kafka

cloudera的flume

一些高大上的日志系统收集相关推荐

几十条业务线日志系统如何收集处理？
在互联网迅猛发展的今天各大厂发挥十八般武艺的收集用户的各种信息,甚至包括点击的位置,我们也经常发现自己刚搜完一个东西,再打开网页时每个小广告都会出现与之相关联的商品或信息,在感叹智能的同时不惊想什 ...
我们的解决方案：日志系统
欢迎关注方志朋的博客,回复"666"获面试宝典前面几章蜻蜓点水的介绍了elasticsearch.apm相关的内容.本片主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日 ...
日志系统新贵Loki，确实比笨重的ELK轻
来自:CSDN(作者:linkt1234) 原文链接: https://blog.csdn.net/Linkthaha/article/details/100575278 最近,在对公司容器云的日志方 ...
抛弃ELK！Loki日志系统详解！
背景最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统,下面介绍下Loki的 ...
分布式框架－日志系统思路及实现
转自:https://www.jianshu.com/p/ce30c31111ca 背景随着互联网时代数据规模的爆发式增长,传统的单机系统在性能和可用性上已经无法胜任,分布式应用和服务化应用开始走进 ...
Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统
Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统原文:Elasticsearch,Kibana,Logstash,NLog实现ASP. ...
.NET下日志系统的搭建——log4net+kafka+elk
.NET下日志系统的搭建--log4net+kafka+elk 前言我们公司的程序日志之前都是采用log4net记录文件日志的方式(有关log4net的简单使用可以看我另一篇博客),但是随着后来我们 ...
日志系统新贵 Loki，真香！！
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明.来源链接:https://blog.csdn.net/Linkthaha/ 最近,在对公司容器云 ...
京东「卖家日志」系统的构建 | 流式计算日志系统应用实践
引言本文讲述如何去构建一个日志系统,用到了哪些技术?为什么用这些技术?遇到的问题及优化的过程,希望给大家在实践中提供一些参考. 这是一个有关于日志的项目,负责收集.处理.存储.查询京东卖家相关操作的 ...

一些高大上的日志系统收集

Chukwa has five primarycomponents:

一些高大上的日志系统收集相关推荐

最新文章

热门文章