Scribe日志收集工具

概述

Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。
scribe的相关资料比较少，主要限于它的主页（见参考资料1）。此外，它的安装比较复杂，可参见《scribe日志收集系统安装方法介绍》。

架构

如上图所示，Scribe从各种数据源上收集数据，放到一个共享队列上，然后push到后端的中央存储系统上。当中央存储系统出现故障时，scribe可以暂时把日志写到本地文件中，待中央存储系统恢复性能后，scribe把本地日志续传到中央存储系统上。

需要注意的是，各个数据源须通过thrift向scribe传输数据（每条数据记录包含一个category和一个message）。可以在scribe配置用于监听端口的thrift线程数（默认为3）。在后端，scribe可以将不同category的数据存放到不同目录中，以便于进行分别处理。后端的日志存储方式可以是各种各样的store，包括file（文件），buffer（双层存储，一个主储存，一个副存储），network（另一个scribe服务器），bucket（包含多个store，通过hash的将数据存到不同store中），null(忽略数据)，thriftfile（写到一个Thrift TFileTransport文件中）和multi（把数据同时存放到不同store中）。

scribe的全局配置

例如：

port=1463
max_msg_per_second=2000000
max_queue_size=10000000
check_interval=3

store有3种类型：

• 默认store，处理没有匹配到任何store的category；    配置项：category=default
• 带前缀的store，处理所有以指定前缀开头的category；配置项：category=web*
• 复合categories，在一个store里面包含多个category；配置项：categories=rock paper* scissors

store配置

例如：

<store>
category=statistics
type=file
target_write_size=20480
max_write_interval=2
</store>

下面介绍不同的store类型：

file

将日志写到文件或者NFS中。目前支持两种文件格式，即std和hdfs，分别表示普通文本文件和HDFS。可配置的选项有：

例如：

<store>
category=sprockets
type=file
file_path=/tmp/sprockets
base_filename=sprockets_log
max_size=1000000
add_newlines=1
rotate_period=daily
rotate_hour=0
rotate_minute=10
max_write_size=4096
</store>

配置解释：

network

network store转发消息到其他scribe服务器上，scribe以长连接的方式批量转发消息。

例如：

<store>
category=default
type=network
remote_host=hal
remote_port=1465
</store>

配置解释：

buffer

buffer stores有两个子stores，分别为"primary"和"secondary"，当primary store不可用时，才将日志写入secondary store（只能是File Stores或Null Stores）。当primary store恢复工作时，会从secondary store恢复数据（除非replay_buffer=no）。

例如：

<store>
category=default
type=buffer
buffer_send_rate=1
retry_interval=30
retry_interval_range=10<primary>type=networkremote_host=woprremote_port=1456</primary><secondary>type=filefile_path=/tmpbase_filename=thisisoverwrittenmax_size=10000000</secondary>
</store>

配置解释：

null

丢弃指定category的消息；

例如：

<store>
category=tps_report*
type=null
</store>

bucket

bucket stores将每个消息的前缀作为key，并hash到多个文件中。

例如：

<store>
category=bucket_me
type=bucket
num_buckets=2
bucket_type=key_hash<bucket0>type=filefs_type=stdfile_path=/tmp/scribetest/bucket0base_filename=bucket0</bucket0><bucket1>...</bucket1><bucket2>...</bucket2>
</store>

配置解释：

multi

multi store将消息同时转发给多个子sotres（如store0, store1, store2, ...）。

例如：

<store>
category=default
type=multi
target_write_size=20480
max_write_interval=1<store0>type=filefile_path=/tmp/store0</store0><store1>type=filefile_path=/tmp/store1</store1>
</store>

Thriftfile

Thriftfile store与File store类似，只是前者将消息发送给Thrift TFileTransport 文件；

例如：

<store>
category=sprockets
type=thriftfile
file_path=/tmp/sprockets
base_filename=sprockets_log
max_size=1000000
flush_frequency_ms=2000
</store>

配置解释：

参考文档：

http://dongxicheng.org/search-engine/scribe-installation/

http://dongxicheng.org/search-engine/scribe-intro/

http://blog.octo.com/en/scribe-a-way-to-aggregate-data-and-why-not-to-directly-fill-the-hdfs/

https://github.com/facebookarchive/scribe/wiki/Scribe-Configuration