logrotate简介

对于大多数应用程序来说，日志文件是极其重要的工具。logrotate是一个日志文件管理工具，用于分割日志文件，删除旧的日志文件，创建新的日志文件，起到“转储”作用，节省磁盘空间。

1. logrotate简介

Linux默认自带logrotate，配置文件是/etc/logrotate.conf。/etc/logrotate.d是一个目录，其中所有文件都会被读入/etc/logrotate.conf中执行，我们可以在/etc/logrotate.d目录里放置自定义的配置文件，用来覆盖/etc/logrotate.conf。

logrotate是基于CRON来运行的，其脚本是/etc/cron.daily/logrotate。

# cat /etc/cron.daily/logrotate#!/bin/sh/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

linux定时系统会自动完成日志轮转。

手动执行日志切割

logrotate命令格式

# logrotate  [OPTION...]  <configfile>-d, --debug ：debug模式，测试配置文件是否有错误。
-f, --force ：强制转储文件。
-m, --mail=command ：压缩日志后，发送日志到指定邮箱。
-s, --state=statefile ：使用指定的状态文件。
-v, --verbose ：显示转储过程。

如果等不及cron自动执行日志轮转，我们可以手动执行日志切割。在手动执行日志切割前，最好通过-d选项，调试验证一下，但不进行具体操作。

# /usr/sbin/logrotate -d /etc/logrotate.d/nginx

如果要手动强制执行日志切割，需要加-f参数。

# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx

根据日志切割设置进行操作，使用-v选项显示详细信息。

# /usr/sbin/logrotate -v /etc/logrotate.conf

2. logrotate日志切割原理

以系统日志/var/log/message做切割来简单说明下：

第一次执行完rotate(轮转)之后，原本的messages会变成messages.1，而且会制造一个空的messages给系统来储存日志
第二次执行之后，messages.1会变成messages.2，而messages会变成messages.1，又造成一个空的messages来储存日志

如果设定保留三个日志（即轮转3次）的话，那么执行第三次时，则messages.3这个文件就会被删除，并由后面较新的保存日志所取代，也就是会保存最新的几个日志。日志究竟轮换几次，是根据配置文件logrotate.conf中的dateext参数来判定的。

我们看下logrotate.conf配置，以下设定是logrotate的默认配置值，如果其他配置文件设定了其他值，以其它文件的设定为主。

# more /etc/logrotate.confweekly          // 默认每一周执行一次rotate轮转工作
rotate 4        // 保留多少个日志文件(轮转几次).默认保留四个.就是指定日志文件删除之前轮转的次数，0 指没有备份
create         // 自动创建新的日志文件，新的日志文件具有和原来的文件相同的权限；因为日志被改名,因此要创建一个新的来继续存储之前的日志
dateext       // 这个参数很重要！就是切割后的日志文件以当前日期为格式结尾，如xxx.log-20131216这样。如果注释掉，切割出来是按数字递增，即前面说的xxx.log-1这种格式
compress      // 是否通过gzip压缩转储以后的日志文件，如xxx.log-20131216.gz；如果不需要压缩，注释掉就行include /etc/logrotate.d   # 把/etc/logrotate.d/目录中的所有文件都加载进来/var/log/wtmp {            // 仅针对/var/log/wtmp文件进行日志切割，设定的参数
monthly                    // 每月一次切割,取代默认的一周
minsize 1M                 // 文件大小超过 1M 后才会切割
create 0664 root utmp      // 指定新建的日志文件权限以及所属用户和组
rotate 1                   // 只保留一个日志.
}
# wtmp可记录用户登录系统及系统重启的时间，因为有minsize参数，因此不见得每个月一定会执行一次，而要看文件大小。

配置文件的重要参数说明。

compress                                  通过gzip 压缩转储以后的日志
nocompress                                不做gzip压缩处理
copytruncate                              用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate                            备份日志文件不过不截断
create mode owner group                   轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate                                  不建立新的日志文件
delaycompress                             和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress                           覆盖 delaycompress 选项，转储同时压缩。
missingok                                 如果日志丢失，不报错继续滚动下一个日志
errors address                            专储时的错误信息发送到指定的Email 地址
ifempty                                   即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty                                当日志文件为空时，不进行轮转
mail address                              把转储的日志文件发送到指定的E-mail 地址
nomail                                    转储时不发送日志文件olddir directory                          转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统noolddir                                  转储后的日志文件和当前日志文件放在同一个目录下sharedscripts                             运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本prerotate                                 在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行postrotate                                在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行daily                                     指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                   指定转储周期为每月rotate count                              指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份dateext                                   使用当期日期作为命名格式dateformat .%s                            配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数size(或minsize) log-size                  当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem)；当日志文件 >= log-size 的时候就转储。 以下为合法格式：（其他格式的单位大小写没有试过）：size = 5 或 size 5 （>= 5 个字节就转储）；size = 100k 或 size 100k；size = 100M 或 size 100M

3. logrotate日志切割实例

系统日志切割

# cat /etc/logrotate.d/syslog/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{sharedscriptspostrotate/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || trueendscript
}

# ll /var/log/messages*/var/log/messages
/var/log/messages-20201225
/var/log/messages-20210101
/var/log/messages-20210108
/var/log/messages-20210115# ll /var/log/cron*
# ll /var/log/secure*
# ll /var/log/spooler*

nginx日志切割

# vim /etc/logrotate.d/nginx/usr/local/nginx/logs/*.log {daily
rotate 7
missingok
notifempty
dateext
sharedscripts
postrotateif [ -f /usr/local/nginx/logs/nginx.pid ]; thenkill -USR1 `cat /usr/local/nginx/logs/nginx.pid`fi
endscript
}

# vim /etc/logrotate.d/nginx/data/nginx_logs/*.access_log {nocompress
daily
copytruncate
create
ifempty
olddir /data/nginx_logs/days
rotate 0
}

# cat /etc/logrotate.d/nginx/Data/logs/nginx/*/*log {dailyrotate 365missingoknotifemptycompressdateextsharedscriptspostrotate/etc/init.d/nginx reloadendscript
}# ll /Data/logs/nginx/www.huanqiu.com/error.log-20210101.gz
error.log-20210108.gz
error.log-20210115.gz
error.log-20210122.gz

tomcat日志切割

# cat /etc/logrotate.d/tomcat/Data/app/tomcat-7-huanqiu/logs/catalina.out {rotate 14
daily
copytruncate
compress
notifempty
missingok
}

# ll /Data/app/tomcat-7-huanqiu/logs/catalina.*/Data/app/tomcat-7-huanqiu/logs/catalina.out
/Data/app/tomcat-7-huanqiu/logs/catalina.out.1.gz

4. 其他实现日志切割的方法

除了利用linux自带的logrotate工具实现日志切割之外，我们还可以编写python脚本或shell脚本以实现日志切割。

Python脚本实现日志切割

# vim log_rotate.py#!/usr/bin/env pythonimport datetime,os,sys,shutillog_path = '/opt/jumpserver/logs/'
log_file = 'jumpserver.log'yesterday = (datetime.datetime.now() - datetime.timedelta(days = 1))try:os.makedirs(log_path + yesterday.strftime('%Y') + os.sep + \yesterday.strftime('%m'))except OSError,e:printprint esys.exit()shutil.move(log_path + log_file,log_path \+ yesterday.strftime('%Y') + os.sep \+ yesterday.strftime('%m') + os.sep \+ log_file + '_' + yesterday.strftime('%Y%m%d') + '.log')os.popen("sudo /opt/jumpserver/service.sh restart")

手动执行这个脚本

# chmod 755 log_rotate.py# python log_rotate.py

查看日志切割后的效果

# ls /opt/jumpserver/logs/2020  jumpserver.log # ls /opt/jumpserver/logs/2020/09/jumpserver.log_20200916.log

做每日定时切割任务：

# crontab -e30 1 * * * /usr/bin/python /mnt/log_rotate.py > /dev/null 2>&1

另一个示例，对nginx日志进行切割。

# vim log_rotate.py#!/usr/bin/env pythonimport datetime,os,sys,shutillog_path = '/app/nginx/logs/'
log_file = 'www_access.log'yesterday = (datetime.datetime.now() - datetime.timedelta(days = 1))try:os.makedirs(log_path + yesterday.strftime('%Y') + os.sep + \yesterday.strftime('%m'))except OSError,e:printprint esys.exit()shutil.move(log_path + log_file,log_path \+ yesterday.strftime('%Y') + os.sep \+ yesterday.strftime('%m') + os.sep \+ log_file + '_' + yesterday.strftime('%Y%m%d') + '.log')os.popen("sudo kill -USR1 `cat /app/nginx/logs/nginx.pid`")

其他业务日志的切割脚本跟上面做法相同。

Shell脚本实现日志切割

实例1：对/data/log/xcspam/下的日志切割

# vim /app/script/log_rotate.sh#!/bin/shfunction rotate() {logs_path=$1echo Rotating Log: $1
cp ${logs_path} ${logs_path}.$(date -d "yesterday" +"%Y%m%d")
> ${logs_path}rm -f ${logs_path}.$(date -d "7 days ago" +"%Y%m%d")
}for i in $*
dorotate $i
done

制定每天日志切割的任务。

# crontab -e30 0 * * * find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh

或者，手动执行日志切割。

# find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh

日志切割后的效果。

# ls /data/log/xcspam/xcspam_error.log  xcspam_error.log-20200926

实例2: 对/letv/logs/下的日志切割

# vim /letv/sh/cut_nginx_log.sh#!/bin/bash
# 你的日志文件存放目录
logs_path="/letv/logs/"
# 日志文件的名字，多个需要空格隔开
logs_names=(error access pv_access)
dates=`date -d "yesterday" +"%Y%m%d"`
mkdir -p ${logs_path}$dates/
num=${#logs_names[@]}
for((i=0;i<num;i++));do
mv ${logs_path}${logs_names[i]}.log ${logs_path}$dates/${logs_names[i]}.log
done
# nginx平滑重启
kill -USR1 `cat /letv/logs/nginx/nginx.pid`

结合crontab定时执行

# crontab -e00 00 * * * cd /letv/logs;/bin/bash /letv/sh/cut_nginx_log.sh > /dev/null 2>$1

实例三：

# vim /usr/local/sbin/logrotate-nginx.sh#!/bin/bash
#创建转储日志压缩存放目录
mkdir -p /data/nginx_logs/days
#手工对nginx日志进行切割转换
/usr/sbin/logrotate -vf /etc/logrotate.d/nginx
#当前时间
time=$(date -d "yesterday" +"%Y-%m-%d")
#进入转储日志存放目录
cd /data/nginx_logs/days
#对目录中的转储日志文件的文件名进行统一转换
for i in $(ls ./ | grep "^\(.*\)\.[[:digit:]]$")
do
mv ${i} ./$(echo ${i}|sed -n 's/^\(.*\)\.\([[:digit:]]\)$/\1/p')-$(echo $time)
done
#对转储的日志文件进行压缩存放，并删除原有转储的日志文件，只保存压缩后的日志文件。以节约存储空间
for i in $(ls ./ | grep "^\(.*\)\-\([[:digit:]-]\+\)$")
do
tar jcvf ${i}.bz2 ./${i}
rm -rf ./${i}
done
#只保留最近7天的压缩转储日志文件
find /data/nginx_logs/days/* -name "*.bz2" -mtime 7 -type f -exec rm -rf {} \;

# crontab -e0 0 * * * /bin/bash -x /usr/local/sbin/logrotate-nginx.sh > /dev/null 2>$1