日志采集的流程

客户端埋点

客户端埋点就是在客户系统植入日志发送的代码，可以是前端页面、app界面、后端服务等，把需要的日志信息发送到指定的日志采集接口。
日志的发送应该采用异步方式，这样不会对客户系统代码的执行造成影响。

日志采集

日志采集接口把接收过来的日志数据写入到日志文件，日志文件以天为单位进行存储。

日志采集接口代码

接口采用@IgnoreToken标记不需要进行令牌校验。
采用@CrossOrigin标记，让接口能够跨域访问，支持AJAX跨域请求。

    @ApiOperation(value = "提交日志")@ApiImplicitParams({@ApiImplicitParam(name = "logData", value = "日志数据", dataType = "LogData", paramType = "body")})@RequestMapping(path = "/log/add", method = RequestMethod.POST, produces = "application/json;charset=UTF-8")@IgnoreToken@CrossOriginpublic ResponseData addLog(@RequestBody LogData logData) {String logID = logService.logToFile(logData);return ResponseData.success(logID);}

日志文件格式的设计

日志以文本格式保存，每条日志按行写入。
日志行的格式如下：

时间戳|日志ID|日志数据JSON

日志按行保存的好处是，可以利用BufferedReader的readLine方法进行日志的按行读取。
日志按行保存，要对日志数据JSON部分进行处理，把换行符替换掉。

日志按行保存的主要代码

    public String logToFile(LogData logData){LogGroupData groupData = getLogGroup(logData.getKey());logData.setGroupID(groupData.getGroupID());String date = ConvertUtil.formatDate(new Date(), "yyyyMMdd");String path = PathUtil.combine(logFolder, "LOG" + date + ".log");String uuid = UUID.randomUUID().toString();String json = JSON.toJSONString(logData);StringBuilder sb = new StringBuilder();sb.append("[" + ConvertUtil.formatDate(new Date()) + "]|");sb.append(uuid + "|");for (int i = 0; i < json.length(); i++) {char c = json.charAt(i);if (c == '\r' || c == '\n')//换行符替换为空格sb.append(" ");elsesb.append(c);}FileUtil.appendLine(path, sb.toString());return uuid;}

日志写入文件的主要代码

利用RandomAccessFile类写入，用文件琐控制并发。如果是海量日志的场合，可以部署多几个采集点。

    public static void appendLine(String path, String line) {RandomAccessFile fout = null;FileChannel channel = null;try {File file = new File(path);if (!file.getParentFile().exists()) {file.getParentFile().mkdirs();}byte[] bytes = line.getBytes("utf-8");fout = new RandomAccessFile(file, "rw");long filelength = fout.length();//获取文件的长度fout.seek(filelength);//将文件的读写指针定位到文件的末尾channel = fout.getChannel();//打开文件通道FileLock fileLock = null;while (true) {try {fileLock = channel.tryLock();//不断的请求锁，如果请求不到，等一秒再请求break;} catch (Exception e) {logger.error("[FileUtil.appendLine]请求琐失败。");Thread.sleep(1000);}}fout.write(bytes);fout.writeChar('\n');fileLock.release();channel.close();fout.close();} catch (Exception e1) {logger.error(e1.getMessage(), e1);} finally {IOUtil.close(channel);IOUtil.close(fout);}}

日志汇总

通过定时任务，把各个采集点的日志文本导入数据库/大数据存储。

syslog日志系统——日志采集相关推荐

potainer 日志_日志系统落地：制定日志规范
我们的系统,已经接入阿里云的日志服务很长一段时间了,存了数以TB级别的日志,突然有一天,领导说,我们需要所有订单的ip信息用于审计订单的真实性,突然发现日志系统无法一次性查找到我所有需要的信息,让我很 ...
使用XLog、Spring-Boot、And-Design-Pro搭建日志系统
一.前言:移动端为什么要三方日志系统日志系统用于记录用户行为和数据以及崩溃时的线程调用栈,以帮助程序员解决问题,优化用户体验. iOS系统就有自带Crash收集应用程序"ReportCra ...
创业公司互联网架构方案整体技术栈基础设施数据库服务治理消息中间件日志系统 ELK 自动化部署
欢迎关注博主公众号:[矿洞程序员]文章由陈晓阳原创. 本人微信:chenxiaoyangzxy. 免费提供本人大量学习资料. 从零开始搭建创业公司后台技术栈原创: 潘锦说到后台技术栈,脑海中是不是 ...
python后台架构Django教程——日志系统
全栈工程师开发手册 (作者:栾鹏) python教程全解 python日志的相关内容可以先参考:http://blog.csdn.net/luanpeng825485697/article/detai ...
Linux内核学习：EXT4文件JBD日志系统（Journaling Block Device）
目录 0 Ext4的日志模式 1 日志系统的作用 2 日志系统工作场景 3 JDB日志块设备 3.1 JBD2的数据结构 3.1.1 buffer_head 3.1.2 handle 3.1.3 tr ...
syslog日志系统——框架选型
syslog日志系统--框架选型 sysog概述 syslog日志系统主要作用是采集有价值的日志信息,然后进行日志的汇总以及数据分析,最后展现分析结果报告为决策提供数据支撑. 本系列文章将逐一讲述sy ...
golang日志服务器_日志系统 | log/syslog (log) – Go 中文开发手册 - Break易站
Go 中文开发手册日志系统 | log/syslog (log) - Go 中文开发手册 import "log/syslog"概述索引示例概述软件包系统日志为系统日志服务提 ...
syslog打印不带等级_syslog之一：Linux syslog日志系统详解
目录: 一.syslog简介 syslog是一种工业标准的协议,可用来记录设备的日志.在UNIX系统,路由器.交换机等网络设备中,系统日志(System Log)记录系统中任何时间发生的大小事件.管理 ...
Linux syslog日志系统详解
一. syslog简介 syslog是一种工业标准的协议,可用来记录设备的日志.在UNIX系统,路由器.交换机等网络设备中,系统日志(System Log)记录系统中任何时间发生的大小事件.管理者可以 ...

syslog日志系统——日志采集