• 自定义Layout

  • 编写log4j配置

  • 正则匹配说明

  • 注意事项

  • 脱敏测试


许多系统为了安全需要对敏感信息(如手机号、邮箱、姓名、身份证号、密码、卡号、住址等)的日志打印要求脱敏后才能输出,本文将结合个人经历及总结分享一种log4j日志脱敏方式。

自定义Layout

import org.apache.logging.log4j.core.Layout;
import org.apache.logging.log4j.core.LogEvent;
import org.apache.logging.log4j.core.config.Node;
import org.apache.logging.log4j.core.config.plugins.Plugin;
import org.apache.logging.log4j.core.config.plugins.PluginAttribute;
import org.apache.logging.log4j.core.config.plugins.PluginElement;
import org.apache.logging.log4j.core.config.plugins.PluginFactory;
import org.apache.logging.log4j.core.layout.AbstractStringLayout;
import org.apache.logging.log4j.core.layout.PatternLayout;
import org.apache.logging.log4j.core.pattern.RegexReplacement;import java.nio.charset.Charset;@Plugin(name = "MyPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
public class MyPatternLayout extends AbstractStringLayout {private PatternLayout patternLayout;private Boolean sensitive;private RegexReplacement[] replaces;protected MyPatternLayout(Charset charset, String pattern, Boolean sensitive, RegexReplacement[] replaces) {super(charset);patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();this.sensitive = sensitive;this.replaces = replaces;}/*** 插件构造工厂方法** @param pattern   输出pattern* @param charset   字符集* @param sensitive 是否开启脱敏* @param replaces  脱敏规则* @return Layout<String>*/@PluginFactorypublic static Layout<String> createLayout(@PluginAttribute(value = "pattern") final String pattern,@PluginAttribute(value = "charset", defaultString = "UTF-8") final Charset charset,@PluginAttribute(value = "sensitive") final Boolean sensitive,@PluginElement("replace") final RegexReplacement[] replaces) {return new MyPatternLayout(charset, pattern, sensitive, replaces);}@Overridepublic String toSerializable(LogEvent event) {// 原日志信息String msg = this.patternLayout.toSerializable(event);if (Boolean.FALSE.equals(this.sensitive)) {// 不脱敏,直接返回return msg;}if (this.replaces == null || this.replaces.length == 0) {throw new RuntimeException("未配置脱敏规则,请检查配置重试");}for (RegexReplacement replace : this.replaces) {// 遍历脱敏正则 & 替换敏感数据msg = replace.format(msg);}// 脱敏后的日志return msg;}
}

编写log4j配置

以下预设了8中常见规则,请自行根据实际情况修改

<?xml version="1.0" encoding="utf-8"?>
<configuration><properties><!-- 文件输出格式 --><property name="PATTERN">%d{yyyy-MM-dd HH:mm:ss.SSS} %5level --- [%t] %c : %msg%n</property></properties><appenders><!-- 日志打印到控制台Appender --><Console name="CONSOLE" target="system_out"><MyPatternLayout pattern="${PATTERN}" sensitive="true"><replace><!-- 11位的手机号:保留前3后4 --><regex><![CDATA[(mobile|手机号)(=|=\[|\":\"|:|:|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)]]></regex><replacement>$1$2$3$4****$6$7</replacement></replace><replace><!-- 固定电话:XXXX-XXXXXXXX或XXX-XXXXXXXX,保留区号+前2后2 --><regex><![CDATA[(tel|座机)(=|=\[|\":\"|:|:|=')([\d]{3,4}-)(\d{2})(\d{4})(\d{2})(\]|\"|'|)]]></regex><replacement>$1$2$3$4****$6$7</replacement></replace><replace><!-- 地址:汉字+字母+数字+下划线+中划线,留前3个汉字 --><regex><![CDATA[(地址|住址|address)(=|=\[|\":\"|:|:|=')([\u4e00-\u9fa5]{3})(\w|[\u4e00-\u9fa5]|-)*(\]|\"|'|)]]></regex><replacement>$1$2$3****$5</replacement></replace><replace><!-- 19位的卡号,保留后4 --><regex><![CDATA[(cardNo|卡号)(=|=\[|\":\"|:|:|=')(\d{15})(\d{4})(\]|\"|'|)]]></regex><replacement>$1$2***************$4$5</replacement></replace><replace><!-- 姓名,2-4汉字,留前1--><regex><![CDATA[(name|姓名)(=|=\[|\":\"|:|:|=')([\u4e00-\u9fa5]{1})([\u4e00-\u9fa5]{1,3})(\]|\"|'|)]]></regex><replacement>$1$2$3**$5</replacement></replace><replace><!--  密码 6位数字,全* --><regex><![CDATA[(password|密码|验证码)(=|=\[|\":\"|:|:|=')(\d{6})(\]|\"|'|)]]></regex><replacement>$1$2******$4</replacement></replace><replace><!-- 身份证,18位(结尾为数字或X、x),保留前1后1 --><regex><![CDATA[(身份证号|idCard)(=|=\[|\":\"|:|:|=')(\d{1})(\d{16})([\d|X|x]{1})(\]|\"|)]]></regex><replacement>$1$2$3****************$5$6</replacement></replace><replace><!-- 邮箱,保留@前的前1后1 --><regex><![CDATA[(\w{1})(\w*)(\w{1})@(\w+).com]]></regex><replacement>$1****$3@$4.com</replacement></replace></MyPatternLayout></Console></appenders><loggers><!-- 控制台输出 --><root level="info"><AppenderRef ref="CONSOLE"/></root></loggers></configuration>

注意:

  • Console使用了上一节中我们自己写的的MyPatternLayoutMyPatternLayout的两个属性patternsensitive,对应类MyPatternLayout的插件工厂方法的入参

  • MyPatternLayout节点的子节点replace(可多个)是我们配置的脱敏正则表达式

正则匹配说明

<replace><!-- 11位的手机号:保留前3后4 --><regex><![CDATA[
(mobile|手机号|phoneNo)(=|=\[|\":\"|:|:|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)]]></regex><replacement>$1$2$3$4****$6$7</replacement>
</replace>

regex说明

  • (mobile|手机号|phoneNo):脱敏关键字,多个之间以英文|分隔

  • (=|=\[|\":\"|:|:|='):关键字后的符号,多个之间以英文|分隔,详见下文匹配说明

  • (1):匹配数字1

  • ([3-9]{2}):匹配2位数字,取值为3-9间的数字

  • (\d{4}):匹配4位数字

  • (\d{4}):匹配4位数字

  • (\]|\"|'|):匹配值后的其他字符

// 代码
logger.infoMessage("mobile={}", "13511114444");
# 脱敏后
2021-11-16 11:02:08.767  INFO --- [main] log.test.LogTest : mobile=135****4444

分组匹配示意图(同颜色为对应关系)

图片

replacement中的$n即对应第n对括号(从1开始),上图中共有7对括号,$1$2$3$4**** $6$7则表示,仅有第5组内容被**** 替代,其他内容按原内容显示

注意事项

  • 根据情况自行调整replace节点

  • 含脱敏关键字的正则,尽量列举全面

  • 值匹配正则(如上文的手机号的第3分组到倒数第2分组):需要根据实际情况调整,特别是卡号、账号的规则,各家银行或有不同

  • 修改完配置后,务必进行测试,正则解析出错只有运行时可发现

  • 另外,更多面试题资料,公众号Java精选,回复java面试,获取面试资料

  • 日志打印规范,根据第2分组(=|=\[|\":\"|:|:|=')可知,可匹配如下情况

@Test
public void test0() {// 等号logger.infoMessage("mobile={}", "13511114444");// 等号+[logger.infoMessage("mobile=[{}]", "13511114444");// 英文单引号+等号logger.infoMessage("mobile'='{}'", "13511114444");// 中文冒号logger.infoMessage("mobile:{}", "13511114444");// 英文冒号logger.infoMessage("mobile:{}", "13511114444");// 英文双引号+英文冒号logger.infoMessage("\"mobile\":\"{}\"", "13511114444");
}
# 脱敏后
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=[135****4444]
log.test.LogTest : mobile:135****4444
log.test.LogTest : mobile:135****4444
log.test.LogTest : 'mobile'='13511114444'
log.test.LogTest : "mobile":"135****4444"

对于不符合如上的情况,请调整代码或修改匹配正则

脱敏测试

普通字符串值直接输出

@Test
public void test1() {//11位手机号logger.infoMessage("mobile={}", "13511114444");logger.infoMessage("mobile={},手机号:{}", "13511112222", "13511113333");logger.infoMessage("手机号:{}", "13511115555");//固定电话(带区号-)logger.infoMessage("tel:{},座机={}", "0791-83376222", "021-88331234");logger.infoMessage("tel:{}", "0791-83376222");logger.infoMessage("座机={}", "021-88331234");//地址logger.infoMessage("address:{}", "浙江省杭州市西湖区北京西路100号");logger.infoMessage("地址:{}", "上海市浦东区北京东路1-10号");//19位卡号logger.infoMessage("cardNo:{}", "6227002020000101222");//姓名logger.infoMessage("name={}, 姓名=[{}],name={},姓名:{}", "张三", "上官婉儿", "李云龙", "楚云飞");//密码logger.infoMessage("password:{},密码={}", "123456", "456789");logger.infoMessage("password:{}", "123456");logger.infoMessage("密码={}", "123456");//身份证号码logger.infoMessage("idCard:{},身份证号={}", "360123202111111122", "360123202111111122");logger.infoMessage("身份证号={}", "360123202111111122");//邮箱logger.infoMessage("邮箱:{}", "wxyz123@qq.com");logger.infoMessage("email={}", "wxyz123@qq.com");
}
# 结果
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=135****2222,手机号:135****3333
log.test.LogTest : 手机号:135****5555
log.test.LogTest : tel:0791-83****22,座机=021-88****34
log.test.LogTest : tel:0791-83****22
log.test.LogTest : 座机=021-88****34
log.test.LogTest : address:浙江省****
log.test.LogTest : 地址:上海市****
log.test.LogTest : cardNo:***************1222
log.test.LogTest : name=张**, 姓名=[上**],name=李**,姓名:楚**
log.test.LogTest : password:******,密码=******
log.test.LogTest : password:******
log.test.LogTest : 密码=******
log.test.LogTest : idCard:3****************2,身份证号=3****************2
log.test.LogTest : 身份证号=3****************2
log.test.LogTest : 邮箱:w****3@qq.com
log.test.LogTest : email=w****3@qq.com

jsontoString的脱敏输出

@Test
public void test2() {User user = new User();user.setCardNo("6227002020000101222");user.setTel("0571-28821111");user.setAddress("浙江省西湖区西湖路288号钱江乐园2-101室");user.setEmail("zhangs12345@qq.com");user.setPassword("123456");user.setMobile("15911116789");user.setName("张三");user.setIdCard("360123202111111122");Job job = new Job();job.setAddress("浙江省西湖区西湖路288号钱江乐园2-101室");job.setTel("0571-12345678");job.setJobName("操作员");job.setSalary(2000);job.setCompany("股份有限公司");job.setPosition(Arrays.asList("需求", "开发", "测试", "上线"));user.setJob(job);//toStringlogger.infoMessage("用户信息:{}", user);//jsonlogger.infoMessage("用户信息:{}", JSONUtil.toJsonStr(user));
}
log.test.LogTest : 用户信息:User{name='张**', idCard='3****************2', cardNo='***************1222', mobile='159****6789', tel='0571-28****11', password='******', email='z****5@qq.com', address='浙江省****', job=Job{jobName='操作员', salary=2000, company='股份有限公司', address='浙江省****', tel='0571-12****78', position=[需求, 开发, 测试, 上线]}}log.test.LogTest : 用户信息:{"password":"******","address":"浙江省****","idCard":"3****************2","name":"张**","mobile":"159****6789","tel":"0571-28****11","job":{"jobName":"操作员","address":"浙江省****","company":"股份有限公司","tel":"0571-12****78","position":["需求","开发","测试","上线"],"salary":2000},"cardNo":"***************1222","email":"z****5@qq.com"}

在线正则测试:https://c.runoob.com/front-end/854/

参考链接

  • https://logging.apache.org/log4j/2.x/manual/extending.html

  • https://mp.weixin.qq.com/s/uKlit0Cu8ZhqM_1I1_N-9Q

  • https://blog.csdn.net/VcStrong/article/details/80527455

版权声明:本文为CSDN博主「嘻上槑梢」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

https://blog.csdn.net/blue_driver/article/details/122025368

公众号“Java精选”所发表内容注明来源的,版权归原出处所有(无法查证版权的或者未注明出处的均来自网络,系转载,转载的目的在于传递更多信息,版权属于原作者。如有侵权,请联系,笔者会第一时间删除处理!

最近有很多人问,有没有读者交流群!加入方式很简单,公众号Java精选,回复“加群”,即可入群!

Java精选面试题(微信小程序):3000+道面试题,包含Java基础、并发、JVM、线程、MQ系列、Redis、Spring系列、Elasticsearch、Docker、K8s、Flink、Spark、架构设计等,在线随时刷题!

------ 特别推荐 ------

特别推荐:专注分享最前沿的技术与资讯,为弯道超车做好准备及各种开源项目与高效率软件的公众号,「大咖笔记」,专注挖掘好东西,非常值得大家关注。点击下方公众号卡片关注

文章有帮助的话,点在看,转发吧!

一文玩转 Java 日志数据脱敏,就是如此简单!相关推荐

  1. 一文玩转 Java 日志数据脱敏

  2. java web 数据脱敏

    java web 数据脱敏 参考上文: java日志脱敏实现 1. 题记 在交易管理系统中,由于数据库存储客户人脸图片和客户名称.客户证件号.手机号.银行卡号等相关敏感字段,为了防止数据泄露现根据用户 ...

  3. Java 实现数据脱敏的技术方案

    数据脱敏是保护个人隐私的一种重要手段,它通过对敏感信息进行处理,将敏感信息转换为不敏感的信息,以保护个人隐私不被泄漏.在Java中,数据脱敏也是一项非常重要的技术,本文将从数据脱敏的概念.Java中的 ...

  4. java 数据库数据脱敏_Sharding-JDBC-数据脱敏

    数据脱敏 该章节主要介绍如何使用数据脱敏功能,如何进行相关配置.数据脱敏功能即可与数据分片功能共同使用,又可作为单独功能组件,独立使用. 与数据分片功能共同使用时,会创建ShardingDataSou ...

  5. Java实现数据脱敏

    前言   在开发系统过程中,经常会接触到大量的数据信息,这些数据信息可能包含身份证号.手机号.姓名.卡号等各种敏感信息.而有些用户需求是不允许,这些敏感信息数据为了保护用户个人信息的安全.对这些数据需 ...

  6. Java自定义数据脱敏注解

    应用场景 数据库中密文存储身份证.手机号等敏感信息时,Java需要将密文数据转换为明文并脱敏返回给前端. 脱敏方式枚举类 public enum DesensitizationTypeEnum {/* ...

  7. java日志之slf4j与logback简单使用

    最近在开发遇到日志是使用slf4j与logback.xml的配置,所以就记录下来了. 1.导入这几个jar包: Logback 分为三个模块:logback-core,logback-classic, ...

  8. 数据脱敏——基于Java自定义注解实现日志字段脱敏

    上文说了数据过敏主要有两个思路:第一个就是在序列化实体之前先把需要脱敏的字段进行处理,之后正常序列化:第二个就是在实体序列化的时候,对要脱敏的字段进行处理. 脱敏实现思路 这里探讨第一种方法,用基于自 ...

  9. Springboot 日志、配置文件、接口数据脱敏

    核心隐私数据无论对于企业还是用户来说尤其重要,因此要想办法杜绝各种隐私数据的泄漏.下面陈某带大家从以下三个方面讲解一下隐私数据如何脱敏,也是日常开发中需要注意的: 配置文件数据脱敏 接口返回数据脱敏 ...

最新文章

  1. hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误...
  2. 使用RawSocket进行网络抓包
  3. 科技在进步,一文带你看看 MATLAB R2020a 为工程师和科学家带来哪些 AI 功能?
  4. 【Java虚拟机】Java虚拟机深度讲解、VisualVM工具、JVM调优
  5. matlab波形振幅,MATLAB正交振幅调制解调仿真分析(一)
  6. java矩阵加法_在java中的数组加法?
  7. 数据结构---基数排序
  8. html鼠标事件没反应,鼠标有时候点击没反应怎么解决
  9. SQL触发器 常用语句
  10. 5.3 GRU、LSTM 情感分类
  11. 使用docker实现半自动化代码自动部署与回滚
  12. DispatchAction
  13. 滑动门技术的详细分析
  14. 安装openguass数据库配套工具Data Studio
  15. 机器人对话系统的单轮对话和多轮对话
  16. Corgi-ICode —— 帮你少写点代码
  17. 描写火车站场景_优美段落:描写车站的经典美文摘抄
  18. 解决mysql主从 The slave IO thread stops because the master has @@GLOBAL.GTID_MODE OFF and this server
  19. 渗透测试工程是的主要工作
  20. 更新!又一批阿里网盘扩充码!亲测有效!数量较少,抓紧!

热门文章

  1. 云梦四时歌如何在电脑上玩 云梦四时歌模拟器教程
  2. 华工计算机应用基础》作业,华工_计算机应用基础2015作业
  3. VMware workstation pro虚拟机以及linux操作系统的安装
  4. Dell PowerVault TL2000 Tape 磁带机日志查错误磁带
  5. Stammering Aliens
  6. html+css (静态页面+动画案例)
  7. 今日睡眠质量记录70
  8. 机器学习深度学习数据集大汇总
  9. 11月NEO技术社区开发进展汇总
  10. 网易秘密启动“D计划” 引爆新一轮电子邮箱大战