如何从代码层面优化系统性能
我们以前看到的很多架构变迁或者演进方面的文章大多都是针对架构方面的介绍,很少有针对代码级别的性能优化介绍,这就好比盖楼一样,楼房的基础架子搭的很好,但是盖房的工人不够专业,有很多需要注意的地方忽略了,那么在往里面填砖加瓦的时候出了问题,后果就是房子经常漏雨,墙上有裂缝等各种问题出现,虽然不至于楼房塌陷,但楼房也已经变成了危楼。那么今天我们就将针对一些代码细节方面的东西进行介绍,欢迎大家吐槽以及提建议。
服务器环境
服务器配置:4核CPU,8G内存,共4台
MQ:RabbitMQ
数据库:DB2
SOA框架:公司内部封装的Dubbo
缓存框架:Redis、Memcached
统一配置管理系统:公司内部开发的系统
问题描述
单台40TPS,加到4台服务器能到60TPS,扩展性几乎没有。
在实际生产环境中,经常出现数据库死锁导致整个服务中断不可用。
数据库事务乱用,导致事务占用时间太长。
在实际生产环境中,服务器经常出现内存溢出和CPU时间被占满。
程序开发的过程中,考虑不全面,容错很差,经常因为一个小bug而导致服务不可用。
程序中没有打印关键日志,或者打印了日志,信息却是无用信息没有任何参考价值。
配置信息和变动不大的信息依然会从数据库中频繁读取,导致数据库IO很大。
项目拆分不彻底,一个Tomcat中会布署多个项目WAR包。
因为基础平台的bug,或者功能缺陷导致程序可用性降低。
程序接口中没有限流策略,导致很多VIP商户直接拿我们的生产环境进行压测,直接影响真正的服务可用性。
没有故障降级策略,项目出了问题后解决的时间较长,或者直接粗暴的回滚项目,但是不一定能解决问题。
没有合适的监控系统,不能准实时或者提前发现项目瓶颈。
优化解决方案
1、数据库死锁优化解决
我们从第二条开始分析,先看一个基本例子展示数据库死锁的发生:
注:在上述事例中,会话B会抛出死锁异常,死锁的原因就是A和B二个会话互相等待。
分析:出现这种问题就是我们在项目中混杂了大量的事务+for update语句,针对数据库锁来说有下面三种基本锁:
Record Lock:单个行记录上的锁
Gap Lock:间隙锁,锁定一个范围,但不包含记录本身
Next-Key Lock:Gap Lock + Record Lock,锁定一个范围,并且锁定记录本身
当for update语句和gap lock和next-key lock锁相混合使用,又没有注意用法的时候,就非常容易出现死锁的情况。
那我们用大量的锁的目的是什么,经过业务分析发现,其实就是为了防重,同一时刻有可能会有多笔支付单发到相应系统中,而防重措施是通过在某条记录上加锁的方式来进行。
针对以上问题完全没有必要使用悲观锁的方式来进行防重,不仅对数据库本身造成极大的压力,同时也会把对于项目扩展性来说也是很大的扩展瓶颈,我们采用了三种方法来解决以上问题:
使用Redis来做分布式锁,Redis采用多个来进行分片,其中一个Redis挂了也没关系,重新争抢就可以了。
使用主键防重方法,在方法的入口处使用防重表,能够拦截所有重复的订单,当重复插入时数据库会报一个重复错,程序直接返回。
使用版本号的机制来防重。
以上三种方式都必须要有过期时间,当锁定某一资源超时的时候,能够释放资源让竞争重新开始。
2、数据库事务占用时间过长
伪代码示例:
项目中类似这样的程序有很多,经常把类似httpClient,或者有可能会造成长时间超时的操作混在事务代码中,不
仅会造成事务执行时间超长,而且也会严重降低并发能力。
那么我们在用事务的时候,遵循的原则是快进快出,事务代码要尽量小。针对以上伪代码,我们要用httpClient这一行拆分出来,避免同事务性的代码混在一起,这不是一个好习惯。
3、CPU时间被占满分析
下面以我之前分析的一个案例作为问题的起始点,首先看下面的图:
项目在压测的过程中,CPU一直居高不下,那么通过分析得出如下分析:
1)数据库连接池影响
我们针对线上的环境进行模拟,尽量真实的在测试环境中再现,采用数据库连接池为咱们默认的C3P0。
那么当压测到二万批,100个用户同时访问的时候,并发量突然降为零!报错如下:
com.yeepay.g3.utils.common.exception.YeepayRuntimeException: Could not get JDBC Connection; nested exception is java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.
那么针对以上错误跟踪C3P0源码,以及在网上搜索资料发现C3P0在大并发下表现的性能不佳。
2)线程池使用不当引起
以上代码的场景是每一次并发请求过来,都会创建一个线程,将DUMP日志导出进行分析发现,项目中启动了一万多个线程,而且每个线程都极为忙碌,彻底将资源耗尽。
那么问题到底在哪里呢???就在这一行!
private static final ExecutorService executorService = Executors.newCachedThreadPool();
在并发的情况下,无限制的申请线程资源造成性能严重下降,在图表中显抛物线形状的元凶就是它!!!那么采用这种方式最大可以产生多少个线程呢??答案是:Integer的最大值!看如下源码:
那么尝试修改成如下代码:
private static final ExecutorService executorService = Executors.newFixedThreadPool(50);
修改完成以后,并发量重新上升到100以上TPS,但是当并发量非常大的时候,项目GC(垃圾回收能力下降),分析原因还是因为Executors.newFixedThreadPool(50)这一行,虽然解决了产生无限线程的问题,但是当并发量非常大的时候,采用newFixedThreadPool这种方式,会造成大量对象堆积到队列中无法及时消费,看源码如下:
可以看到采用的是无界队列,也就是说队列是可以无限的存放可执行的线程,造成大量对象无法释放和回收。
2)最终线程池技术方案
方案一
注:因为服务器的CPU只有4核,有的服务器甚至只有2核,所以在应用程序中大量使用线程的话,反而会造成性能影响,针对这样的问题,我们将所有异步任务全部拆出应用项目,以任务的方式发送到专门的任务处理器处理,处理完成回调应用程序器。后端定时任务会定时扫描任务表,定时将超时未处理的异步任务再次发送到任务处理器进行处理。
方案二
使用AKKA技术框架,下面是我以前写的一个简单的压测情况:
http://www.jianshu.com/p/6d62256e3327
4、日志打印问题
先看下面这段日志打印程序:
像这样的代码是严格不符合规范的,虽然每个公司都有自己的打印要求。
首先日志的打印必须是以logger.error或者logger.warn的方式打印出来。
日志打印格式:[系统来源] 错误描述 [关键信息],日志信息要能打印出能看懂的信息,有前因和后果。甚至有些方法的入参和出参也要考虑打印出来。
在输入错误信息的时候,Exception不要以e.getMessage的方式打印出来。
合理的日志格式是:
我们在程序中大量的打印日志,虽然能够打印很多有用信息帮助我们排查问题,但是更多是日志量太多不仅影响磁盘IO,更多会造成线程阻塞对程序的性能造成较大影响。
在使用Log4j1.2.14版本的时候,使用如下格式:
%d %-5p %c:%L [%t] - %m%n
那么在压测的时候会出现下面大量的线程阻塞,如下图:
再看压测图如下:
原因可以根据log4j源码分析如下:
注:Log4j源码里用了synchronized锁,然后又通过打印堆栈来获取行号,在高并发下可能就会出现上面的情况。
于是修改Log4j配置文件为:
%d %-5p %c [%t] - %m%n
上面问题解决,线程阻塞的情况很少出现,极大的提高了程序的并发能力,如下图所示:
作者介绍
程超,易宝支付架构师,10年Java工作经验,擅长和感兴趣的技术领域是分布式和大数据方面,目前主要从事金融支付类方向。
如何从代码层面优化系统性能相关推荐
- 从代码层面优化系统性能的解决方案
作者|程超 编辑|小智 我们以前看到的很多架构变迁或者演进方面的文章大多都是针对架构方面的介绍,很少有针对代码级别的性能优化介绍.本文将针对一些代码细节方面的东西进行介绍,欢迎大家吐槽以及提建议. 写 ...
- 性能优化—代码层面优化
原文地址:https://www.cnblogs.com/qmfsun/p/5589891.html 我们以前看到的很多架构变迁或者演进方面的文章大多都是针对架构方面的介绍,很少有针对代码级别的性能优 ...
- 有关前端性能优化的方案—Vue 代码层面性能优化+Webpack 层面的优化+基础的 Web 技术优化+非框架代码优化
文章目录: 一.代码层面的优化 1.1.v-if 和 v-show 区分使用场景 1.2.computed 和 watch 区分使用场景 1.3.v-for 遍历必须为 item 添加 key,且避免 ...
- Android 系统性能优化(42)---Android代码内存优化建议-Android资源篇
Android代码内存优化建议-Android资源篇 这篇文章主要介绍在实际Android应用程序的开发中,容易导致内存泄露的一些情况.开发人员如果在进行代码编写之前就有内存泄露方面的基础知识,那么写 ...
- Android 系统性能优化(41)---Android代码内存优化建议-OnTrimMemory优化
Android代码内存优化建议-OnTrimMemory优化 OnTrimMemory 回调是 Android 4.0 之后提供的一个API,这个 API 是提供给开发者的,它的主要作用是提示开发者在 ...
- iOS进阶 - 包大小:如何从资源和代码层面实现全方位瘦身
iOS进阶 - 包大小:如何从资源和代码层面实现全方位瘦身 官方 App Thinning App Thinning 是由苹果公司推出的一项可以改善 App 下载进程的新技术,主要为了解决用户下载 A ...
- 纯c语言编译器pelloc,大规模并行粒子模拟系统代码级优化研究和实现.pdf
大规模并行粒子模拟系统代码级优化研究和实现.pdf 第25卷第9期 计算机与应用化学 V01.25.No.9 2008年9月28日 and ComputersAppIiedChemistry 大规模并 ...
- 通关GO语言19 性能优化:Go 语言如何进行代码检查和优化?
在上节课中,我为你留了一个小作业:在运行 go test 命令时,使用 -benchmem 这个 Flag 进行内存统计.该作业的答案比较简单,命令如下所示: ➜ go test -bench=. - ...
- 系统层面优化深度学习计算
百度首页 yuancsnuist 如何从系统层面优化深度学习计算? 搜狐科技05-1717:18 编者按:在图像.语音识别.自然语言处理.强化学习等许多技术领域中,深度学习已经被证明是非常有效的,并且 ...
最新文章
- 大型网站核心架构要素--性能
- IT项目需求分析的重点关注事项
- NeurIPS 2020有哪些值得读的「图神经网络」论文?
- android 右上角 xml,android状态栏右上角增加图标的方法
- magrittr | R语言的管道操作符
- 面向对象有哪几种常用的设计模式,六大设计原则是什么
- java.lang.IllegalStateException: Failed to load ApplicationContext selenium 异常 解决
- sql server 监视_使用SQL Server Reporting Services进行快速,肮脏的服务器监视
- [转]netstat 输出内容详解,TCP链接握手对应state
- 计算机重装操作系统的软件,重装系统后的装机必备软件电脑推荐
- Contextual 上下文绑定机制
- PTA 1107 老鼠爱大米(C++实现)
- bat 切换网络适配器_Windows批处理自动切换IP地址设置无线网络和以太网的IP地址...
- 谈谈我的信息安全学习经历
- tensorflow中tf.nn.xw_plus_b
- 校园二手物品商城交易平台
- 盛世昊通微达国际联合出品《天下无拐》,还孩子们一片蓝天
- 学习编程技术七个常见的疑问,你了解过吗?
- 实验一OpenGL图形编程入门
- MySQL数据库(三)eclipse软件中使用JDBC连接数据库
热门文章
- ContentProviderOperation批量操作提升性能
- 理解进程创建、可执行文件的加载和进程执行进程切换,重点理解分析fork、execve和进程切换
- NTFS 在linux上挂载,parted分区工具用法
- Spring Ioc注解式开发中注解的作用
- http在链接中加入用户名_爬虫基础——HTTP基本原理
- mysql存储加速_mysql存储过程加速
- android程序db文件用什么编辑器,在 Android Studio 上调试数据库 ( SQLite )
- wps怎么投递简历发到boss直聘_BOSS直聘情色招聘:洗脑传销广告漫天飞,还陷虚假招聘...
- 可逆加密算法 php,php可逆加密的方法及原理
- c++中内敛函数_C++ 内联函数 | 菜鸟教程