Go性能调优-pprof
在计算机性能调试领域里,profiling
是指对应用程序的画像,画像就是应用程序使用 CPU 和内存的情况。 Go语言是一个对性能特别看重的语言,因此语言中自带了 profiling
的库,这篇文章就要讲解怎么在 golang
中做 profiling
。
Go性能优化
Go语言项目中的性能优化主要有以下几个方面:
- CPU profile:报告程序的 CPU 使用情况,按照一定频率去采集应用程序在 CPU 和寄存器上面的数据
- Memory Profile(Heap Profile):报告程序的内存使用情况
- Block Profiling:报告 goroutines 不在运行状态的情况,可以用来分析和查找死锁等性能瓶颈
- Goroutine Profiling:报告 goroutines 的使用情况,有哪些 goroutine,它们的调用关系是怎样的
采集性能数据
Go语言内置了获取程序的运行数据的工具,包括以下两个标准库:
- runtime/pprof:采集工具型应用运行数据进行分析
- net/http/pprof:采集服务型应用运行时数据进行分析
pprof开启后,每隔一段时间(10ms)就会收集下当前的堆栈信息,获取各个函数占用的CPU以及内存资源;最后通过对这些采样数据进行分析,形成一个性能分析报告。
注意,我们只应该在性能测试的时候才在代码中引入pprof。
工具型应用
如果你的应用程序是运行一段时间就结束退出类型。那么最好的办法是在应用退出的时候把 profiling 的报告保存到文件中,进行分析。对于这种情况,可以使用runtime/pprof库。 首先在代码中导入runtime/pprof工具:
import "runtime/pprof"
CPU性能分析
开启CPU性能分析:
pprof.StartCPUProfile(w io.Writer)
停止CPU性能分析:
pprof.StopCPUProfile()
应用执行结束后,就会生成一个文件,保存了我们的 CPU profiling 数据。得到采样数据之后,使用go tool pprof工具进行CPU性能分析。
内存性能优化
记录程序的堆栈信息
pprof.WriteHeapProfile(w io.Writer)
得到采样数据之后,使用go tool pprof
工具进行内存性能分析。
go tool pprof
默认是使用-inuse_space
进行统计,还可以使用-inuse-objects
查看分配对象的数量。
数据分析
go tool pprof
最简单的使用方式为:
go tool pprof [binary] [source]
其中:
- binary 是应用的二进制文件,用来解析各种符号;
- source 表示 profile 数据的来源,可以是本地的文件,也可以是 http 地址。
注意事项: 获取的 Profiling 数据是动态的,要想获得有效的数据,请保证应用处于较大的负载(比如正在生成中运行的服务,或者通过其他工具模拟访问压力)。否则如果应用处于空闲状态,得到的结果可能没有任何意义。
具体示例
首先我们来写一段有问题的代码:
package mainimport ("flag""fmt""os""runtime/pprof""time"
)// 一段有问题的代码
func logicCode() {var c chan intfor {select {case v := <-c:fmt.Printf("recv from chan, value:%v\n", v)default://修正让出CPU//time.Sleep(time.Millisecond)}}
}func main() {var isCPUPprof boolvar isMemPprof boolflag.BoolVar(&isCPUPprof, "cpu", false, "turn cpu pprof on")flag.BoolVar(&isMemPprof, "mem", false, "turn mem pprof on")flag.Parse()if isCPUPprof {f1, err := os.Create("./cpu.pprof")if err != nil {fmt.Printf("create cpu pprof failed, err:%v\n", err)return}_ = pprof.StartCPUProfile(f1)defer func() {pprof.StopCPUProfile()_ = f1.Close()}()}for i := 0; i < 6; i++ {go logicCode()}time.Sleep(10 * time.Second)if isMemPprof {f2, err := os.Create("./mem.pprof")if err != nil {fmt.Printf("create mem pprof failed, err:%v\n", err)return}defer func() {_ = pprof.WriteHeapProfile(f2)_ = f2.Close()}()}
}
通过flag我们可以在命令行控制是否开启CPU和Mem的性能分析。 将上面的代码保存并编译成runtime_pprof
可执行文件,执行时加上-cpu
命令行参数如下:
./runtime_pprof -cpu
等待30秒后会在当前目录下生成一个cpu.pprof
文件。
命令行交互界面
我们使用go工具链里的pprof来分析一下。
go tool pprof cpu.pprof
执行上面的代码会进入交互界面如下:
runtime_pprof $ go tool pprof cpu.pprof
Type: cpu
Time: Jun 28, 2019 at 11:28am (CST)
Duration: 20.13s, Total samples = 1.91mins (568.60%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)
我们可以在交互界面输入top3来查看程序中占用CPU前3位的函数:
(pprof) top3
Showing nodes accounting for 100.37s, 87.68% of 114.47s total
Dropped 17 nodes (cum <= 0.57s)
Showing top 3 nodes out of 4flat flat% sum% cum cum%42.52s 37.15% 37.15% 91.73s 80.13% runtime.selectnbrecv35.21s 30.76% 67.90% 39.49s 34.50% runtime.chanrecv22.64s 19.78% 87.68% 114.37s 99.91% main.logicCode
其中:
- flat:当前函数占用CPU的耗时
- flat::当前函数占用CPU的耗时百分比
- sun%:函数占用CPU的耗时累计百分比
- cum:当前函数加上调用当前函数的函数占用CPU的总耗时
- cum%:当前函数加上调用当前函数的函数占用CPU的总耗时百分比
- 最后一列:函数名称
在大多数的情况下,我们可以通过分析这五列得出一个应用程序的运行情况,并对程序进行优化。
我们还可以使用list 函数名
命令查看具体的函数分析,例如执行list logicCode
查看我们编写的函数的详细分析。
(pprof) list logicCode
Total: 1.91mins
ROUTINE ================ main.logicCode in .../runtime_pprof/main.go22.64s 1.91mins (flat, cum) 99.91% of Total. . 12:func logicCode() {. . 13: var c chan int. . 14: for {. . 15: select {. . 16: case v := <-c:22.64s 1.91mins 17: fmt.Printf("recv from chan, value:%v\n", v). . 18: default:. . 19:. . 20: }. . 21: }. . 22:}
通过分析发现大部分CPU资源被17行占用,我们分析出select语句中的default没有内容会导致上面的case v:=<-c:
一直执行。我们在default分支添加一行time.Sleep(time.Second)
即可。
图形化
或者可以直接输入web,通过svg图的方式查看程序中详细的CPU占用情况。 想要查看图形化的界面首先需要安装graphviz图形化工具。
Mac:
brew install graphviz
Windows: 下载graphviz 将graphviz安装目录下的bin文件夹添加到Path环境变量中。 在终端输入dot -version查看是否安装成功。
关于图形的说明: 每个框代表一个函数,理论上框的越大表示占用的CPU资源越多。 方框之间的线条代表函数之间的调用关系。 线条上的数字表示函数调用的次数。 方框中的第一行数字表示当前函数占用CPU的百分比,第二行数字表示当前函数累计占用CPU的百分比。
除了分析CPU性能数据,pprof也支持分析内存性能数据。比如,使用下面的命令分析http服务的heap性能数据,查看当前程序的内存占用以及热点内存对象使用的情况。
# 查看内存占用数据
go tool pprof -inuse_space http://127.0.0.1:8080/debug/pprof/heap
go tool pprof -inuse_objects http://127.0.0.1:8080/debug/pprof/heap
# 查看临时内存分配数据
go tool pprof -alloc_space http://127.0.0.1:8080/debug/pprof/heap
go tool pprof -alloc_objects http://127.0.0.1:8080/debug/pprof/heap
火焰图
火焰图(Flame Graph)是 Bredan Gregg 创建的一种性能分析图表,因为它的样子近似
Go性能调优-pprof相关推荐
- Go性能调优及相关工具使用(四)——性能调优工具pprof的使用
文章目录 一.本次学习重点内容: 本堂课的知识要点有哪些? 1.性能发现工具pprof 2.性能调优案例 二.详细知识点介绍: 1.性能调优简介 性能调优原则: 2.性能发现工具pprof 说明: p ...
- 8、go语言:测试与性能调优
1.测试: 程序应该多做测试,少做调试 传统测试 VS 表格驱动测试(go语言使用) //传统测试 @Test public void testAdd(){assertEquals(3,add(1,2 ...
- 字节青训营第三课之高质量编程与性能调优实战的笔记和总结
这是字节青训营第三课:高质量编程与性能调优实战的笔记和总结 概要 准备 尝试使用 test 命令,编写并运行简单测试 尝试使用 -bench参数,对函数进行性能测试 推荐阅读Go代码Review建议. ...
- golang学习笔记——测试与性能调优
测试 longestString/longestString.go package main//Nonrepeating : method of double points(双指针法) func No ...
- golang笔记09--go语言测试与性能调优
golang笔记09--go语言测试与性能调优 1 介绍 2 测试与性能调优 2.1 测试介绍 2.2 代码覆盖率和性能测试 2.3 使用pprof进行性能调优 2.4 测试http服务器(上) 2. ...
- hive性能调优实战pdf_Nginx 性能调优实战
来自:Linux社区 1.Nginx运行工作进程数量 Nginx运行工作进程个数一般设置CPU的核心或者核心数x2.如果不了解cpu的核数,可以top命令之后按1看出来,也可以查看/proc/cpui ...
- jvm调优工具_JVM性能调优监控工具jps、jstack、jmap、jhat、hprof使用详解
来自:ITeye博客, 作者:Josh_Persistence 链接:https://www.iteye.com/blog/josh-persistence-2161848 现实企业级Java应用开发 ...
- ELASTIC SEARCH 性能调优
ELASTICSEARCH 性能调优建议 创建索引调优 1.在创建索引的使用使用批量的方式导入到ES. 2.使用多线程的方式导入数据库. 3.增加默认刷新时间. 默认的刷新时间是1秒钟,这样会产生太多 ...
- OCM_第十二天课程:Section6 —》数据库性能调优_ 资源管理器/执行计划
注:本文为原著(其内容来自 腾科教育培训课堂).阅读本文注意事项如下: 1:所有文章的转载请标注本文出处. 2:本文非本人不得用于商业用途.违者将承当相应法律责任. 3:该系列文章目录列表: 一:&l ...
最新文章
- 云计算,能回答地球最终流浪到哪里吗?
- 开源前后端分离在线考试系统
- Luhn算法验证信用卡的合法性
- python phpstudy_GitHub - Writeup007/phpStudyBackDoor: phpStudy后门检测与利用工具,Python脚本,可一键 GetShell。...
- java中map的put方法,Java TreeMap put()方法
- MFC的六大关键技术
- mysql 自然排序_如何在mysql中实现自然排序
- Atlas客户端类库、控件介绍(2)
- 区块链开发公司开拓新用途 区块链对网络安全的作用
- Intelij IDEA中web项目抛org.apache.ibatis.binding.BindingException: Invalid bound statement(not found):异常
- 中级维修电工实训装置
- 基本了解云计算是什么东东了
- 数码管c语言编码,八段数码管编码.doc
- WIFI、路由器、猫、AP管理
- html css做一个简历表,HTML table制做我的简历
- 什么手势使用电子计算机比较快,手势功能
- 最新有效的微视频号视频下载丨vx视频号视频怎么免费下载?
- 如何关闭苹果手机自动扣费_手机自动扣费?三招教你关闭
- 如何对U盘文件数据加密,U盘加密方法教程分享
- 安装 pymysql 的方法