golang 压缩算法 gzip/lz4 对比

参考美团技术博客压缩算法在构建部署中的优化

源码：

package utilsimport ("bytes""compress/gzip""errors""github.com/pierrec/lz4/v4""io/ioutil"
)func LZ4(data []byte) ([]byte, error) {buf := make([]byte, lz4.CompressBlockBound(len(data)))var c lz4.Compressorn, err := c.CompressBlock(data, buf)if err != nil {return nil, err}if n >= len(data) {return nil, errors.New("not compressible")}return buf[:n], nil
}func UnLZ4(data []byte) ([]byte, error) {// Allocate a very large buffer for decompression.out := make([]byte, 10*len(data))n, err := lz4.UncompressBlock(data, out)if err != nil {return nil, err}return out[:n], nil
}func Gzip(data []byte) ([]byte, error) {var buf bytes.Bufferw := gzip.NewWriter(&buf)_, err := w.Write(data)if err != nil {return nil, err}if err := w.Close(); err != nil {return nil, err}return buf.Bytes(), nil
}func UnGzip(data []byte) ([]byte, error) {buf := bytes.NewBuffer(data)r, err := gzip.NewReader(buf)if err != nil {return nil, err}result, err := ioutil.ReadAll(r)if err != nil {return nil, err}if err := r.Close(); err != nil {return nil, err}return result, nil
}

压测源码

package utilsimport ("io/ioutil""os""testing"
)func prepareData() []byte {// Compress and uncompress an input string.f, err := os.Open("{your_file_path}")if err != nil {panic(err)}data, err := ioutil.ReadAll(f)if err != nil {panic(err)}return data
}func BenchmarkLZ4(b *testing.B) {b.RunParallel(func(pb *testing.PB) {data := prepareData()for pb.Next() {_, err := LZ4(data)if err != nil {panic(err)}}})}func BenchmarkUnLZ4(b *testing.B) {data := prepareData()encoded, err := LZ4(data)if err != nil {panic(err)}b.RunParallel(func(pb *testing.PB) {for pb.Next() {_, err := UnLZ4(encoded)if err != nil {panic(err)}}})}func BenchmarkGzip(b *testing.B) {data := prepareData()b.RunParallel(func(pb *testing.PB) {for pb.Next() {_, err := Gzip(data)if err != nil {panic(err)}}})}func BenchmarkUnGzip(b *testing.B) {data := prepareData()encoded, err := Gzip(data)if err != nil {panic(err)}b.RunParallel(func(pb *testing.PB) {for pb.Next() {_, err := UnGzip(encoded)if err != nil {panic(err)}}})
}

测试一下压缩速度（压缩比可以参考上面贴的文章，gzip/lz4 压缩比差距不大，这里主要对比速度）：

gzip

优点: 相对通用
缺点：较慢

lz4

优点：压缩/解压速度非常快，大约是 gzip 10 倍
缺点：相对 gzip, 通用性稍低

golang 压缩算法 gzip/lz4 对比相关推荐

gzip压缩算法: gzip 所使用压缩算法的基本原理
gzip压缩算法: gzip 所使用压缩算法的基本原理_凡间_百度空间 gzip压缩算法: gzip 所使用压缩算法的基本原理 1 gzip 所使用压缩算法的基本原理 gzip 对于要压缩的文件,首先 ...
Scala与Golang的并发实现对比----好问
Scala与Golang的并发实现对比并发语言俨然是应大规模应用架构的需要而提出,有其现实所需.前后了解了Scala和Golang,深深体会到现代并发语言与旧有的Java.C++等语言在风格及理念上 ...
Golang 本地缓存选型对比及原理总结
提到本地缓存大家都不陌生,只要是个有点经验的后台开发人员,都知道缓存的作用和弊端.本篇文章我们就来简单聊聊在 golang 做业务开发的过程中,本地缓存的一些可选的开源方案.分析它们的特点,以及内部的 ...
golang微服务框架对比_微服务里程碑，Golang与Spring Cloud Alibaba完美结合
目前微服务架构仍是软件架构中最新的热门话题,虽然Golang是一门新的语言,但Golang的性能比python和java高出不少.既能承受程序使用运行的服务构建的繁重负载,又容易与GitHub集成,管 ...
golang微服务框架对比_Go语言开发的微服务框架，你了解多少？
Go语言开发的微服务框架 1.项目名称:Istio 项目简介:Istio是由Google.IBM和Lyft开源的微服务管理.保护和监控框架.使用istio可以很简单的创建具有负载均衡.服务间认证.监控 ...
golang微服务框架对比_最强开源微服务框架，全网独家整理
诞生于 2014 年的"微服务架构",其思想经由 Martin Fowler 阐述后,在近几年持续受到重视,理论与相关实践都不断发展,目前它已经成为了主流软件架构模式. 关于微服务 ...
golang srpint和itoa对比
数字转换成字符串,使用 strconv.Itoa() 比 fmt.Sprintf() 要快 func BenchmarkItoa(b *testing.B) {number := 1234567890 ...
Golang最佳Web框架对比
Beego 面向Go编程语言的开源高性能web框架 https://github.com/astaxie/beego https://beego.me Buffalo 使用Go语言快速构建Web应用 ...
golang常用库之- pierrec/lz4包 | lz4命令、lz4压缩算法(高压解速度)
文章目录 golang常用库之-golang常用库之- pierrec/lz4包 | lz4压缩算法(高压解速度) LZ4压缩算法 lz4使用场景 lz4命令工具安装和使用 pierrec/lz4包 ...

golang 压缩算法 gzip/lz4 对比

gzip

lz4

golang 压缩算法 gzip/lz4 对比相关推荐

最新文章

热门文章