c++大数据量压缩方法——基于zlib的gzip解压缩方法

在项目中用到了基于数据库的大数据量存取时，我们要考虑的是数据读取速度，及数据存储大小，往往数据存储量大的话，数据读取速度也会随之降低，所以我们降低数据存储大小的方法，一是，使用位单位来存储数据，尽量压缩数据大小；二是，在将数据量控制在最小后，数据依旧大，那么我们需要使用压缩算法进行压缩；

在这次项目中我们使用了gzip压缩算法来压缩数据存储到redis中，然后我们使用c++开发一个数据中间件对数据进行统计分析，所以我们使用到了zlib对获取出来的大数据块进行解压缩，解压缩代码如下：

bool Uncompress(unsigned char * src, size_t src_size, unsigned char *dest, size_t &dest_size)
{int bufSize = 1024;Byte *buf = static_cast<Byte *>(malloc(bufSize * sizeof(Byte)));int err = 0;z_stream d_stream = { 0 };d_stream.zalloc = NULL;d_stream.zfree = NULL;d_stream.opaque = NULL;d_stream.next_in = src;d_stream.avail_in = 0;d_stream.next_out = buf;if (inflateInit2(&d_stream, MAX_WBITS + 16) != Z_OK){_mLastErrorString = "Uncompress gzip: inflateInit2 error";return false;}uLong totalOut = 0;while (d_stream.total_in < src_size && d_stream.total_out < dest_size){      memset(buf, 0, bufSize);d_stream.next_out = buf;d_stream.avail_in = d_stream.avail_out = bufSize;err = inflate(&d_stream, Z_NO_FLUSH);if (err >= 0){    memcpy(dest + totalOut, buf, d_stream.total_out - totalOut);totalOut = d_stream.total_out;if (err == Z_STREAM_END){break;}}else{break;}}d_stream.next_out = NULL;delete buf;buf = NULL;if (inflateEnd(&d_stream) != Z_OK){_mLastErrorString = "Uncompress gzip: inflateEnd error";return false;}return true;
}

调用方法如下：

//------------------------------解压缩
unsigned char* valBuff = (unsigned char*)valStr.c_str();
size_t unSize = gridInfo.rows * gridInfo.cols * sizeof(short);
unsigned char *unValBuff = (unsigned char*)malloc(unSize);
bool re = Uncompress(valBuff, valStr.size() * sizeof(unsigned char), unValBuff, unSize);
if (!re)
{return false;
}//-----------------------------解析数据
//TODO
free(unValBuff);

c++大数据量压缩方法——基于zlib的gzip解压缩方法相关推荐

如何提高企业网站大数据量效率
摘要:目前企业信息化正在如火如荼地开展之中,企业信息量在急剧膨胀.这使得信息的搜索工作变得极为繁重起来.据调查统计,人们在平时的工作中,有70%的时间都花费在信息搜索上.由此,如何提高人们搜索信息 ...
snm算法_基于SNM算法的大数据量中文商品清洗方法
基于 SNM 算法的大数据量中文商品清洗方法 ∗ 张苗苗苏勇 [摘要] 摘要 SNM 算法即邻近排序算法,是英文数据清洗最常用的算法［ 1 ］ . 目前为止,因为中英文语义的差异等一些原因,中 ...
snm算法_基于SNM算法的大数据量中文地址清洗方法-计算机工程与应用.PDF
基于SNM算法的大数据量中文地址清洗方法-计算机工程与应用 108 2014 ,50(5 ) Computer Engineering and Applications 计算机工程与应用基于SNM ...
3DGIS第二章大数据量场景加速绘制基本原理与方法
对于仅有几百个多边形和几十兆的低分辨率纹理简单场景,在现阶段一般配置的计算机上也很容易达到实时仿真的目标.然而,随着场景规模的增大,大规模虚拟场景中往往包含上万个多边形,甚至多达几百万个多边形和几百兆 ...
大数据量场景加速绘制基本原理与方法
对于仅有几百个多边形和几十兆的低分辨率纹理简单场景,在现阶段一般配置的计算机上也很容易达到实时仿真的目标.然而,随着场景规模的增大,大规模虚拟场景中往往包含上万个多边形,甚至多达几百万个多边形和几百兆 ...
第二章大数据量场景加速绘制基本原理与方法
对于仅有几百个多边形和几十兆的低分辨率纹理简单场景,在现阶段一般配置的计算机上也很容易达到实时仿真的目标.然而,随着场景规模的增大,大规模虚拟场景中往往包含上万个多边形,甚至多达几百万个多边形和几百兆 ...
大数据量，海量数据处理方法总结(转)
最近有点忙,稍微空闲下来,发篇总结贴. 大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到. 下面的方法是我对海量数据的处理方法 ...
MySQL大数据量分页查询方法及其优化
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:收藏了!7 个开源的 Spring Boot 前后端分离优质项目个人原创+1博客:点击前往,查看更多链接:ht ...
大数据量高并发访问的数据库优化方法
一.数据库结构的设计如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. ...

c++大数据量压缩方法——基于zlib的gzip解压缩方法

c++大数据量压缩方法——基于zlib的gzip解压缩方法相关推荐

最新文章

热门文章