如何提高几十甚至上百G文件的压缩和解压效率

(2012-06-05 02:21:35)

标签：

的

如何

杂谈

如何提高几十甚至上百G文件的压缩和解压效率需求：

有几十、上百G的文件需要压缩、解压。前提是不能太耗系统资源，且要减小压缩、解压时间。

采用多线程、多进程都比较消耗资源。CPU一下就上去了。。

有没有什么其他的方法呢？采用运算量小的压缩、解压算法 本帖最后由 yulihua49 于 2011-08-03 10:36

编辑

需求：

有几十、上百G的文件需要压缩、解压。前提是不能太耗系统资源，且要减小压缩、解压时间。

采用多 ...

korpus 发表于 2011-08-02 22:54

http://bbs.chinaunix.net/images/common/back.gif

你们为什么老是怕CPU上去呢？CPU不上去，怎么干活啊？

压缩解压是纯运算，使所有CPU达到100%是最高境界。

多线程的作用是让更多的CPU动起来，你可以使线程数比CPU数少一些，以便留有余地，当然运行就慢一些。

7zip比较好，但还未实现多线程。http://www.quicklz.com/

koolcoy 发表于 2011-08-03 14:53

http://bbs.chinaunix.net/images/common/back.gif

它http://www.hervelegereurope.com/的速度够快。

不知压的什么文件。如果是EXE，这个压缩率差不多。

程序源码，JSON，XML应该压缩率大得多。一般来说cpu用的越少，压缩效果越差

所以楼主想要不占cpu，不压缩就是最好的选择一般来说cpu用的越少，压缩效果越差

所以楼主想要不占cpu，不压缩就是最好的选择

deadlylight 发表于 2011-08-03 17:30

http://bbs.chinaunix.net/images/common/back.gif

还是不能这么极端的哈~~需要权衡，找到好的方案。

koolcoy 发表于 2011-08-03 14:53

http://bbs.chinaunix.net/images/common/back.gif

谢谢了。。去学习学习。 本帖最后由 yulihua49 于 2011-08-05 13:19 编辑

还是不能这么极端的哈~~需要权衡，找到好的方案。

korpus 发表于 2011-08-03 20:34

http://bbs.chinaunix.net/images/common/back.gif

在linux下，100%并不是什么坏事，完全是可以正常工作的。linux的调度特性决定的。

一个进程/线程，它的CPU用到100%，并不意味着这个CPU不能为别人工作。这个线程的优先级会自动降低。别的任务来的时候，因为资源消耗小，所以优先级高，立刻抢占。

实际上，系统就绪队列<5CPU时，你感觉不到反应迟钝。

目前没有发现多线程并行压缩器，所以它只占1个CPU，对系统没有影响的。请教SOCKET出现大量FINWAIT和CLOSEWAIT连接的问题

r />top时，这一行：

Tasks: 240 totalhttp://www.qqxzz.net/, 1 running, 239 sleeping, 0

stopped, 0 zombie

1

running就是1个就绪进程。键入H显示线程，该数字就是就绪线程数。如果有4个CPU，该线程数<20,都不会影响系统反应。

这点是与WIN不同的。

楼上的程序我测了，的确非常的快。不过要想压缩大文件，自己还要组织一下文件的分包格式。

今天那个地址不通了。干脆别压了。

分享：

喜欢

0

赠金笔

加载中，请稍候......

评论加载中，请稍候...

发评论

登录名： 密码： 找回密码 注册记住登录状态

昵   称：

评论并转载此博文

发评论

以上网友发言只代表其个人观点，不代表新浪网的观点或立场。