coding4fun比赛总结

团队的编程比赛，题目是给一个文本文件，在去掉二十个常用词以后，统计出现频率前十位的词。

我采用的是哈希表，c++语言实现。

1.使用mmap，将内容映射到内存。

2.文本分割，处理边界条件，在ranges[]中指明每个区间的开始和结束位置。

3.Worker线程中分块处理，对于每一个单词，在哈希表中相应位置查找，插入。

4.Worker线程结束后，得到了有统计结果的哈希表，将结果进行过滤(去掉20个常用单词)，装入vector中。

5.使用std::algorithm中的heap建堆，取出前十个元素。

优化

1.使用mmap而不是fread：fread会先将内容从磁盘拷贝到内存的内核空间，再转移到用户态，相比mmap来说，多了一次拷贝.

2.只采用了一张哈希表，避免多线程之间的合并，插入操作时没有加锁，而采用了类似于CAS的原子操作：

asm volatile(
“lock;\n\t”
“cmpxchgq %3, %2″
: “=a”(old)
: “0″(0), “m”(*p), “r”(np)
: “memory”);

关于cmpxchgq的介绍可以看这里。需要注意的是Intel格式汇编和Linux的AT&T格式不同。

3.最后过滤单词时，先判断长度，不符合的直接放过，可以减少比较次数。

总结

1.预处理(映射，分割)占用了比较长的时间，没有充分利用CPU，如果分块读入并处理，可能效果会更好。

2.最后简单建了一个巨大的heap来存放过滤后的结果，并建堆。这一步没有仔细考虑，应该还有更好的优化方案。

3.采用单链表处理冲突，该单链表只在尾部插入，没有删除操作，再加上CAS操作本身的原子性，可以保证insert操作的原子性，不过貌似这个操作还是有bug。

4.锁和系统调用都很消耗时间，在保证正确性的前提下，能不用尽量不用。

转载于:https://blog.51cto.com/aliapp/1325620

coding4fun比赛总结相关推荐

LeetCode简单题之棒球比赛
题目你现在是一场采用特殊赛制棒球比赛的记录员.这场比赛由若干回合组成,过去几回合的得分可能会影响以后几回合的得分. 比赛开始时,记录是空白的.你会得到一个记录操作的字符串列表 ops,其中 ops[ ...
LeetCode简单题之比赛中的配对次数
题目给你一个整数 n ,表示比赛中的队伍数.比赛遵循一种独特的赛制: 如果当前队伍数是偶数 ,那么每支队伍都会与另一支队伍配对.总共进行 n / 2 场比赛,且产生 n / 2 支队伍进入下一轮. ...
计算机图画大赛作品六年级,小学学生电脑绘画比赛活动方案
<小学学生电脑绘画比赛活动方案>由会员分享,可在线阅读,更多相关<小学学生电脑绘画比赛活动方案(7页珍藏版)>请在人人文库网上搜索. 1.坊庄小学学生电脑绘画比赛活动方案为切实 ...
【AHOI 2016初中组】自行车比赛 - 贪心
题目描述小雪非常关注自行车比赛,尤其是环滨湖自行车赛.一年一度的环滨湖自行车赛,需要选手们连续比赛数日,最终按照累计得分决出冠军.今年一共有 N 位参赛选手.每一天的比赛总会决出当日的排名,第一名的 ...
BestCoder Round #92 比赛记录
上午考完试后看到了晚上的BestCoder比赛,全机房都来参加感觉压力好大啊QAQ,要被虐了. 7:00 比赛开始了,迅速点进了T1 大呼这好水啊!告诉了同桌怎么看中文题面然后就开始码码码,4分1 ...
南大电子机器人入驻云南_云南大学外语协会英文歌曲演唱比赛
云南大学外语协会英文歌曲演唱比赛顺利落幕 2020年11月8日14:30,云南大学外语协会英文歌曲演唱比赛在文汇楼2116顺利开展.比赛流程简洁明了:参赛同学完成抽签之后,在主持人的引导下,按照流 ...
关于python的比赛_【蓝桥杯】——python集团的比赛技巧,Python,组
[蓝桥杯]-- Python组比赛技巧蓝桥杯是大学生IT学科赛事,由工业和信息化部人才交流中心主办,所以对于大学生还说还是非常值得去参加的,2020年第十一届蓝桥杯新增了大学Python组,不分组别 ...
四川大学线下编程比赛第一题：数字填充
四川大学线下编程比赛第一题:数字填充公布公司: 有效期: CSDN 2014-09-27至2015-09-26 难度等级: 答题时长: 编程语言要求: 120分钟 C C++ Jav ...
网络管理员比赛回顾04-DHCP
目录一.DHCP的配置二.DHCP中继 2021年9月参加青年网络管理员比赛,因为网管超龄不能按照"青年"参赛,临时培训我们这批"青年"参赛,回顾一下经过以 ...

coding4fun比赛总结

coding4fun比赛总结相关推荐

最新文章

热门文章