飘逸的python - 大数据TopK问题的quick select解法

TopK问题,即寻找最大的K个数,这个问题非常常见,比如从1千万搜索记录中找出最热门的10个关键词.

方法一:

先排序,然后截取前k个数.

时间复杂度：O(n*logn)+O(k)=O(n*logn)。

方法二:

最小堆.

维护容量为k的最小堆.根据最小堆性质,堆顶一定是最小的,如果小于堆顶,则直接pass,如果大于堆顶,则替换掉堆顶,并heapify整理堆,其中heapify的时间复杂度是logk.

时间复杂度:O(k+(n-k)*logk)=O(n*logk)

方法三:

本文的主角.quick select算法.其实就类似于快排.不同地方在于quick select每趟只需要往一个方向走.

时间复杂度:O(n).

def qselect(A,k):if len(A)<k:return Apivot = A[-1]right = [pivot] + [x for x in A[:-1] if x>=pivot]rlen = len(right)if rlen==k:return rightif rlen>k:return qselect(right, k)else:left = [x for x in A[:-1] if x<pivot]return qselect(left, k-rlen) + rightfor i in range(1, 10):print qselect([11,8,4,1,5,2,7,9], i)

飘逸的python - 大数据TopK问题的quick select解法相关推荐

Python大数据：jieba分词，词频统计
实验目的学习如何读取一个文件学习如何使用DataFrame 学习jieba中文分词组件及停用词处理原理了解Jupyter Notebook 概念中文分词在自然语言处理过程中,为了能更好地处理 ...
财务大数据比赛有python吗-Python大数据与机器学习之NumPy初体验
本文是Python大数据与机器学习系列文章中的第6篇,将介绍学习Python大数据与机器学习所必须的NumPy库. 通过本文系列文章您将能够学到的知识如下: 应用Python进行大数据与机器学习应用 ...
zwpython_零起点Python大数据与量化交易
零起点Python大数据与量化交易所属分类:数值算法/人工智能开发工具:Python 文件大小:17263KB 下载次数:21 上传日期:2018-05-15 17:24:02 上传者:bla ...
[转载] Python大数据文本分析及应用
参考链接: 使用Python的SQL 3(处理大数据) 实践课题报告: 大数据文本分析与应用学校:xxx 学院:大数据与智能工程学院专业:信息工程(数据科学与大数据技术) 年级:2017级 ...
Python +大数据-知行教育(四)-意向用户主题看板_全量流程
Python +大数据-知行教育(四)-意向用户主题看板_全量流程 5. 意向用户主题看板_全量流程 5.1 需求分析主要分析什么内容:1) 每一个需求涉及到那些维度, 那些直白2) 每一个需求涉及 ...
Python+大数据-数仓实战之滴滴出行(二)
Python+大数据-数仓实战之滴滴出行(二) 1. 数据转移 #验证sqoop是否工作 /export/server/sqoop-1.4.7/bin/sqoop list-databases \ - ...
python+大数据-MySQL-day02(黑马)
python+大数据-MySQL-day02(黑马) 一 MySQL学习日志–变量,函数,流程控制 1.变量系统变量:全局变量会话变量自定义变量:用户变量局部变量#一.系统变量说明:变量由系统定义, ...
2022新版Python+大数据学习路线图，附视频教程
互联网的未来也是人工智能的未来,那就少不了Python+大数据的助力,对于想要转行的小伙伴来说,或许这是一个新兴赛道. 第一阶段大数据开发入门学前导读:从传统关系型数据库入手,掌握数据迁移工具.B ...
《零起点，python大数据与量化交易》
<零起点,python大数据与量化交易>,这应该是国内第一部,关于python量化交易的书籍. 有出版社约稿,写本量化交易与大数据的书籍,因为好几年没写书了,再加上近期"前海智库 ...

飘逸的python - 大数据TopK问题的quick select解法

方法一:

方法二:

方法三:

飘逸的python - 大数据TopK问题的quick select解法相关推荐

最新文章

热门文章