【海量数据问题】两个超大文件求交集

参考：https://www.nowcoder.com/questionTerminal/cdd98d9efb2547b2bfab4ec96a63f22e

题目背景

给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url

主体思路

分治+hash

实现步骤

遍历文件A，对每个url使用hash(url) % 1000，根据所得的取值将url存储到1000个小文件中（a1,a2,…,a1000）（根据内存大小设定hash函数）
遍历文件B，使用同样的hash函数将B中的url存储到1000个小文件中（b1,b2,…,b1000）（这样相同的url就会被映射到下标相同的小文件中）
读取文件a1，简历hash表，再读取文件b1，遍历其中的url，若url在hash表中出现，说明为两文件共有，存入结果中。

【海量数据问题】两个超大文件求交集相关推荐

Linux 两个文件求交集、并集、差集
Linux 两个文件求交集.并集.差集原文地址: Linux 两个文件求交集.并集.差集 (https://www.cnblogs.com/molong1208/p/5358509.html) 一. ...
JAVA——两个List集合求交集、并集和差集（去重）模板
关注微信公众号:CodingTechWork,一起学习进步. 引言经常遇到一些集合类之间的过滤数据.求合集之类的问题,在此以List为例,毕竟在数据库中取数据后,我们使用比较多的是List集合进 ...
python 对中文文件求交集、并集、差集
核心内容: 1. set模块 intersection() ,union(), difference() 函数的使用 2. 文件格式:一行一词, uft-8 3. 解决中文以str读入后转成list ...
python取得两个文件的交集、并集和差集。
1.两个txt文件都是一列数据,现在求这两个txt文件的交集.并集和差集. s1 = set(open('/data/test/id.list', 'r').readlines()) s2 = set ...
Linux中uniq去重以及对两个文件取交集，并集，差集
uniq 前言很多时候我们需要对数据去重,不管是少量数据还是大量数据,写代码进行去重终究没有使用系统功能直接操作文件方便,所以本文就介绍了一些关于uniq的使用方法 uniq单独使用 uniq配合s ...
java 交集_Java大集合求交集的方法比较
两个List集合求交集想必学过Java的都知道用系统自带的retainAll()方法,但是在数据量比较大时,这个方法效率并不高,利用空余时间研究了几种数据量较大时求两个集合交集的办法.本文主要研究了J ...
如何求两个文件的交集、并集和差集？------sort和uniq闪亮登场
在日常开发中, 经常要对一些数据进行处理. 写个程序吧, 也可以实现, 但蛮麻烦的, 有些时候根本没有必要. 现在, a.txt和b.txt两个文件的数据都是逐行呈现的, 我们来说说如何求他们的交集. ...
求两个文件的交集、并集和差集 sort和uniq
在日常开发中, 经常要对一些数据进行处理. 写个程序吧, 也可以实现, 但蛮麻烦的, 有些时候根本没有必要. 现在, a.txt和b.txt两个文件的数据都是逐行呈现的, 我们来说说如何求他们的交集. ...
利用shell求取两个文件的交集、差集、并集等
求文件行数 cat a.txt | wc -l 交集 sort a.txt b.txt | uniq -d 并集 sort a.txt b.txt | uniq 差集 (1) a.txt-b.txt ...

【海量数据问题】两个超大文件求交集

题目背景

主体思路

实现步骤

【海量数据问题】两个超大文件求交集相关推荐

最新文章

热门文章