php文件内容去重,PHP结合redis实现大文件去重

本篇文章主要内容是用PHP多个进程配合redis的有序集合实现大文件去重，感兴趣的朋友可以学习一下。

1.对一个大文件比如我的文件为

-rw-r--r-- 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt

2.使用split命令切割成10个小文件

split -b 1000m 2018-12-awk-uniq.txt -b 按照字节切割 , 支持单位m和k

3.使用10个php进程读取文件 , 插入redis的有序集合结构中 , 重复的是插不进去的 ,因此可以起到去重的作用

$file=$argv[1];

//守护进程

umask(0); //把文件掩码清0

if (pcntl_fork() != 0){ //是父进程，父进程退出

exit();

}

posix_setsid();//设置新会话组长，脱离终端

if (pcntl_fork() != 0){ //是第一子进程，结束第一子进程

exit();

}

$start=memory_get_usage();

$redis=new Redis();

$redis->connect('127.0.0.1', 6379);

$handle = fopen("./{$file}", 'rb');

while (feof($handle)===false) {

$line=fgets($handle);

$email=str_replace("\n","",$line);

$redis->zAdd('emails', 1, $email);

}

4. redis中查看获取的数据

zcard emails 获取元素个数

取一定范围的元素 , 比如从100000开始到 100100结束

zrange emails 100000 100100 WITHSCORES

想更高效学习PHP，请关注PHP中文网的PHP视频教程。

php文件内容去重,PHP结合redis实现大文件去重相关推荐

java 按行读取大文件文件内容_Java实现按行读取大文件
Java实现按行读取大文件 String file = "F:" + File.separator + "a.txt"; FileInputStream fis ...
linux中vi修改文件内容,linux VI模式下批量修改文件内容
1. :s/vivian/sky/ 替换当前行第一个 vivian 为 sky :s/vivian/sky/g 替换当前行所有 vivian 为 sky 2. :n,$ ...
linux dd 截文件,Linux使用dd命令快速生成大文件（转）
dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero ...
Linux dd命令截取文件,linux使用dd命令快速生成大文件
dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero ...
kettle将多个文件压缩_如何使用WinRAR将一个大文件压缩成多个小的压缩包
目录 1.使用WinRAR将一个大文件压缩成多个小的压缩包 2.使用WinRAR将多个小的压缩包,解压/合并成一个大文件 3.结尾 / 在现实生活中,受文件大小的限制,在传输的过程往往出现困难,如:邮 ...
java高效写文件_java如何高效读写10G以上大文件
有一份10G以上大文本文件,需要替换里面的一些文本信息(每一行都有),如何高效读并替换掉生成新的文件先分割成多个文件多个线程操作多个文件,避免两个线程操作同一个文件按行读文件并按行写入新的文件 ...
大文件传输有哪些方式可用？大文件传输有哪些方式？
大文件传输有哪些方式可用?大文件传输有哪些方式?互联网时代,速度决定效率.在企业生产过程中需要进行信息数据交换.搬运.这时就需要进行大文件传输.方方面面的行业都要涉及到大文件传输.例如影视行业需要每天 ...
php读取文件和读取redis,PHP结合redis实现大文件去重
本篇文章主要内容是用PHP多个进程配合redis的有序集合实现大文件去重,感兴趣的朋友可以学习一下. 1.对一个大文件比如我的文件为 -rw-r--r-- 1 ubuntu ubuntu 9.1G M ...
linux目录下所有文件内容替换,linux替换目录下所有文件中的某字符串
比如,要将目录/modules下面所有文件中的zhangsan都修改成lisi,这样做: sed -i "s/zhangsan/lisi/g" `grep zhangsan -rl ...

php文件内容去重,PHP结合redis实现大文件去重

php文件内容去重,PHP结合redis实现大文件去重相关推荐

最新文章

热门文章