利用Linux查找重复文件(shell脚本)
在工作生活当中,我们很可能会遇到查找重复文件的问题。比如博主我所在的汉化组就遇到过这样一个情况:从某游戏提取的游戏文本有重复的,我们希望找出所有重复的文本,让翻译只翻译其中一份,而其他的直接替换。那么这个问题该怎么做呢?当然方法多种多样,而且无论那种方法应该都不会太难,但博主我第一次遇到这个问题的时候第一反应是是用Linux的Shell脚本,所以文本介绍这种方式。
嘛,虽然文章分类标的是原创,但实际上核心技术是摘自下面这篇文章:http://www.tuicool.com/articles/7vyEZbF,而本文所做的也只是带着大家分析一下上文给出的方案。
先上代码:
find -not -empty -type f -printf "%s\n" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36-
大家先cd到自己想要查找重复文件的文件夹,然后copy上面代码就可以了,系统会对当前文件夹及子文件夹内的所有文件进行查重。
下面分析一下上面的命令。
首先看第一句:
find -not -empty -type f -printf "%s\n"
find是查找命令;-not -empty是要寻找非空文件;-type f是指寻找常规文件;-printf “%s\n”比较具有迷惑性,这里的%s并非C语言中的输出字符串,它实际表示的是文件的大小,单位为bytes(不懂就man,man一下find,就可以看到了),\n是换行符。所以这句话的意思是输出所有非空文件的大小。
通过管道,上面的结果被传到第二句:
sort -rn
sort是排序,-n是指按大小排序,-r是指从大到小排序(逆序reverse)。
第三句:
uniq -d
uniq是把重复的只输出一次,而-d指只输出重复的部分(如9出现了5次,那么就输出1个9,而2只出现了1次,并非重复出现的数字,故不输出)。
第四句:
xargs -I{} -n1 find -type f -size {}c -print0
这一部分分两部分看,第一部分是xargs -I{} -n1,xargs命令将之前的结果转化为参数,供后面的find调用,其中-I{}是指把参数写成{},而-n1是指将之前的结果一个一个输入给下一个命令(-n8就是8个8个输入给下一句,不写-n就是把之前的结果一股脑的给下一句)。后半部分是find -type f -size {}c -print0,find指令我们前面见过,-size{}是指找出大小为{}bytes的文件,而-print0则是为了防止文件名里带空格而写的参数。
第五句:
xargs -0 md5sum
xargs我们之前说过,是将前面的结果转化为输入,那么这个-0又是什么意思?man一下xargs,我们看到-0表示读取参数的时候以null为分隔符读取,这也不难理解,毕竟null的二进制表示就是00。后面的md5sum是指计算输入的md5值。
第六句:sort是排序,这个我们前面也见过。
第七句:
uniq -w32 --all-repeated=separate
uniq -w32是指寻找前32个字符相同的行,原因在于md5值一定是32位的,而后面的--all-repeated=separate是指将重复的部分放在一类,分类输出。
第八句:
cut -b 36-
由于我们的结果带着md5值,不是很好看,所以我们截取md5值后面的部分,cut是文本处理函数,这里-b 36-是指只要每行36个字符之后的部分。
我们将上述每个命令用管道链接起来,存入result.txt:
find -not -empty -type f -printf "%s\n" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt
虽然结果很好看,但是有一个问题,这是在Linux下很好看,实际上如果有朋友把输出文件放到Windows上,就会发现换行全没了,这是由于Linux下的换行是\n,而windows要求\n\r,为了解决这个问题,我们最后执行一条指令,将\n转换为\n\r:
cat result.txt | cut -c 36- | tr -s '\n'
大功告成!
利用Linux查找重复文件(shell脚本)相关推荐
- 利用 Linux 查找重复文件
方法一:使用Find命令 本部分算是对find强大功能的扩展使用方法说明.在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找 ...
- 【数据挖掘】利用md5查找重复文件
[数据挖掘]利用md5查找重复文件 电脑经过长时间的使用,难免会存留许多重复文件.这些重复文件往往四散在各处,其文件名.修改时间等信息都有改动,这对我清理重复文件造成了困扰.尽管重复文件已经有了诸多修 ...
- linux find查找重复文件
直接上命令 find -not -empty -type f -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate ...
- Shell入门笔记:Linux批量提取文件名/shel文件名提取日期/NCL批量读取文件(shell脚本结合)
在大型计算时,我们会使用linux系统,而linux系统下使用Shell脚本进行一些批处理任务会十分方便,在这里,我将以我个人遇到的问题为例,结合Shell语言的一些常用命令和知识点,完成对于Shel ...
- 如何利用CCleaner快速查找重复文件?
一般的电脑随着时间的推移磁盘里面会有多份的重复文件,这些重复项会占用硬盘驱动器上面的空间,并且很难追踪到文件的位置以及更改的文件.但是CCleaner却轻松的解决了这个问题,那么如何利用CCleane ...
- 【2018深信服 醒狮计划】《Linux命令行与Shell脚本编程大全》学习笔记
2018深信服"醒狮计划"笔记 第3周(5.02-5.13) 课程 必修 选修 基本要求 Shell编程 <Linux命令行与Shell脚本编程大全> <Perl ...
- Linux_《Linux命令行与shell脚本编程大全》第十章学习总结
时间:2017年08月24日星期四 说明:本文部分内容均摘取自书籍<Linux命令行与shell脚本编程大全>,版权归原作者所有.<Linux命令行与shell脚本编程大全>( ...
- linux 命令行与shell脚本编程大全
linux 命令行与shell脚本编程大全 第一章 Linux LiveCD就是从cd读取的系统,由于没法将数据写入到cd,所以一旦重启,之前操作过后的一切数据都会丢失. 第二章 第三章 1.man手 ...
- Linux命令行与shell脚本编程大全:第2版
<Linux命令行与shell脚本编程大全:第2版> 基本信息 作者: (美)布卢姆(Blum,R.) 布雷斯纳汉(Bresnahan.C.) [作译者介绍] 译者: 武海峰 丛书名: 图 ...
- 《Linux命令行与Shell脚本编程大全第2版.布卢姆》pdf
下载地址:网盘下载 内容简介 · · · · · · 本书是一本关于Linux 命令行与shell 脚本编程的全面教程.全书分为四部分:第一部分介绍Linuxshell 命令行:第二部分介绍shel ...
最新文章
- 温控自动烘焙系统的研究与实现
- python类方法可以访问类变量_python类变量可以从类方法访问? - python
- 【WPF-Devexpress】ChartControl-CrosshairLabel显示内容居右
- java虚拟机规范这本书怎么样_JVM规范系列开篇:为什么要读JVM规范?
- Nginx: 413 Request Entity Too Large Error and Solu
- 【今晚7点半】:主编对话Netless白板创始人伍双
- 机房系统(六)——【下机】
- WPF程序将DLL嵌入到EXE的两种方法
- 爬虫分页爬取猎聘_想把python爬虫了解透彻吗?一起盘它 ! !
- 计算机的智能化研究领域的是,科学网—第五代计算机为何在“智能化”阶段的发展像蜗牛般的徘徊前行? - 邹晓辉的博文...
- redhat6.3下配置使用cenos yum源
- Ajxa验证用户和二级联动的实例(五)
- 对SMART法则的多种解释
- 计算机基础(一):二进制详解
- Eventide发布Physion Mk II声音结构分离多效果插件
- win7更改锁屏壁纸-强迫症系列
- 水漆哪个品牌好?十大品牌水漆排行榜
- SDUST 第四次作业
- 一亩三分地-每日答题
- 爱情公寓不为人知的创作历程