linux进价命令(sort,comm,unip等)
1. sed
sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。
function:
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!
示例
# 替换sed 's/[0-9][0-9][0-9]\+,//g' k.txt > k6.txt
我使用这个命令来处理sql,将文件中,三位以上数字,并且后面有逗号的字符串替换为空.例如2345,
这样,将所有的id去掉.
wc
统计指定文件中的字节数、字数、行数,并将统计结果显示输出
示例
# 统计文件有多少行
wc -l k.txt
unip
对文件进行去重
示例
# 对1.txt排序,去重,在排序之后输出到1_tmp.txt
cat 1.txt | sort | uniq | sort > 1_tmp.txt
1.txt的内容为:
1
2
4
3
2
处理之后为:
1
2
3
4
sort
对文件排序
示例
# 对1.txt排序
cat 1.txt | sort
1.txt内容为:
1
3
2
2
排序后为:
1
2
2
3
comm
comm命令可以用于两个文件之间的比较,它有一些选项可以用来调整输出,以便执行交集、求差、以及差集操作。
参数:
-1:不显示在第一个文件出现的内容;
-2:不显示在第二个文件中出现的内容;
-3:不显示同时在两个文件中都出现的内容。
示例:
# 求交集(在两个文件中都出现)
comm -12 1.txt 2.txt
# 求差集(在第一个文件中有第二个文件没有)
comm -23 1.txt 2.txt
# 求差(两个文件同时有的不显示)
comm -3 1.txt 2.txt
实际的一个使用场景
其实这本来是mysql的工作,我需要将第一个表的主键在第二个表中的数据过滤掉.之后统计一下有多少条.
像我这种老实人,肯定就使用in
语句了,结果,好特么慢啊.
后来在大佬的提示下用上面几个命令完成了.
将两个表的主键都导出成文件,然后comm
一下子就完事了,速度杠杠的!
参考链接
https://blog.csdn.net/tianmohust/article/details/6997924
完。
ChangeLog
2019-01-11 完成
以上皆为个人所思所得,如有错误欢迎评论区指正。
欢迎转载,烦请署名并保留原文链接。
联系邮箱:huyanshi2580@gmail.com
更多学习笔记见个人博客------>呼延十
linux进价命令(sort,comm,unip等)相关推荐
- Linux排序命令sort笔记
很多时候Linux需要对文本相对比较规范的文本数据进行排序,这时候可以使用Linux系统下的sort命令进行处理. 语法格式:sort [-ntkr] filename 常用参数: -n 根据数字进行 ...
- Linux排序命令sort详解
语法格式sort [ -A ] [ -b ] [ -c ] [ -d ] [ -f ] [ -i ] [ -m] [ -n ] [ -r ] [ -u ] [ -o OutFile ] [ -t Ch ...
- linux 输入8个字母进行排序,Linux排序命令sort详解
语法格式sort [ -A ] [ -b ] [ -c ] [ -d ] [ -f ] [ -i ] [ -m] [ -n ] [ -r ] [ -u ] [ -o OutFile ] [ -t Ch ...
- c#sort升序还是降序_Linux排序命令sort笔记
很多时候Linux需要对文本相对比较规范的文本数据进行排序,这时候可以使用Linux系统下的sort命令进行处理. 语法格式:sort [-ntkr] filename 常用参数: -n 根据数字进行 ...
- Linux命令 ps --sort,如何对Linux ps命令输出进行排序
原标题:如何对Linux ps命令输出进行排序 来自:Linux迷 链接:https://www.linuxmi.com/ps-sort.html ps命令是理解Linux系统上运行的内容和每个进程使 ...
- linux之排序sort命令详解
linux之排序sort命令 sort排序规则: 以行为单位,每一行作为一个字符串 按照字符串的比较规则,首字母开始依次向后按ASCII码值进行比较 结果默认升序输出 1. 简单排序 [root@li ...
- 【Linux】排序命令sort
很多时候,我们都会去计算一次数据里头的相同型态的数据总数,举例来说, 使用 last 可以查得这个月份有登陆主机者的身份.那么我可以针对每个使用者查出他们的总登陆次数吗? 此时就得要排序与计算之类的命 ...
- Linux文件内容排序命令sort
sort 命令 sort将文件的每一行作为一个单位,相互比较, 比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出. sort : 只有sort 情况下,前面有空格的默认排到最 ...
- linux常用命令(转载)
Linux常用命令大全(非常全!!!) 最近都在和Linux打交道,感觉还不错.我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短 ...
- shell脚本教学(二)——diff、rename、cut、sort、unip
1.批量重命名--rename 使用方法: rename 参数1 参数2 参数3 参数1:被替换的字符串 参数2:替换成的字符串 参数3:匹配要替换的文件模式 替换多个字符--[*] 脚本练习题:查找 ...
最新文章
- # 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结
- 拓扑排序之变量序列代码
- SQL Server游标的使用
- 在linux桌面死掉时kill之
- 24-移动端app数据爬取
- 外媒评出中国最美20个景点
- 利用Redis实现消息队列原理
- 陕西省计算机二级报名流程,计算机二级考试报名流程
- vagrant box php,vagrant box php开发环境配置 -- nginx
- tomcat 设置虚拟路径的4种方法
- ubuntu 重装系统备份数据 ubuntu安装kde桌面
- UIView的layoutSubviews,initWithFrame,initWithCoder方法
- Word VBA:MathType公式与Latex公式切换
- C#+access做注册、登陆界面 【实测成功】
- 1.Spring Boot使用Apache Curator实现服务的注册和发现「第四章 ZooKeeper Curator应用场景实战」「架构之路ZooKeeper理论和实战」
- A Primer on Memory Consistency and Cache Coherence—第五章 Relaxed Memory Model
- obs听到了自己的回音_直播连麦过程中回声回音解决方式
- 一些 金融知识 小结
- oracle svip地址,木子李QQ8.9 显IP地址SVIP完整版
- ROS中使用protoBuf通信
热门文章
- ubuntu16.04 部署dzzoffice+onlyoffice 局域网实现word、excel文档协同编辑
- 如今表情包的天下,曾经可是颜文字和Emoji的啊...
- 计算机键盘上的tab键是什么键,电脑Tab键有什么用处
- RFID第二版答案-第六章
- 《非暴力沟通》—— 马歇尔·卢森堡博士 读后摘录总结
- 02 敏捷开发测试流程
- 关于PPT母版的含义和使用方法
- 神经网络机器翻译的实现
- 4.19华为技术面+4.21华为主管面(已OC)
- api质量等级_API质量等级与机油选用指引