文本三剑客

grep系：grep、egrep、fgrep，文本搜索工具，基于“PATTERN”对于给定的文本进行模糊搜索；

sed：Stream EDitor，流编辑器，行编辑器，文本编辑器；

awk：gawk--GNU awk，文本格式话工具，文本报告生成器，文本处理的编程语言；

grep系：

grep：Global search Regular Expression and Print out the line.（利用正则表达式进行全局搜索并将匹配的行显示出来；

grep [OPTIONS] PATTERN [FILE...]

PATTERN：过滤条件，是由正则表达式元字符以及没有特殊含义的文本字符组成；

正则表达式的元字符：会被正则表达式引擎解释为特殊含义；以pcre--perl语言的正则表达式引擎；正则表达式分两种：一、基本的正则表达式：BRE；二、扩展的正则表达式：ERE；

文本字符：只具备字符含义的的那些字符；

常用选项：

-i，--ignore-case：忽略文本字符的大小写；

-v，--invert-match：反向匹配；最终显示的结果是PATTERN不能成功匹配的行；

-c，--count：计数，统计匹配PATTERN的所有的行数；

-o，--only-matching：关闭贪婪模式，仅显示PATTERN能够匹配的内容；

-q，--quiet，--silent：安静模式，不能输出任何匹配结果；

--color[=WHEN], --colour[=WHEN]: 将匹配PATTERN的内容以特殊颜色高亮显示；

-E，--extended-regexp：扩展的正则表达式，grep -E相当于egrep；

-F，--fixed-strings，--fixed-regexp：grep -F相当于fgrep；

-G，--basic-regexp：基本的正则表达式，egrep -G相当于grep

-P，--perl-ergexp：使用PCRE（Per Common Regular Expression）引擎；

-A NUM，--afrer-context=NUM：在显示匹配PATTERN的行的同时显示其后面的NUM行；

-B NUM，--before-context=NUM：在显示匹配PATTERN的行的同时显示其前面的NUM行；

-C NUM，-NUM，--context=NUM：在显示匹配PATTERN的行的同时显示其前后各NUM行；

PATTERN：

正则表达式元字符：

基本的正则表达式元字符： GLOBBING-----简化版的正则表达式：[] ? *

字符匹配：

.：匹配任意单个字符；

[]：匹配指定范围内的任意单个字符；

[^]：匹配指定范围意外的任意单个字符；

下列所有的字符集都可以放置于[]之中用于匹配单个字符：[:lowe:]、[:upper:]、[:alpha:]、[:digit:]、[:space:]、[:alnum:]、[:punct:]、[:blank:]、 [:xdigit:]（显示所有的十六进制数字）、 a-z（所有的小写字母）、 A-Z（所有的大写字母）、 0-9（标志所有的十进制数字）；

次数匹配：该字符之前的那个字符可以出现的次数；

*：其前面的字符可以出现任意次（0次，1次或多次）；

\?：其前面的字符可有可无（0次或1次）；

\+：其前面的字符至少出现一次（1次或多次）；

\{m\}：其前面的字符必须出现m次；

\{m,n\}：其前面的字符至少出现0次，至多出现n次（m<n)；

\{,n\}：其前面的字符至少出现0次，至多出现n次；

\{m,\}：其前面的字符至少出现m次，×××；

在正则表达式中，表示任意长度任意字符的方式：.*

位置锚定字符：

行锚定：行首锚定：^；行尾锚定：$；

字锚定：字首锚定：\<或\b；字尾锚定：\>或\b；

分组与引用字符：

\(PATTERN\)：将此PATTERN所匹配到的所有字符当作一个不可分割的整体来处理；

grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]

默认情况下，gerp命令后面只允许有一个PATTERN；

如果想要在一次grep搜索过程中写多个PATTERN，则需要使用-e选项；每个-e选项只能使用一个PATTERN作为参数；

将所需要的PATTERN写到一个文件中，保证每行只有一个PATTERN；我们可以使用-f FILE方式来实现多PATTERN匹配；

egrep：

egrep [OPTIONS] PATTERN [FILE...]

用法与grep基本一样；

fgrep：PATTERN中所有的字符都被当作文本字符来处理；

其他的文本处理命令：

wc：wc [OPTION] ... [FILE] ...

-l：只显示行数

-w：只显示字数

-c：只显示字符数

cut：remove sections from each line of files.能够被cut命令修剪的文件，一般都是具有一定结构的文本文档；

格式：cut OPTION... [FILE]...

-d，--delimiter=DELIM：指定在实施修剪操作时所依赖的分隔符，默认是空白字符；

-f，--fields=LIST：根据定义的分隔符来指定字段的编号；

地址定界使用方法：

#：选择被指定的单个字段；

#,#：离散的多个被指定的单个字段；

#-#：连续的多个被指定的字段；

--output-delimiter=STRING：指定输出分隔符；

awk：awk -F "DELIMITER" '[/PATTERN/]{print $1,$2,...$NF}' FILE...

-F "DELIMITER"：指定字段分隔符，默认为空白字符；

$1,$2,...,$NF：根据字段分隔符切割出来的文本片段都存放在相应的内部变量中；

sort：sort lines of text files,将文本按行进行排序，默认怕徐规则是按照ASCII表中的字符顺序进行，这个排序标准可修改；

-r，--reverse：逆序排序；

-R，--rendom-sort：随机排序，这种随机算法是非常简陋的，不适用于复杂环境；

-u，--unique：重复出现的行，只保留一行；去重；

-n，--numeric-sort：以数字的数值大小进行排序；

-t，--field-searator=SEP：指定字段分隔符；

-k，--key=KEYDEF：指明根据那个关键字段进行排序，一般和-t同时使用；

uniq：report or omit repeated lines

-d，--repeated：只显示重复出现的行，而且每一组重复行只显示一行；

-u，--unique：只显示不重复的行；

-c，--count：在每行以前前缀的方式显示重复行的重复次数；

diff：compare files line by line.同一文件的不同修改版本，相当于打补丁；

patch：apply changes to files

格式：patch [-R] [-i  patchfile] [file]

对于编程语言的学习：

1.学习编程语言的语法格式；

2.学习工具的使用（库，命令）

3.算法

4.数据结构

学习编程语言的目标：

将问题空间和解空间对应起来；最直接的办法就是使用解空间的语言习惯来进行思考；

shell脚本编程：

shell脚本的内容和格式：

首行，绝对行首，shebang（解释器程序的绝对路径）

注释信息：以#占据绝对行首的行；（没有任何注释信息的脚本都是耍流氓）

为了能够在程序中突出程序的功能，适当的添加空白行，以分隔不同功能的源代码快；

利用bash脚本编程实现算术运算：

+、-

*、/

%：模运算，取余数

**|^

增强型的算术运算符号：

+= ：let B=B+2   --> let B+=2

-= ：let B=B-2   --> let B-=2

*= ：let B=B*2   --> let B*=2

/= ：let B=B/2   --> let B/=2

%= ：let B=B%2   --> let B%=2

特殊的增强型算术运算：

B++：先将B的值赋给其他变量，然后再自身+1；

++B：先做自身+1计算，然后再将B的值赋给其他变量；

算术运算方法：

1.let VAR=算术表达式;将算术表达式先行进行算术运算，并将运算得到的结果保存到变量VAR中；

2.VAR=$[算术表达式]；算术表达式中如果有变量引用可以使用$引用，也可以省略$;

SUM=$[C+B]相当于SUM=$[$C+$B]

3.VAR=$((算术表达式))；算术表达式中如果有变量引用可以使用$引用，也可以省略$;

4.expr ARGU1 ARGU2 ARGU3

ARGU1和ARGU3必须是数值；

ARGU2必须是运算符号

5.echo “算术表达式” | bc

注意：*号，在某些情况下，需要转义；

变量：存储数据的容器

弱变量：弱类型变量，字符型（默认），数值型（不包括浮点型）

条件测试命令：

test EXPRESSION

shell内建命令；

[ EXPRESSION ]

外部命令[ ；

` EXPRESSION `

bash的内部关键字；

注意：这类命令一般没有执行结果，只有执行状态返回值；

test测试命令有三类测试表达式：

1.数值测试：双目操作符

-eq：被测试的两个数值是否相等，相等为真，不等为假；

-ne：被测试的两个数值是否不相等，不等为真，相等为假；

-gt：被测试的两个数值，左边的是否大于右边的，大于为真，不大于为假；

-lt：被测试的两个数值，左边的是否小于右边的，小于为真，不小于为假；

-ge：被测试的两个数值，左边的是否大于等于右边的，大于等于为真，小于为假；

-le：被测试的两个数值，左边的是否小于等于右边的，小于等于为真，大于为假；

2.字符串测试

双目操作符：

==|=：被测试的两个字符串是否相同，相同为真，不同为假；

!=：被测试的两个字符串是否不相同，不同为真，相同为假；

>：被测试的两个字符串在ASCII码表中对应的二进制数值，左边是否大于右边，大于为真，小于为假；

<：被测试的两个字符串在ASCII码表中对应的二进制数值，左边是否小于右边，大于为真，大于为假；

注意：>和<必须用在` EXPRESSION `测试语句中；

=~：被测试的两个字符串，左侧字符串能否被右侧的PATTERN匹配，能匹配为真，不能匹配为假；

单目操作符：

-z 'STRING' ：判断指定的字符串是否为空串，空为真，不空为假；

-n 'STRING' ：判断指定的字符串是否为非空串，非空为真，空为假；

注意：

1.通常情况下，字符串要加引号，单引号或双引号都行，根据实际情况选择即可；

2.[[]]和[]在某些情况下，可能意义不同，要区分使用；

3.表达式两端以及操作符两端都要有空格；

3.文件状态测试：

单目测试：

文件的存在性测试，如果被测试的文件存在为真，不存在则为假；

-a | -e

[ -e /backup ]

文件类型测试（测试存在性）：

-b FILE ：被测试的文件是否存在并且是否为块设备；存在且为块设备为真，否则为假；

-c FILE ：被测试的文件是否存在并且是否为字符设备；

-d FILE ：被测试的文件是否存在并且是否为目录文件；

-f FILE ：被测试的文件是否存在并且是否为普通文件；

-h|-L FILE：被测试的文件是否存在并且是否为符号链接文件；

-p FILE ：被测试的文件是否存在并且是否为管道文件；

-S FILE ：被测试的文件是否存在并且是否为套接字文件；

文件的访问权限测试：

-r FILE：被测试的文件是否存在并且当前有效用户是否可读；文件存在并且当前有效用户可读为真，否则为假；

-w FILE：被测试的文件是否存在并且当前有效用户是否可写；

-x FILE：被测试的文件是否存在并且当前有效用户是否可执行；

文件的特殊权限标识测试：

-u FILE：被测试的文件是否存在斌且是否设置了SUID权限；文件存在并且设置了SUID权限为真，否则为假；

-g FILE：被测试的文件是否存在斌且是否设置了SGID权限；文件存在并且设置了SGID权限为真，否则为假；

-o FILE：被测试的文件是否存在斌且是否设置了STICKY权限；文件存在并且设置了STICKY权限为真，否则为假；

文件的所有权测试：

-O FILE：被测试的文件是否存在并且其属主是否为当前有效用户；

-G FILE：被测试的文件是否存在并且其属组是否为当前有效用户的组；

文件内容是否为空：

-s FILE：被测试的文件是否存在且内容不为空，存在且内容不空为真，否则为假；

时间戳测试：

-N FILE：被测试的文件自从上一次被修改之后，是否被修改过；

双目测试：

FILE1 -ed FILE2：测试两个文件是否指向同一个文件系统的相同inode的硬链接；

FILE1 -nt FILE2：被测试的两个文件，FILE1是否比FILE2新；

FILE1 -ot FILE2：被测试的两个文件，FILE1是否比FILE2旧；

测试语句中可以添加逻辑运算：例：

第一种表达方式：

[ -O /tmp/test ] && [ -s /tmp/test ]

[ -O /tmp/test ] || [ -s /tmp/test ]

第二种表达方式：

[ -O /tmp/test -a -s /tmp/test ]

[ -O /tmp/test -o -s /tmp/test ]

命令的执行结果：

正常的输出结果

命令的执行状态返回值：

0-255

0：表示命令执行成功；

当shell脚本运行是，一旦遇到exit命令，将立即结束当前shell进程，同时脚本的运行也将被挺止，即exit后面的所有命令