正则sed/awk的用法

*sed可以实现一些grep的功能，但是稍微麻烦了一些，sed的强项在于删除文件中的内容和替换

sed实现grep检索功能：

1.根据关键字检索：

[root@localhost ~]# sed -n '/root/'p passwd.txt 

*使用sed检索时需要在关键字前加-n参数，关键字后加p，关键词还需要用 // 包括起来

2.关键字有特殊符号时加上 -r 参数或使用脱义符

[root@localhost ~]# sed -nr '/o+t/'p passwd.txt 

3.打印指定行：（打印指定行时直接写行号即可，不需要加//符号括起来）

[root@localhost ~]# sed -n '5'p passwd.txt 
[root@localhost ~]# sed -n '5,$'p passwd.txt   #打印第五行至最后一行

4.-e 参数：使用多个表达式：

[root@localhost ~]# sed -e '1'p -e '/root/'p -n passwd.txt 

*打印第一行内容并检索包含root的行，如果第一行同时包含root，那么第一行会被打印两次

5.不区分大小写：（加上大写的i）

[root@localhost ~]# sed -n '/testword/'Ip passwd.txt 

sed删除功能：

1.删除打印结果中指定的行：

[root@localhost ~]# wc -l passwd.txt 
22 passwd.txt
#查看文件行数

[root@localhost ~]# sed '1,20'd passwd.txt 
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash
#删除第1-20行，打印剩余的行

[root@localhost ~]# wc -l passwd.txt 
22 passwd.txt
#该操作不会真实删除文件内容，只是删除打印结果

2.-i 参数：删除文件中指定的行（加上 -i参数后会真实删除文件内容）

[root@localhost ~]# wc -l passwd.txt 
22 passwd.txt
[root@localhost ~]# sed -i '1,20'd passwd.txt 
[root@localhost ~]# wc -l passwd.txt 
2 passwd.txt

*用于在删除大日志文件内容时比较常用

sed替换功能：

1.根据关键字替换：

[root@localhost ~]# cat passwd.txt 
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed 's/chrony/sed_test/g' passwd.txt 
sed_test:x:998:996::/var/lib/sed_test:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

*格式： 's/ 被替换关键字 / 替换内容 /g'

2.特殊符号匹配时加 -r 参数：

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -r 's/n+y/sed_test/g' passwd.txt 
sed_test:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

3.分段替换位置：

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:\1/g' passwd.txt 
/sbin/nologin:x:998:996::/var/lib/chronwy:nnnnny
/bin/bash:x:1000:1000::/home/linux01:linux01

*使用冒号分割为3段，将第三段和第一段位置互换

4.配置关键词为目录路径时加上脱义符或使用其他替换符号：

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed 's/\/bin\/bash/AAAAAAA/g' passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:AAAAAAA

[root@localhost ~]# sed 's#/bin/bash#AAAAAAA#g' passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:AAAAAAA

5.删除所有字母：

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed 's/[a-zA-Z]//g' passwd.txt 
::998:996::///://
01::1000:1000:://01://

6.在每行前添加内容：

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -r 's/.*/sed_test:&/g' passwd.txt 
sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

*匹配每行所有内容：.*，&符号代表.*的内容

7.真实替换文件中的内容：-i 参数（以上6条示例都不会实际更改文件内容，只更改替换完成的打印输出结果）

[root@localhost ~]# cat passwd.txt 
nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# sed -i 's/.*/sed_test:&/g' passwd.txt 

[root@localhost ~]# cat passwd.txt 
sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

补充：
把每个单词的第一个小写字母变大写：
sed 's/\b[a-z]/\u&/g' filename

把所有小写变大写：
sed 's/[a-z]/\u&/g' filename

大写变小写：
sed 's/[A-Z]/\l&/g' filename

sed在某一行最后添加一个数字
sed -r 's/(^a.*)/\1 12/' test
sed -r 's/^a.*/& 12/' test

打印1到100行含某个字符串的行
sed -n '1,100{/abc/p}' 1.txt

*awk相比grep/egrep/sed的功能更加强大，默认支持拓展正则表达式，grep需要加 -E 参数，sed需要加 -r 参数

1.分割文件内容打印指定段数：

[root@localhost ~]# cat test.txt 
zhangsan 100
lisi     92
wangwu   95
user1    88
user2    93
[root@localhost ~]# awk '{print $1}' test.txt 
zhangsan
lisi
wangwu
user1
user2

*默认以空格为分隔符，$指定打印的段数

2.-F参数：指定分隔符：

[root@localhost ~]# cat passwd.txt 
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '{print $3}' passwd.txt 
nnnnny
linux01
#打印多段时用逗号区分
[root@localhost ~]# awk -F ':' '{print $1,$3}' passwd.txt 
AAAA nnnnny
AAAA linux01
#指定打印结果中段与段的分割符号
[root@localhost ~]# awk -F ':' '{print $1"-->"$3}' passwd.txt 
AAAA-->nnnnny
AAAA-->linux01

*awk {print $0}表示打印所有，相当于cat

3.awk检索：（相当于grep）

[root@localhost ~]# cat passwd.txt 
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk '/nnn/' passwd.txt 
AAAA:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

4.检索指定段中包含关键字的行：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$1 ~/AAA/' passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

5.多个表达式组合使用：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '/linux/ {print $1,$3} /nnn/ {print $2,$3}' passwd.txt 
sed_test nnnnny
AAAA linux01

*打印包含linux关键字的行的第1和第3段，打印包含nnn关键字的第2和第3段

6.检索多个关键词的行并指定打印段：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '/linux|nnn/ {print $1}'  passwd.txt 
ABCD
AAAA

7.通过运算符号检索：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$5==1000' passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$5==1000 {print $1}' passwd.txt 
AAAA

8.针对数字判断时，不加双引号，否则判断条件会被当做字符串而不是数字（数字当做字符串判断时，根据ASCII码判断，998大于1000）：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$5<1000' passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
#加上双引号后1000被当做了字符串，而不是数字
[root@localhost ~]# awk -F ':' '$5<"1000"' passwd.txt 
[root@localhost ~]# 

9.字符串判断：（判断字符串时判断条件加上双引号）

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$9!="/sbin/nologin"' passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

10.两个字段之间比较和多个条件检索：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$5>$6' passwd.txt  
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

[root@localhost ~]# awk -F ':' '$5>$6 {print $5,$6}' passwd.txt  
998 996

[root@localhost ~]# awk -F ':' '$5>999' passwd.txt  
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '$5>900 && $6<999' passwd.txt  
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

[root@localhost ~]# awk -F ':' '$5>999 || $9=="/sbin/nologin"' passwd.txt  
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

*最后一种字符串判断除了用==符号还可以用~检索

11.OFS：指定打印结果分隔符：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '{OFS="***"} {print $1,$2,$3}' passwd.txt  
ABCD***sed_test***nnnnny
AAAA***sed_test***linux01

[root@localhost ~]# awk -F ':' '{OFS="***"} $5<1000 {print $1,$2,$3}' passwd.txt  
ABCD***sed_test***nnnnny

12.NR：在每行前面显示行数：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '{print NR":" $0}' passwd.txt 
1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

13.NF：在每行前面显示段数：

[root@localhost ~]# awk -F ':' '{print NF":" $0}' passwd.txt 
9:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
9:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

14.根据行数或者段数显示指定的行：
1）显示行号小于2的行：

[root@localhost ~]# awk -F ':' '{print NR":" $0}' passwd.txt 
1:ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
2:AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk 'NR<2' passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

2）显示前10行并且第一段为AAAA的行：

[root@localhost ~]# awk -F ':' 'NR<10 && $1 ~/AAAA/' passwd.txt 
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

15.=和==的区别：（==是匹配相等的数字或字符串，=是赋值）

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ":" '$1=="ABCD"' passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin

[root@localhost ~]# awk -F ":" '$1="hello"' passwd.txt 
hello sed_test nnnnny x 998 996  /var/lib/chronwy /sbin/nologin
hello sed_test linux01 x 1000 1000  /home/linux01 /bin/bash

16.求和：

[root@localhost ~]# cat passwd.txt 
ABCD:sed_test:nnnnny:x:998:996::/var/lib/chronwy:/sbin/nologin
AAAA:sed_test:linux01:x:1000:1000::/home/linux01:/bin/bash

[root@localhost ~]# awk -F ':' '{(tot=tot+$5)}; END {print tot}' passwd.txt 
1998

补充：

. 表示任意1个字符

* a b o 前面的这个字符有0或者多个
abc* ===> ab、abccc

.* 贪婪匹配

? 扩展正则 表示：?前面的字符有0个或1个
a1？ ==> a or a1

+ 扩展正则 表示：+前面的字符有1个或多个

| 扩展正则 表示：或者
egrep 'abc|123' 1.txt

[ ] 表示方括号里面的1个字符
[a-zA-Z0-9] 表示所有大小写字母和数字
[abc] 表示a或b或c
[a|@] 表示a或|或@
[^] 表示非，取反

^ 表示开头

$ 表示结尾

{ } 表示范围
a{1,5} ===> a或aa或aaa或aaaa或aaaaa
b{3} ===> bbb

( ) 小括号里面的字符看成一个整体
(abc){2} ==》 abcabc
(abc)+ ==>abc或abcabc或abc*n
abc{2} ==> abcc

扩展正则符号： ? + | { } 使用时grep -E 、sed -r