awk命令用法及编程

awk(gawk):报告生成器，格式化文本输出：awk,gawk

基本用法：gawk [options] ‘program’ FILE ...

    program: PATTERN{ACTION STATEMENT};可以有多个，语句之间用分号分隔

print,printf

选项： 

    -F：指明输入数据时用到的字段分隔符

    -v var=value：自定义变量；

变量：

    1）内建变量

        FS:input field seperator(输入字段分隔符，默认为空白字符)

            #awk -v FS=':' '{print $1}' /etc/passwd

            #awk -F: ‘{print $1}’ /etc/passwd(这个命令和上面的命令效果是一样的)

        注：使用FS可以一次使用多个字符做为分隔符；例：awk -v FS="[,:]" '{print $3,$1,$2}' d.txt

        OFS:output field seperator(输出字段分隔符，默认为空白字符)

            #awk -v FS=':' -v OFS=':' '{print $1,$3,$7}' /etc/passwd

        RS:input record seperator,输入时的换行符；

        ORS:output record seperator,输出时的换行符；

        NF:number of field,每一行字段数量

            {print NF},{print $NF}(在awk中引用变量不需要加$符号)

            一行中的最后一个字段用$NF表示

        NR:number of record,处理过的行数

            #awk ‘{print NR}’ /etc/fstab

        FNR:每一个文件处理过的行数

            #awk ‘{print FNR}’ /etc/fstab /etc/issue

        FILENAME:当前正在处理的文件的文件名

            #awk ‘{print FILENAME}’ /etc/fstab

        ARGC:命令行参数的个数

            #awk 'BEGIN{print ARGC}' /etc/fstab

        ARGV:数组，保存的是命令行所给定的各参数

            #awk 'BEGIN{print ARGV[0]}' /etc/fstab

    2）自定义变量

        -v var=value

        变量名区分字符大小写；

        #awk -v test='Hello gawk' 'BEGIN{print test}'

        在program中直接定义

        #awk 'BEGIN{test="Hello gawk";print test}'

操作符： 

    算术运算操作符：

        x+y,x-y,x*y,x/y,x^y(次方),x%y

        -x

        +x:转换为数值

        字符串操作符：默认为没有符号的操作符：表示字符串连接

        赋值操作符：

            =，+=，-=，*=，/=,%=,^=

        比较操作符：

            >,>=,<,<=,!=,==

        模式匹配符：

            ~：是否匹配

            !~:是否不匹配

        逻辑操作符：

            &&：与

            ||：或

            ！：非

        函数调用：

            function_name(argu1,argu2,...)

        条件表达式：

            selector?if-true-expression:if-false-expression

            #awk-F: '{$3>=1000?usertype="Common User":usertype="SysadminUser";printf                    "%15s:%-s\n",$1,usertype}' /etc/passwd

printf格式化输出：

    格式化输出的命令：printf FORMAT,item1,item2,...

        （1）FORMAT必须要给出

        （2）Printf不会自动换行，如果需要换行，需要显式给出换行控制符，\n

        （3）FORMAT中需要分别为后面的每个item指定一个格式化符号

    格式符：

        %c：显示字符的ASCII码；

        %d,%i:显示十进制整数；

        %e,%E:科学计数法计数显示

        %f:显示为浮点数；

        %g,%G:以科学计数法或浮点形式显示数值；

        %s:显示字符串；

        %u:无符号整数；

        %%:显示%自身；

    修饰符：

        #[.#]:第一个数字用来控制显示的宽度：第二个#表示小数点后的精度，可以省略

            #awk -F: '{printf "Username:%20s UID:%d\n",$1,$3}' /etc/passwd

        -：左对齐

            #awk -F: '{printf "Username:%-20s UID:%d\n",$1,$3}' /etc/passwd

        +：显示数值的符号，负数显示为-,正数显示为+号

            #awk -F: '{printf "Username:%20s UID:%+d\n",$1,$3}' /etc/passwd

模式匹配：

    1）empty:空模式，匹配每一行；

    2）/regular expression/:仅处理能够被此处的模式匹配到的行

            #awk '/^#/{print}' /etc/fstab

            #awk '!/^#/{print}' /etc/fstab

    3）relational expression:关系表达式，结果有”真“有“假”：结果为”真“才会被处理：真：结果为非0值，非空字符串；

        #awk -F: '$3>=1000{print $1,$3}' /etc/passwd

        #awk -F: '$3<=1000{print $1,$3}' /etc/passwd

        #awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd

        #awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd

    4）line ranges:地址定界（行范围）

        #awk -F: '/^root/,/^liu/{print $1}' /etc/passwd

        注意：不支持直接给出数字的格式

        #awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd

    5）BEGIN/END模式

        BEGIN{}:表示仅在开始处理文件中每一行文本之前执行一次的程序；

        END{};表示仅在文本处理完成之后，命令结束之前执行一次的程序；

条件判断，循环：

    条件判断：

        if(condition){statements} 

       例：#awk -F: '{if($3>=1000) print $1,$3}' /etc/passwd 

if(confition){statements} else {statements}

        例：#awk -F: '{if($3>=1000) {printf "Commono user:%s\n",$1} else {printf "root orSysuser:%s\n",$1}}' /etc/passwd

    循环：

while(condition) {statements}：条件为“真”，进入循环：条件为“假”，退出循环

例：#awk -v i=1 'BEGIN{while(i<=4){print i;++i}}'

for(expr1;expr2;expr3) {statements}

例：#awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' grub2.cfg 

        for(var in array) {for-body}：常用于遍历数组中的元素

        例：#netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state) {print i,state[i]}}'

#awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /usr/logcal/nginx/logs/access.log

    跳出循环：

       break:跟出整个循环

       continue:跳出当前循环，进入下一个循环

       next:提前结束对本行的处理，直接进入下一行

       例：#awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd

数组：

    关联数组是awk一个独特的特征，它的一个强大的功能就是可以使用字符串作为一个数据的下标

    Index-erpression:

        若某数组事先不存在，则在使用时直接创建，并将其初始化为空的数组；

        可使用任意字符串作为下标；字符串要使用双引号；

        若要判断数组中是否存在某元素，要使用”index in array“格式进行：

    若要遍历数组中的每个元素，要使用for循环；

         for(var in array) {for-body}

        注意：var会遍历array的每个索引；

     删除数组中的元：

        delete array[subscript]

函数：

    awk的内置函数可以分为两组：算术函数和字符串函数

    1）内置函数

        数值处理：

            rand():返回0和1之间一个随机数；

        字符串处理；

            length([s]):返回指定字符串的长度

            sub(r,s,[t]):以r表示的模式来查找t所表示的字符中的匹配的内容，并将其第一次出现替换为s所表示的内容；

            gub(r,s,[t]):以r表示的模式来查找t所表示的字符中的匹配的内容，并将其全部替换为s所表示的内容；

            split(s,a[,r]):以r为分隔符切割字符s，并将切割后的结果保存至a所表示的数组中；

              #netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'

           getline函数：

               getline函数的作用是从文本中读取内容，也可以从管道中接收内容

               getline函数的用法比较特殊，不能使用getline()，它的语法不允许有圆括号，只能使用getline

               从文件中读取内容：getline < "a"  --> 从文件a中读取内容，小于号表示重定向，不能理解为小于号

               将读取的内容赋给一个变量：getline name < "a"

    2）自定义函数

练习：

    1.统计/etc/fstab文件中每个文件系统类型出现的次数；

    2.统计指定文件中每个单词出现的次数；

    3.统计下面语句中，每个单词及字符出现的个数

        the squid project provides a number of resources toassist users design,

        implement and support squid installations. Please browsethe documentation 

        and support ections for more infomation

    4.统计grade.txt中的分数的平均数     

        mona 70 77 85 83 70 89

        john 85 92 78 94 88 91

        andrea 89 90 85 94 90 95

        jasper 84 88 80 92 84 82

        dunce 64 80 60 60 61 62

        ellis 90 98 89 96 96 92

    5.在问题4的基础上统计grade.txt中班级平均分数，并以A,B,C,D为同学平均分做出分类并统计？

    6.文件test中有如下内容：

       zhangsan     80

       lisi         81.5

       wangwu       93

       zhangsan     85

       lisi         88

       wangwu       97

       zhangsan     90

       lisi         92

       wangwu       88

       要求输出格式：（average：平均成绩，total：总成绩） 

       name#######average#######total 

       zhangsan   xxx            xxx 

       lisi       xxx            xxx 

       wangwu     xxx            xxx

答案：

1.

#awk '!/^#/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}' /etc/fstab

2.

#awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}' /etc/fstab

3.

统计字符出现的次数

#grep -o "\w" c.txt | awk '{s[$1]++}END{for (key in s) print key,s[key]}'

统计单词出现的次数

#awk 'BEGIN{RS="[ .,]+"}{words[$1]++}END{for(i in words){print i,words[i]}}' c.txt

4.

[root@localhost ~]# cat 8.awk 
{
total=0
for(i=2;i<=NF;i++){
total += $i
avg=total/(NF-1)
}
print NR,$1,avg
}

5.

[root@localhost ~]# cat grades.awk 
BEGIN{OFS="\t"}
{
total=0
for(i=2;i<=NF;i++){
total += $i
avg=total/(NF-1)
}
student_avg[NR]=avg
if(avg>=90) grade="A"
else if(avg>=80) grade="B"
else if(avg>=70) grade="C"
else if(avg>=60) grade="D"
else grade="F"
++class_grade[grade]
}
END{
for(x=1;x<=NR;x++){
	class_avg_total += student_avg[x]
	print student_avg[x]
}
class_average=class_avg_total/NR
for(x=1;x<=NR;x++){
	if(student_avg[x]>=class_average)
		++above_average
	else
		++below_average
}
print ""
print "班级平均分数:",class_average
print "大于平均分数有:"above_average" 位同学！"
print "低于平均分数有:"below_average" 位同学！"
for(letter_grade in class_grade){
	print letter_grade":" class_grade[letter_grade] | "sort"
}
}

6.

[root@localhost ~]# awk 'BEGIN{print "name\taverage\ttotal"}{a[$1]+=$2;b[$1]++}END{for(i in a){print i"\t"a[i]/b[i]"\t"a[i]}}' test
name	average	total
zhangsan	85	255
wangwu	92.6667	278
lisi	87.1667	261.5
解析：
    a[$1]+=$2：把第一列作为数组的下标，累计相加的结果作为对应数组的元素(即值)
    b[$1]++：把第一列作为数组的下标，每出现一次计数器加1并且作为数组的元素(即值)