点击登录

    简明AWK教程

    资源工具 norbert 3809次浏览 已收录 0个评论 扫描二维码

    AWK名字取三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。若要深入的学习AWK,请看“The AWK Programming Language”。本教程并不面面俱到,全文以示例为主。

    起步上台

    从netstat命令中提取如下信息作为用例:

    $ cat netstat.txt
    Proto Recv-Q Send-Q Local-Address          Foreign-Address             State
    tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
    tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
    tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
    tcp        0      0 coolshell.cn:80        124.205.5.146:18245         TIME_WAIT
    tcp        0      0 coolshell.cn:80        61.140.101.185:37538        FIN_WAIT2
    tcp        0      0 coolshell.cn:80        110.194.134.189:1032        ESTABLISHED
    tcp        0      0 coolshell.cn:80        123.169.124.111:49809       ESTABLISHED
    tcp        0      0 coolshell.cn:80        116.234.127.77:11502        FIN_WAIT2
    tcp        0      0 coolshell.cn:80        123.169.124.111:49829       ESTABLISHED
    tcp        0      0 coolshell.cn:80        183.60.215.36:36970         TIME_WAIT
    tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
    tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
    tcp        0      0 coolshell.cn:80        110.194.134.189:4796        ESTABLISHED
    tcp        0      0 coolshell.cn:80        183.60.212.163:51082        TIME_WAIT
    tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
    tcp        0      0 coolshell.cn:80        123.169.124.111:49840       ESTABLISHED
    tcp        0      0 coolshell.cn:80        117.136.20.85:50025         FIN_WAIT2
    tcp        0      0 :::22                  :::*                        LISTEN
    

    下面为最简单且最常用的AWK示例,其输出第1列和第4例。

    • 单引号中的被大括号包围的是AWK语句(注意,其只能被单引号包含);
    • $1..$n表示第几例(注:$0表示整个行)。
    $ awk '{print $1, $4}' netstat.txt
    Proto Local-Address
    tcp 0.0.0.0:3306
    tcp 0.0.0.0:80
    tcp 127.0.0.1:9000
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp coolshell.cn:80
    tcp :::22
    

    再来看AWK的格式化输出,和C语言的printf类似。

    $ awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
    Proto    Recv-Q   Send-Q   Local-Address      Foreign-Address        State
    tcp      0        0        0.0.0.0:3306       0.0.0.0:*              LISTEN
    tcp      0        0        0.0.0.0:80         0.0.0.0:*              LISTEN
    tcp      0        0        127.0.0.1:9000     0.0.0.0:*              LISTEN
    tcp      0        0        coolshell.cn:80    124.205.5.146:18245    TIME_WAIT
    tcp      0        0        coolshell.cn:80    61.140.101.185:37538   FIN_WAIT2
    tcp      0        0        coolshell.cn:80    110.194.134.189:1032   ESTABLISHED
    tcp      0        0        coolshell.cn:80    123.169.124.111:49809  ESTABLISHED
    tcp      0        0        coolshell.cn:80    116.234.127.77:11502   FIN_WAIT2
    tcp      0        0        coolshell.cn:80    123.169.124.111:49829  ESTABLISHED
    tcp      0        0        coolshell.cn:80    183.60.215.36:36970    TIME_WAIT
    tcp      0        4166     coolshell.cn:80    61.148.242.38:30901    ESTABLISHED
    tcp      0        1        coolshell.cn:80    124.152.181.209:26825  FIN_WAIT1
    tcp      0        0        coolshell.cn:80    110.194.134.189:4796   ESTABLISHED
    tcp      0        0        coolshell.cn:80    183.60.212.163:51082   TIME_WAIT
    tcp      0        1        coolshell.cn:80    208.115.113.92:50601   LAST_ACK
    tcp      0        0        coolshell.cn:80    123.169.124.111:49840  ESTABLISHED
    tcp      0        0        coolshell.cn:80    117.136.20.85:50025    FIN_WAIT2
    tcp      0        0        :::22              :::*                   LISTEN
    

    脱掉外套

    再来看如何过滤记录(下面过滤条件为:第三列的值为0 && 第6列的值为LISTEN):

    $ awk '$3==0 && $6=="LISTEN" ' netstat.txt
    tcp        0      0 0.0.0.0:3306               0.0.0.0:*              LISTEN
    tcp        0      0 0.0.0.0:80                 0.0.0.0:*              LISTEN
    tcp        0      0 127.0.0.1:9000             0.0.0.0:*              LISTEN
    tcp        0      0 :::22                      :::*                   LISTEN
    

    其中,“==”为比较运算符,其他的还有: !=, >, <, >=, <=。来看看各种过滤记录的方式:

    $ awk ' $3>0 {print $0}' netstat.txt
    Proto Recv-Q Send-Q Local-Address          Foreign-Address             State
    tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
    tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
    tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
    

    若需表头,可以引入内建变量NR:

    $ awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
    Proto Recv-Q Send-Q Local-Address          Foreign-Address             State
    tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
    tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
    tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
    tcp        0      0 :::22                  :::*                        LISTEN
    

    加上格式化输出:

    $ awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
    Local-Address        Foreign-Address      State
    0.0.0.0:3306         0.0.0.0:*            LISTEN
    0.0.0.0:80           0.0.0.0:*            LISTEN
    127.0.0.1:9000       0.0.0.0:*            LISTEN
    :::22                :::*                 LISTEN
    

    谈到内建变量,下面列出AWK的一些内建变量,以供参考:


    $0 当前记录(这个变量中存放着整个行的内容)
    $1~$n 当前记录的第n个字段,字段间由FS分隔
    FS 输入字段分隔符 默认是空格或Tab
    NF 当前记录中的字段个数,就是有多少列
    NR 已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。
    FNR 当前记录数,与NR不同的是,这个值会是各个文件自己的行号
    RS 输入的记录分隔符, 默认为换行符
    OFS 输出字段分隔符, 默认也是空格
    ORS 输出的记录分隔符,默认为换行符
    FILENAME 当前输入文件的名字

    对于上面的内建变量,具体如何使用呢?例如,输出行号:

    $ awk '$3==0 && $6=="ESTABLISHED" || NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR, $4,$5,$6}' netstat.txt
    01 1 Local-Address        Foreign-Address      State
    07 7 coolshell.cn:80      110.194.134.189:1032 ESTABLISHED
    08 8 coolshell.cn:80      123.169.124.111:49809 ESTABLISHED
    10 10 coolshell.cn:80      123.169.124.111:49829 ESTABLISHED
    14 14 coolshell.cn:80      110.194.134.189:4796 ESTABLISHED
    17 17 coolshell.cn:80      123.169.124.111:49840 ESTABLISHED
    

    例如,指定分隔符

    $  awk  'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
    root 0 /root
    bin 1 /bin
    daemon 2 /sbin
    adm 3 /var/adm
    lp 4 /var/spool/lpd
    sync 5 /sbin
    shutdown 6 /sbin
    halt 7 /sbin
    

    上面等价于(-F的意思就是指定分隔符):

    $ awk  -F: '{print $1,$3,$6}' /etc/passwd
    

    注:如果你要指定多个分隔符,可以这样:

    awk -F '[;:]'
    

    再来看一个以\t作为分隔符输出的例子(下面使用了/etc/passwd文件,这个文件是以:分隔的):

    $ awk  -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
    root    0       /root
    bin     1       /bin
    daemon  2       /sbin
    adm     3       /var/adm
    lp      4       /var/spool/lpd
    sync    5       /sbin
    

    脱掉衬衫

    再来看几个字符串匹配的例子:

    $ awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
    1       Local-Address   Foreign-Address State
    6       coolshell.cn:80 61.140.101.185:37538    FIN_WAIT2
    9       coolshell.cn:80 116.234.127.77:11502    FIN_WAIT2
    13      coolshell.cn:80 124.152.181.209:26825   FIN_WAIT1
    18      coolshell.cn:80 117.136.20.85:50025     FIN_WAIT2
     
    $ awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
    1       Local-Address   Foreign-Address State
    5       coolshell.cn:80 124.205.5.146:18245     TIME_WAIT
    6       coolshell.cn:80 61.140.101.185:37538    FIN_WAIT2
    9       coolshell.cn:80 116.234.127.77:11502    FIN_WAIT2
    11      coolshell.cn:80 183.60.215.36:36970     TIME_WAIT
    13      coolshell.cn:80 124.152.181.209:26825   FIN_WAIT1
    15      coolshell.cn:80 183.60.212.163:51082    TIME_WAIT
    18      coolshell.cn:80 117.136.20.85:50025     FIN_WAIT2
    

    上述第1个例子匹配FIN状态, 第2个例子匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。其实awk可以像grep一样的去匹配第一行,就像这样:

    $ awk '/LISTEN/' netstat.txt
    tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN
    tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN
    tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN
    tcp        0      0 :::22                   :::*                    LISTEN
    

    可以使用 “/FIN|TIME/” 来匹配 FIN 或者 TIME :

    $ awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
    1       Local-Address   Foreign-Address State
    5       coolshell.cn:80 124.205.5.146:18245     TIME_WAIT
    6       coolshell.cn:80 61.140.101.185:37538    FIN_WAIT2
    9       coolshell.cn:80 116.234.127.77:11502    FIN_WAIT2
    11      coolshell.cn:80 183.60.215.36:36970     TIME_WAIT
    13      coolshell.cn:80 124.152.181.209:26825   FIN_WAIT1
    15      coolshell.cn:80 183.60.212.163:51082    TIME_WAIT
    18      coolshell.cn:80 117.136.20.85:50025     FIN_WAIT2
    

    再来看看模式取反的例子:

    $ awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
    1       Local-Address   Foreign-Address State
    2       0.0.0.0:3306    0.0.0.0:*       LISTEN
    3       0.0.0.0:80      0.0.0.0:*       LISTEN
    4       127.0.0.1:9000  0.0.0.0:*       LISTEN
    7       coolshell.cn:80 110.194.134.189:1032    ESTABLISHED
    8       coolshell.cn:80 123.169.124.111:49809   ESTABLISHED
    10      coolshell.cn:80 123.169.124.111:49829   ESTABLISHED
    12      coolshell.cn:80 61.148.242.38:30901     ESTABLISHED
    14      coolshell.cn:80 110.194.134.189:4796    ESTABLISHED
    16      coolshell.cn:80 208.115.113.92:50601    LAST_ACK
    17      coolshell.cn:80 123.169.124.111:49840   ESTABLISHED
    19      :::22   :::*    LISTEN
    

    或是:

    awk '!/WAIT/' netstat.txt
    

    拆分文件:AWK拆分文件很简单,使用重定向就好了。下面这个例子,是按第6例分隔文件,相当的简单(其中的NR!=1表示不处理表头)。

    $ awk 'NR!=1{print > $6}' netstat.txt
     
    $ ls
    ESTABLISHED  FIN_WAIT1  FIN_WAIT2  LAST_ACK  LISTEN  netstat.txt  TIME_WAIT
     
    $ cat ESTABLISHED
    tcp        0      0 coolshell.cn:80        110.194.134.189:1032        ESTABLISHED
    tcp        0      0 coolshell.cn:80        123.169.124.111:49809       ESTABLISHED
    tcp        0      0 coolshell.cn:80        123.169.124.111:49829       ESTABLISHED
    tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
    tcp        0      0 coolshell.cn:80        110.194.134.189:4796        ESTABLISHED
    tcp        0      0 coolshell.cn:80        123.169.124.111:49840       ESTABLISHED
     
    $ cat FIN_WAIT1
    tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
     
    $ cat FIN_WAIT2
    tcp        0      0 coolshell.cn:80        61.140.101.185:37538        FIN_WAIT2
    tcp        0      0 coolshell.cn:80        116.234.127.77:11502        FIN_WAIT2
    tcp        0      0 coolshell.cn:80        117.136.20.85:50025         FIN_WAIT2
    
    $ cat LAST_ACK
    tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
     
    $ cat LISTEN
    tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
    tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
    tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
    tcp        0      0 :::22                  :::*                        LISTEN
     
    $ cat TIME_WAIT
    tcp        0      0 coolshell.cn:80        124.205.5.146:18245         TIME_WAIT
    tcp        0      0 coolshell.cn:80        183.60.215.36:36970         TIME_WAIT
    tcp        0      0 coolshell.cn:80        183.60.212.163:51082        TIME_WAIT
    

    也可以把指定的列输出到文件:

    awk 'NR!=1{print $4,$5 > $6}' netstat.txt
    

    再复杂一点(注意其中的if-else-if语句,可见awk其实是个脚本解释器):

    $ awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";
    else if($6 ~ /LISTEN/) print > "2.txt";
    else print > "3.txt" }' netstat.txt
     
    $ ls ?.txt
    1.txt  2.txt  3.txt
     
    $ cat 1.txt
    tcp        0      0 coolshell.cn:80        124.205.5.146:18245         TIME_WAIT
    tcp        0      0 coolshell.cn:80        110.194.134.189:1032        ESTABLISHED
    tcp        0      0 coolshell.cn:80        123.169.124.111:49809       ESTABLISHED
    tcp        0      0 coolshell.cn:80        123.169.124.111:49829       ESTABLISHED
    tcp        0      0 coolshell.cn:80        183.60.215.36:36970         TIME_WAIT
    tcp        0   4166 coolshell.cn:80        61.148.242.38:30901         ESTABLISHED
    tcp        0      0 coolshell.cn:80        110.194.134.189:4796        ESTABLISHED
    tcp        0      0 coolshell.cn:80        183.60.212.163:51082        TIME_WAIT
    tcp        0      0 coolshell.cn:80        123.169.124.111:49840       ESTABLISHED
     
    $ cat 2.txt
    tcp        0      0 0.0.0.0:3306           0.0.0.0:*                   LISTEN
    tcp        0      0 0.0.0.0:80             0.0.0.0:*                   LISTEN
    tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN
    tcp        0      0 :::22                  :::*                        LISTEN
    
    $ cat 3.txt
    tcp        0      0 coolshell.cn:80        61.140.101.185:37538        FIN_WAIT2
    tcp        0      0 coolshell.cn:80        116.234.127.77:11502        FIN_WAIT2
    tcp        0      1 coolshell.cn:80        124.152.181.209:26825       FIN_WAIT1
    tcp        0      1 coolshell.cn:80        208.115.113.92:50601        LAST_ACK
    tcp        0      0 coolshell.cn:80        117.136.20.85:50025         FIN_WAIT2
    

    统计:下面的命令计算所有的C文件,CPP文件和H文件的文件大小总和。

    $ ls -l  *.cpp *.c *.h | awk '{sum+=$5} END {print sum}'
    2511401
    

    再来看一个统计各个connection状态的用法(我们可以看到一些编程的影子了,大家都是程序员我就不解释了。注意其中的数组的用法):

    $ awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt
    TIME_WAIT, 3
    FIN_WAIT1, 1
    ESTABLISHED, 6
    FIN_WAIT2, 3
    LAST_ACK, 1
    LISTEN, 4
    

    再来看看统计每个用户的进程的占了多少内存(注:sum的RSS那一列)

    $ ps aux | awk 'NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}'
    dbus, 540KB
    mysql, 99928KB
    www, 3264924KB
    root, 63644KB
    hchen, 6020KB
    

    脱掉内衣

    awk脚本:在上面我们可以看到一个END关键字。END的意思是“处理完所有的行的标识”,即然说到了END就有必要介绍一下BEGIN,这两个关键字意味着执行前和执行后的意思,语法如下:

    • BEGIN{ 这里面放的是执行前的语句 }
    • END {这里面放的是处理完所有的行后要执行的语句 }
    • {这里面放的是处理每一行时要执行的语句}

    为了说清楚这个事,我们来看看下面的示例。假设有这么一个文件(学生成绩表):

    $ cat score.txt
    Marry   2143 78 84 77
    Jack    2321 66 78 45
    Tom     2122 48 77 71
    Mike    2537 87 97 95
    Bob     2415 40 57 62
    

    awk脚本如下(我没有写有命令行上是因为命令行上不易读,另外也在介绍另一种用法):

    $ cat cal.awk
    #!/bin/awk -f
    #运行前
    BEGIN {
        math = 0
        english = 0
        computer = 0
     
        printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
        printf "---------------------------------------------\n"
    }
    #运行中
    {
        math+=$3
        english+=$4
        computer+=$5
        printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
    }
    #运行后
    END {
        printf "---------------------------------------------\n"
        printf "  TOTAL:%10d %8d %8d \n", math, english, computer
        printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
    }
    
    

    来看一下执行结果:(也可以这样运行 ./cal.awk score.txt)

    $ awk -f cal.awk score.txt
    NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
    ---------------------------------------------
    Marry  2143     78       84       77      239
    Jack   2321     66       78       45      189
    Tom    2122     48       77       71      196
    Mike   2537     87       97       95      279
    Bob    2415     40       57       62      159
    ---------------------------------------------
      TOTAL:       319      393      350
    AVERAGE:     63.80    78.60    70.00
    

    环境变量:即然说到了脚本,我们来看看怎么和环境变量交互:(使用-v参数和ENVIRON,使用ENVIRON的环境变量需要export)

    $ x=5
     
    $ y=10
    $ export y
     
    $ echo $x $y
    5 10
     
    $ awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt
    Marry   2143    78      89      87
    Jack    2321    66      83      55
    Tom     2122    48      82      81
    Mike    2537    87      102     105
    Bob     2415    40      62      72
    

    几个花活

    再来看几个小例子:

    #从file文件中找出长度大于80的行
    awk 'length>80' file
     
    #按连接数查看客户端IP
    netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr
     
    #打印99乘法表
    seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
    

    网站内容采用BY-NC-SA协议分享 , 转载请注明: 简明AWK教程
    喜欢 (3)
    [norbert_jxl@163.com]
    分享 (0)

    您必须 登录 才能发表评论!