Linux awk 命令详解
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
使用方法 ： awk '{pattern + action}' {filenames}
awk内置变量：
$n 当前记录的第n个字段，字段间由FS分隔
$0 完整的输入记录
ARGC 命令行参数的数目
ARGIND 命令行中当前文件的位置(从0开始算)
ARGV 包含命令行参数的数组
CONVFMT 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO 最后一个系统错误的描述
FIELDWIDTHS 字段宽度列表(用空格键分隔)
FILENAME 当前文件名
FNR 各文件分别计数的行号
FS 设置输入域分隔符，等价于命令行 -F选项
IGNORECASE 如果为真，则进行忽略大小写的匹配
NF 一条记录的字段的数目
NR 已经读出的记录数，就是行号，从1开始
OFMT 数字的输出格式(默认值是%.6g)
OFS 输出记录分隔符（输出换行符），输出时用指定的符号代替换行符
ORS 输出记录分隔符(默认值是一个换行符)
RLENGTH 由match函数所匹配的字符串的长度
RS 记录分隔符(默认是一个换行符)
RSTART 由match函数所匹配的字符串的第一个位置
SUBSEP 数组下标分隔符(默认值是/034)
$NF是number finally,表示最后一列的信息，跟变量NF是有区别的，变量NF统计的是每行列的总数
format格式：
%c:显示单个字符
%d,%i:十进制整数
%e,%E:科学计数法显示数值
%f:显示浮点数
%g,%G:以科学计数法的格式或浮点数的格式显示数值
%s:显示字符串
%u:无符号整数
%%:显示%自身
修饰符:
N:显示宽度，N为数字
-:左对齐，默认为右对齐
+:显示数值符号
\t 制表符
\n 换行符
~ 匹配，与==相比不是精确比较
!~ 不匹配，不精确比较
== 等于，必须全部相等，精确比较
!= 不等于，精确比较
&& 逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
awk 列输出：
1.搜索/etc/passwd有root关键字的所有行
[root@127-0-0-1 scripts]# awk '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
2.搜索/etc/passwd有root关键字的所有行，并输出shell列
[root@127-0-0-1 scripts]# awk -F ":" '/root/ {print $7}' /etc/passwd
/bin/bash
/sbin/nologin
3.统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容
[root@127-0-0-1 scripts]# awk -F ":" '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
filename:/etc/passwd,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
filename:/etc/passwd,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
filename:/etc/passwd,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync
filename:/etc/passwd,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
filename:/etc/passwd,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt
filename:/etc/passwd,linenumber:9,columns:7,linecontent:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
filename:/etc/passwd,linenumber:10,columns:7,linecontent:uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
filename:/etc/passwd,linenumber:11,columns:7,linecontent:operator:x:11:0:operator:/root:/sbin/nologin
filename:/etc/passwd,linenumber:12,columns:7,linecontent:games:x:12:100:games:/usr/games:/sbin/nologin
filename:/etc/passwd,linenumber:13,columns:7,linecontent:gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
filename:/etc/passwd,linenumber:14,columns:7,linecontent:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
filename:/etc/passwd,linenumber:15,columns:7,linecontent:nobody:x:99:99:Nobody:/:/sbin/nologin
filename:/etc/passwd,linenumber:16,columns:7,linecontent:dbus:x:81:81:System message bus:/:/sbin/nologin
filename:/etc/passwd,linenumber:17,columns:7,linecontent:vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
filename:/etc/passwd,linenumber:18,columns:7,linecontent:abrt:x:173:173::/etc/abrt:/sbin/nologin
filename:/etc/passwd,linenumber:19,columns:7,linecontent:saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
filename:/etc/passwd,linenumber:20,columns:7,linecontent:postfix:x:89:89::/var/spool/postfix:/sbin/nologin
filename:/etc/passwd,linenumber:21,columns:7,linecontent:haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
filename:/etc/passwd,linenumber:22,columns:7,linecontent:ntp:x:38:38::/etc/ntp:/sbin/nologin
filename:/etc/passwd,linenumber:23,columns:7,linecontent:sshd:x:74:74::/var/empty/sshd:/bin/false
filename:/etc/passwd,linenumber:24,columns:7,linecontent:zabbix:x:498:498:Zabbix Monitoring System:/var/lib/zabbix:/bin/bash
filename:/etc/passwd,linenumber:25,columns:7,linecontent:ntop:x:497:497:ntop:/var/lib/ntop:/sbin/nologin
filename:/etc/passwd,linenumber:26,columns:7,linecontent:tcpdump:x:72:72::/:/sbin/nologin
filename:/etc/passwd,linenumber:27,columns:7,linecontent:dev:x:500:500::/home/dev:/bin/bash
filename:/etc/passwd,linenumber:28,columns:7,linecontent:ops:x:501:501::/home/ops:/bin/bash
filename:/etc/passwd,linenumber:29,columns:7,linecontent:qa:x:502:502::/home/qa:/bin/bash
filename:/etc/passwd,linenumber:30,columns:7,linecontent:bigdata:x:503:503::/home/bigdata:/bin/bash
filename:/etc/passwd,linenumber:31,columns:7,linecontent:test:x:504:504::/home/test:/bin/bash
filename:/etc/passwd,linenumber:32,columns:7,linecontent:autobots:x:505:505::/home/autobots:/bin/bash
filename:/etc/passwd,linenumber:33,columns:7,linecontent:netdata:x:496:496:netdata:/opt/netdata:/sbin/nologin
filename:/etc/passwd,linenumber:34,columns:7,linecontent:mysql:x:506:506:MySQL Server:/home/mysql:/bin/bash
filename:/etc/passwd,linenumber:35,columns:7,linecontent:gluster:x:495:495:GlusterFS daemons:/var/run/gluster:/sbin/nologin
filename:/etc/passwd,linenumber:36,columns:7,linecontent:apache:x:48:48:Apache:/var/www:/sbin/nologin
filename:/etc/passwd,linenumber:37,columns:7,linecontent:mysql-proxy:x:494:494:MySQL-Proxy user:/:/sbin/nologin
4.打印/etc/passwd/的第二行信息
[root@127-0-0-1 scripts]# awk 'NR==2{print "filename:" FILENAME,$0}' /etc/passwd
filename:/etc/passwd bin:x:1:1:bin:/bin:/sbin/nologin
5.获取第12到30行的第一列的信息
[root@127-0-0-1 scripts]# awk -F ":" '{if(NR > 12 && NR < 30) print $1}' /etc/passwd
gopher
ftp
nobody
dbus
vcsa
abrt
saslauth
postfix
haldaemon
ntp
sshd
zabbix
ntop
tcpdump
dev
ops
qa
6.多分隔符的使用，多个分隔符利用[]然后在里面写分隔符即可
[root@127-0-0-1 scripts]# cat yoon.txt
192.168.1.1:3307
[root@127-0-0-1 scripts]# awk -F '[.:]' '{print $1,$5}' yoon.txt
192 3307
7.添加了BEGIN和END
hello world
[root@127-0-0-1 scripts]# cat long.txt
2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo
[root@127-0-0-1 scripts]# cat long.txt | awk 'BEGIN{print "name,shell"} {print $1,$NF} END {print "hello world"}'
name,shell
2 test
3 awk
This's test
10 orange,apple,mongo
hello world
8.忽略大小写
[root@127-0-0-1 scripts]# awk 'BEGIN{IGNORECASE=1} /this/' long.txt
2 this is a test
This's a test
9.使用正则，字符串匹配
输出第二列包含 "th"，并打印第二列与第四列
[root@127-0-0-1 scripts]# awk '$2 ~ /th/ {print $2,$4}' long.txt
this a
10.输出第二列不包含 "th"，并打印第二列与第四列
[root@127-0-0-1 scripts]# awk '$2 !~ /th/ {print $2,$4}' long.txt
Are like
a
11.匹配包含27为数字开头的行，如27，277，2777...
awk '/[2][7][7]*/{print $0}' /etc/passwd 匹配包含27为数字开头的行，如27，277，2777...
12.awk自定义输出
awk '{print $1 $3}' part01 //$1与$3相连输出，不分隔
awk '{print $1,$3}' part01 //多了一个逗号，$1与$3使用空格分隔
awk '{print $1 " " $3}' part01 //$1与$3之间手动添加空格分隔
13.awk对字段数量做判断的输出
awk '{print $NF}' part01 //将每行第NF个字段的值打印出来
awk 'NF==4 {print }' part01 //显示只有4个字段的行
awk 'NF>2{print $0}' part01 //显示每行字段数量大于2的行
14.awk对行的处理
awk '{print NR,NF,$NF,"\t",$0}' part01 //依次打印行号，字段数，最后字段值，制表符，每行内容
awk 'NR==5{print}' part01 //显示第5行
awk 'NR==5 || NR==6{print}' part01 //显示第5行和第6行
awk 'NR!=1{print}' part01 //不显示第一行
15.匹配字符处理
//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
awk '/mail/,/mysql/{print}' /etc/passwd //区间匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的行，如27，277，2777...
awk '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显示
awk '{if($1~/mail/) print $1}' /etc/passwd //与上面相同
awk '$1!~/mail/{print $1}' /etc/passwd //不匹配
16.IF语句，必须用在{}中，且比较内容用()扩起来
awk '{if($1~/mail/) print $1}' /etc/passwd //简写
awk '{if($1~/mail/) {print $1}}' /etc/passwd //全写
awk '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd //if...else...
17.条件表达式 == != > >=
awk '$1=="183.198.46.6"{print $4}' part01
awk '{if($1=="mysql") print $3}' /etc/passwd //与上面相同
awk '$1!="mysql"{print $3}' /etc/passwd //不等于
awk '$3>1000{print $3}' /etc/passwd //大于
awk '$3>=100{print $3}' /etc/passwd //大于等于
awk '$3<1{print $3}' /etc/passwd //小于
awk '$3<=1{print $3}' /etc/passwd //小于等于
18.逻辑运算符 && ||
awk '$1~/183.198.46.6/ && $4~/2015:19:14:40/ {print$7}' part01
awk '$1~/mail/ && $3>8 {print }' part01 //逻辑与，$1匹配mail，并且$3>8
awk '{if($1~/mail/ && $3>8) print }' /etc/passwd
awk '$1~/mail/ || $3>1000 {print }' /etc/passwd //逻辑或
awk '{if($1~/mail/ || $3>1000) print }' /etc/passwd
19.数值运算
awk '$3 > 100' /etc/passwd
awk '$3 > 100 || $3 < 5' /etc/passwd
awk '$3+$4 > 200' /etc/passwd
awk '/mysql|mail/{print $3+10}' /etc/passwd //第三个字段加10打印
awk '/mysql/{print $3-$4}' /etc/passwd //减法
awk '/mysql/{print $3*$4}' /etc/passwd //求乘积
awk '/MemFree/{print $2/1024}' /proc/meminfo //除法
awk '/MemFree/{print int($2/1024)}' /proc/meminfo //取整
20.格式化输出
awk '{printf "%-8d %-8s %-10s\n",$1,$2,$3}' part01
printf表示格式输出
%格式化输出分隔符，-8长度为8个数字，s表示字符串类型，打印每行前三个字段，指定第一个字段输出字符串类型(长度为8)，第二个字段输出字符串类型(长度为8),第三个字段输出字符串类型(长度为10)
