命令_awk 命令|

识字粗堪供赋役，不须辛苦慕公卿。这篇文章主要讲述命令_awk相关的知识，希望能为你提供帮助。
awk：(Aho, Weinberger, Kernighan)报告生成器,格式化文本输出
版本:

New awk (nawk)
GNU awk (gawk)：模式扫描和处理语言

基本用法:

awk [options] program var=value file…
awk [options] -f programfile var=value file…
awk [options] BEGINaction; …patternaction; …ENDaction; …file ...

program 通常是被放在单引号中
Program：patternaction statements; ..
action:print,printf

文件的每一行称为记录
由分隔符分隔的字段(域)标记$1,$2...$n称为:域标识; $0为所有域
省略action,则默认执行 print $0 的操作

说明：
-f :读取awk脚本并执行
-F "分隔符" 指明输入时用到的字段分隔符
-v var=value 变量赋值

范例：
cat awkscript
print script,$1,$2
awk -F: -f awkscript script="awk" /etc/passwd

?工作原理

第一步：执行BEGINaction; … 语句块中的语句。
第二步：从文件或标准输入(stdin)读取一行,然后执行pattern action; … 语句块,它逐行扫描文件,
从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步：当读至输入流末尾时,执行ENDaction; …语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,
比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

END语句块在awk从输入流中读取完所有的行之后即被执行,
比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分,也是可选的。
如果没有提供pattern语句块,则默认执行 print ,即打印每一个读取到的行,awk读取的每一行都会执行该语句块

print格式

格式:print item1, item2, ...
要点：
(1)逗号分隔符
(2)输出item可以字符串,也可是数值；当前记录的字段、变量或awk的表达式
(3)如省略item,相当于print $0

范例：
awk print "hello,awk"
awk -F: print /etc/passwd
awk -F: print "wang" /etc/passwd
awk -F: print $1 /etc/passwd
awk -F: print $0 /etc/passwd
awk -F: print $1"\\t"$3 /etc/passwd
grep "^UUID" /etc/fstab | awk print $2,$4

awk变量

#变量:内置和自定义变量
#1.内置变量
FS:输入字段分隔符,默认为空白字符
OFS:输出字段分隔符,默认为空白字符
RS:输入记录分隔符,指定输入时的换行符
ORS:输出记录分隔符,输出时用指定符号代替换行符
NF:字段数量
NR:记录号
FNR:各文件分别计数,记录号
FILENAME:当前文件名
ARGC:命令行参数的个数
ARGV:数组,保存的是命令行所给定的各参数

范例：
awk -F: print $1,$3,$7 /etc/passwd
awk -v FS=: print $1,FS,$3 /etc/passwd
awk -v FS=: -v OFS=: print $1,$3,$7 /etc/passwd
awk -v RS=print/etc/passwd
awk -v RS=-v ORS=###print/etc/passwd
awk -F：print NF /etc/fstab#引用变量时,变量前不需加$
awk -F：print $(NF-1) /etc/passwd
awk print FNR /etc/fstab /etc/inittab
awk print FILENAME /etc/fstab
awk BEGIN print ARGC /etc/fstab /etc/inittab
3
awk BEGIN print ARGV[0] /etc/fstab /etc/inittab
awk
awk BEGIN print ARGV[1] /etc/fstab /etc/inittab
/etc/fstab
awk BEGIN print ARGV[2] /etc/fstab /etc/inittab
/etc/inittab

#2.自定义变量(区分字符大小写)
(1) -v var=value
(2) 在program中直接定义

范例：
awk -v test=hello gawk print test /etc/fstab
awk -v test=hello gawk BEGINprint test
awk BEGINtest="hello,gawk"; print test
awk -F: sex="male"; print $1,sex,age; age=18 /etc/passwd

printf命令

格式化输出:printf "FORMAT", item1, item2, ...
(1)必须指定FORMAT
(2)不会自动换行,需要显式给出换行控制符,\\n
(3)FORMAT中需要分别为后面每个item指定格式符; 即:格式符与item一一对应

#格式符
%c：显示字符的ASCII码
%d,%i：显示十进制整数
%e,%E：显示科学计数法数值
%f：显示为浮点数
%g,%G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身

#修饰符
#[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度,%3.1f
- 左对齐(默认右对齐) %-15s
+ 显示数值的正负符号 %+d

范例：
awk -F: printf "%s",$1 /etc/passwd
awk -F: printf "%s\\n",$1 /etc/passwd
awk -F: printf "%-20s %10d\\n",$1,$3 /etc/passwd
awk -F: printf "Username: %s\\n",$1 /etc/passwd
awk -F: printf "Username: %s,UID:%d\\n",$1,$3 /etc/passwd
awk -F: printf "Username: %15s,UID:%d\\n",$1,$3 /etc/passwd
awk -F: printf "Username: %-15s,UID:%d\\n",$1,$3 /etc/passwd

操作符

#1.算术操作符
x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值

#2.字符串操作符:没有符号的操作符,字符串连接

#3.赋值操作符
=, +=, -=, *=, /=, %=, ^=,++, --
[root@192 ~]# awk BEGINi=0; print ++i,i
1 1
[root@192 ~]# awk BEGINi=0; print i++,i
0 1

#4.比较操作符
==, !=, > , > =, < , < =

#5.模式匹配符
~：左边是否和右边匹配,包含
!~：是否不匹配
范例：
awk -F: $0 ~ /root/print $1 /etc/passwd
awk $0~"^root" /etc/passwd
awk $0 !~ /root/ /etc/passwd
awk -F: $3==0 /etc/passwd

#6.逻辑操作符:与& & ,或||,非! 示例：
awk -F: $3> =0 & & $3< =1000 print $1 /etc/passwd
awk -F: $3==0 || $3> =1000 print $1 /etc/passwd
awk -F: !($3==0) print $1 /etc/passwd
awk -F: !($3> =500) print $3 /etc/passwd

#7.条件表达式（三目表达式）
selector?if-true-expression:if-false-expression
示例：
awk -F: $3> =1000?usertype="Common User":usertype=" SysUser";
printf "%15s:%-s\\n",$1,usertype /etc/passwd

PATTERN

PATTERN:根据pattern条件,过滤匹配的行,再做处理
(1)如果未指定：空模式,匹配每一行

(2) /regular expression/：仅处理能够模式匹配到的行,需要用/ /括起来
范例:
awk /^UUID/print $1 /etc/fstab
awk !/^UUID/print $1 /etc/fstab

(3)relational expression: 关系表达式,结果为"真"才会被处理
真：结果为非0值,非空字符串
假：结果为空字符串或0值
范例：
awk -F: i=1; j=1print i,j /etc/passwd
awk !0 /etc/passwd ; awk !1 /etc/passwd
Awk -F: $3> =1000print $1,$3 /etc/passwd
awk -F: $3< 1000print $1,$3 /etc/passwd
awk -F: $NF=="/bin/bash"print $1,$NF /etc/passwd
awk -F: $NF ~ /bash$/print $1,$NF /etc/passwd

(4)line ranges:行范围
startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式
awk -F: /^root\\> /,/^nobody\\> /print $1 /etc/passwd
awk -F: (NR> =10& & NR< =20)print NR,$1 /etc/passwd

(5)BEGIN/END模式
BEGIN：仅在开始处理文件中的文本之前执行一次
END：仅在文本处理完成之后执行一次
范例：
awk -F : BEGIN print "USER USERID" print $1":"$3 ENDprint "END FILE" /etc/passwd
awk -F : print "USER USERID"; print $1":"$3 ENDprint "END FILE" /etc/passwd
awk -F: BEGINprint " USER UID \\n--------------- "print $1,$3 /etc/passwd

seq 10 | awk i=0
seq 10 | awk i=1
seq 10 | awk i=!i#输出奇数
seq 10 | awk i=!i; print i
seq 10 | awk !(i=!i)#输出偶数
seq 10 |awk -v i=1 i=!i #输出偶数

awk对于未定义的变量处理方法
对于数值运算，未定义变量的话awk会赋予变量初值为0
对于字符运算，未定义变量的话awk会赋予变量初值为空字符串

【命令_awk】action

#1.常用的action分类
(1)Expressions：算术,比较表达式等
(2)Control statements：if, while等
(3)Compound statements：组合语句
(4)input statements
(5)output statements：print等

#2.awk控制语句
statements; …组合语句
if(condition) statements; …
if(condition) statements; … else statements; …
while(conditon) statments; …
do statements; … while(condition)
for(expr1; expr2; expr3) statements; …
break
continue
delete array[index]
delete array
exit

#3.if-else
语法：if(condition)statement; …[else statement]
if(condition1)
statement1
else
if(condition2)
statement2
else
statement3
使用场景:对awk取得的整行或某个字段做条件判断
范例:
awk -F: if($3> =1000)print $1,$3 /etc/passwd
awk -F: if($NF=="/bin/bash") print $1 /etc/passwd
awk if(NF> 5) print $0 /etc/fstab
awk -F: if($3> =1000) printf "Common user: %s\\n",$1
else printf "root or Sysuser: %s\\n",$1 /etc/passwd
awk -F: if($3> =1000) printf "Common user: %s\\n",$1;
else printf "root or Sysuser: %s\\n",$1 /etc/passwd
df -h|awk -F% /^\\/dev/print $1|awk $NF> =80print $1,$5
awk BEGIN test=100; if(test> 90)print "very good"
else if(test> 60) print "good"elseprint "no pass"

#4.while循环
语法：while(condition)statement; …
条件"真",进入循环；条件"假",退出循环
使用场景：
对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用
范例:
awk /^[[:space:]]*linux16/i=1; while(i< =NF)
print $i,length($i); i++ /etc/grub2.cfg
awk /^[[:space:]]*linux16/i=1; while(i< =NF) if(length($i)> =10)
print $i,length($i); i++ /etc/grub2.cfg

#5.do-while循环
语法：do statement; …while(condition)
意义：无论真假,至少执行一次循环体
范例:
awk BEGIN total=0; i=0; do total+=i; i++; while(i< =100); print total

#6.for循环
语法：for(expr1; expr2; expr3) statement; …
常见用法：
for(variable assignment; condition; iteration process)
for-body
特殊用法：能够遍历数组中的元素
语法：for(var in array) for-body
示例：
awk /^[[:space:]]*linux16/for(i=1; i< =NF; i++) print $i,length($i)
/etc/grub2.cfg

#7.switch语句
语法：switch(expression)
case VALUE1 or /REGEXP/:statement1;
case VALUE2 or /REGEXP2/:statement2;
...;
default:statementn
break和continue

awk BEGINsum=0; for(i=1; i< =100; i++)if(i%2==0)continue; sum+=iprint sum
awk BEGINsum=0; for(i=1; i< =100; i++)if(i==66)break; sum+=iprint sum

break [n]
continue [n]
next:提前结束对本行处理而直接进入下一行处理（awk自身循环）
awk -F: if($3%2!=0) next; print $1,$3 /etc/passwd

#8.性能比较
time (awk BEGIN total=0; for(i=0; i< =10000; i++)total+=i; ; print total; )
time(total=0; for i in 1..10000; do total=$(($total+i)); done; echo $total)
time(for ((i=0; i< =10000; i++)); do let total+=i; done; echo $total)
time(seq -s "+" 10000|bc)

awk数组

关联数组：array[index-expression]
index-expression:
(1)可使用任意字符串；字符串要使用双引号括起来
(2)如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为"空串"
(3)若要判断数组中是否存在某元素,要使用"index in array"格式进行遍历
示例：
weekdays["mon"]="Monday"
awk BEGINweekdays["mon"]="Monday"; weekdays["tue"]="Tuesday"; print weekdays["mon"]
awk !line[$0]++ dupfile
awk !line[$0]++; print $0, line[$0] dupfile

若要遍历数组中的每个元素,要使用for循环
for(var in array) for-body
注意：var会遍历array的每个索引
范例:
awkBEGINweekdays["mon"]="Monday"; weekdays["tue"]="Tuesday";
for(i in weekdays) print weekdays[i]
netstat -tan | awk /^tcp/state[$NF]++ENDfor(i in state)print i,state[i]
ESTABLISHED 1
LISTEN 6
awk ip[$1]++ENDfor(i in ip) print i,ip[i] /var/log/httpd/access_log

awk函数

#1.数值处理
rand()：返回0和1之间一个随机数
awk BEGINsrand(); for (i=1; i< =10; i++)print int(rand()*100)

#2.字符串处理
length([s])：返回指定字符串的长度
sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容,并将第一个匹配内容替换为s
echo "2008:08:08 08:08:08" | awk sub(/:/,"-",$1); print $0
2008-08:08 08:08:08
echo "2008:08:08 08:08:08" | awk sub(/:/,"-",$1)
2008-08:08 08:08:08

gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表
示的内容
echo "2008:08:08 08:08:08" | awk gsub(/:/,"-",$0)
2008-08-08 08-08-08
echo "2008:08:08 08:08:08" | awk gsub(/:/,"-",$0); print $0
2008-08-08 08-08-08

split(s,array,[r])：以r为分隔符,切割字符串s,并将切割后的结果保存至array所
表示的数组中,第一个索引值为1,第二个索引值为2,…
netstat -tn | awk /^tcp\\> /split($5,ip,":"); count[ip[1]]++
ENDfor (i in count) print i,count[i]

#3.自定义函数格式：
function name ( parameter, parameter, ... )
statements
return expression

范例：
cat fun.awk
---------------------------------
function max(x,y)
x> y?var=x:var=y
return var

BEGINa=3; b=2; print max(a,b)
---------------------------------
awk -f fun.awk

awk中调用shell命令

system命令
空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔
或者说除了awk的变量外其他一律用""引用起来
awk BEGINsystem("hostname")
awk BEGINscore=100; system("echo your score is " score)
your score is 100

awk脚本

#1.将awk程序写成脚本,直接调用或执行
范例：
cat f1.awk
------------------------------------
if($3> =1000)print $1,$3
------------------------------------
awk -F: -f f1.awk /etc/passwd

cat f2.awk
------------------------------------
#!/bin/awk -f
#this is a awk script
if($3> =1000)print $1,$3
------------------------------------
chmod +x f2.awk
f2.awk -F: /etc/passwd

#2.向awk脚本传递参数
格式：awkfile var=value var2=value2... Inputfile
注意：在BEGIN过程中不可用。直到首行输入完成以后,变量才可用。
可以通过-v 参数,让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数
范例：
cat test.awk
------------------------------------
#!/bin/awk -f
if($3 > =min & & $3< =max)print $1,$3
------------------------------------
chmod +x test.awk
test.awk -F: min=100 max=200 /etc/passwd