Linux文本处理工具 AWK
一：AWK介绍
AWK工作原理:
主要功能是实现报告生成器，格式化文档，经常用于处理各种文档
自带循环自动读入一行进行处理，行可以自己指定，行的分隔符不一定是回车，每次读入文件的一行，开启一个awk内存空间，多行处理，可以根据分割符切割成字段
先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
-----AWK有三种运行方式
1）awk命令行 #awk
2）awk程序文件 #awk -f/data/awk_script//将swk命令写到文件中，然后调用这个文件
3）awk脚本 #!/bin/awk -f
二、AWK用法
AWK语法
格式1:cmd | awk [options] 'program' //前置命令 | awk 【选项】‘【条件】{编辑指令}‘
格式2:awk [options] 'program' file… / awk 【选项】‘【条件】{编辑指令}’ 文件....
[option]选项
-F:指明输入时用到的字段分隔符
-v:-v var_name=value变量赋值 定义变量
-f:调用awk脚本进行处理后面可以是一个文件
program:pattern{action statements;
..}//模式和动作
pattern模式: //决定动作语句何时触发及触发事，
1)如果未指定，空模式，匹配每一行
2）/regularexpression/：仅处理能够模式匹配到的行，需要用/ /括起来
#awk '/^UUID/{print $1}' /etc/fstab//打印uuid开头的行
3）relationalexpression: 关系表达式，结果为“真”才会被处理
真：结果为非0值，非空字符串
假：结果为空字符串或0值
4）line ranges：行范围；startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式
例：打印10-20 行的用户名 
文章图片
5)BEGIN/END模式
BEGIN{} 读入第一行文本前执行一次一般用来初始化操作
END{}处理完最后一行文本之后执行一次一般用来输出处理结果
例:统计使用bash的用户个数
#awk 'BEGIN{X=0}/\
print :格式 print item1, item2, …//逗号为分隔符，输出的item可以是字符串数值变量表达式。
例:
#awk '{print "hello,awk"}'
#awk –F: '{print}' /etc/passwd
#awk –F: ‘{print “wang”}’ /etc/passwd
#awk –F: ‘{print $1}’ /etc/passwd
printf命令 :
格式:printf "FORMAT" ,item1,item2,…//指格式化输出，必须指定FORMAT，不会自动换行，换行使用换行符\n;
FORMAT中需要为每个item指定格式符
格式符:与item--对应
%c: 显示字符的ASCII码
%d, %i: 显示十进制整数
%e, %E:显示科学计数法数值
%f：显示为浮点数
%g, %G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%: 显示%自身
修饰符：
#[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
-: 左对齐（默认右对齐） %-15s
+：显示数值的正负符号 %+d
例:
#awk -F: '{printf "%-20s%10d\n",$1,$3}' /etc/passwd
#awk -F: ‘{printf "Username:%s\n",$1}’ /etc/passwd 
文章图片
#awk -F: ‘{printf “Username:%s,UID:%d\n",$1,$3}’ /etc/passwd
#awk -F: ‘{printf "Username:%15s,UID:%d\n",$1,$3}’ /etc/passwd
分割符、域和记录
awk执行时，由分隔符分隔的字段（域）标记$1,$2..$n称为域标识。$0为所有域，
文件的每一行称为记录,每一列成为字段
#awk '{print $0}'/etc/fstab> a.txt//打印fstab文件所有列重定向到a.txt文件中
AWK变量
变量:内置变量和自定义变量
FS:输入字段分隔符
例#awk -v FS=':''{print $1,FS,$3}'/etc/passwd
OFS:输出字段分隔符
例#awk -v FS= ':' -v OFS=':''{print $1,$3,$7}'/etc/passwd
RS:输入时的行分隔符，默认为换行符
ORS输出时的行分隔符
NF当前行的字段个数//引用内置变量可以不用$
print NF 显示当前行的字段数
print $NF显示当前行的第NF字段的值$NF $1最后一个字段
NR记录号 行号
#awk'{print NR}'/etc/passwd ;
awk END'{print NR}'/etc/passwd
FILENAME：当前文件名
#awk '{print FILENAME}' /etc/fstab
自定义变量(区分字符大小写)
(1) -v var=value
(2) 在program中直接定义
#awk -v test='hello gawk' '{print test}'/etc/fstab
#awk –F:‘{sex=“male”;
print$1,sex,age;
age=18}’ /etc/passwd
AWK操作符
算数操作符 ： x+y, x-y,x*y, x/y, x^y, x%y；-x: 转换为负数 ；+x: 转换为数值
赋值操作符 ： =, +=, -=, *=, /=, %=, ^=++, --
awk‘BEGIN{i=0;
print ++i,i}’
awk‘BEGIN{i=0;
print i++,i}’
比较操作符：==, !=, >, >=, <, <=
#awk -F: '$3==0'/etc/passwd //以:为分隔符打印第三列等于0的行
模式匹配符：~：左边是否和右边匹配包含 !~：是否不匹配
#awk '$0 ~ "^root"'/etc/passwd//在/etc/passwd文件中搜索所有以root开头的行
逻辑操作符:与&&，或||，非!
#awk -F:'$3>=0&&$3<=1000{print $1}' /etc/passwf打印uid大于等于0小于等于1000的用户名
#awk -F: '$3==0||$3>=1000{print$1}'/etc/passwd 打印uid等于0或者大于等于1000的用户名
#awk -F: '!($3==0){print $1}' /etc/passwd打印uid不等于0的用户名
条件表达式（三目表达式）：
selector?if-true-expression:if-false-expression
#awk -F: '{$3>=1000?usertype="CommonUser":usertype="SYSadmin";
print $1,usertype}'/etc/passwd
如果uid大于等于
1000 就是普通用户类型反之就是管理员，最后输出用户名和相应的用户类型 
文章图片
AWK控制语句
{statements;
…} 组合语句
1.条件语句if
if(condition){
statement;
statement;
…………….
};
if(condition){
【Linux文本处理工具 AWK】statement;
statement;
…………….
}
else{
statement;
//如果多个语句用{}括起来，就一条语句的话可以用不用{}
statement;
…………….
};
使用场景：对awk取得的整行或某个字段做条件判断
示例：
文章图片
文章图片
文章图片
2.while循环 ---条件为真进入循环，条件为假退出循环
while(condition){
ststement;
………………
}
使用场景:对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用
示例：length()字符的数量linux16前面肯能有空格
#awk'/^[[:space:]]*linux16/{i=1;
while(i<=NF)
{print$i,length($i);
i++}}' /etc/grub2.cfg
#awk‘/^[[:space:]]*linux16/{i=1;
while(i<=NF) {if(length($i)>=10) {print$i,length($i)};
i++}}’ /etc/grub2.cfg
3.do-while循环------无论真假至少执行一次循环体$i打印第一列并打印长度换行 i++=2
do{
statement;
………..
}while(condition)
示例：
#awk 'BEGIN{ total=0;
i=0;
do{ total+=i;
i++;
}while(i<=100);
printtotal}’
#awk'BEGIN{i=1;
sum=0;
while(i<=100){sum+=I;
i++}print sum}'///打印1-100的和
4.for循环
for(expr1;
expr2;
expr3){
statement;
…………….
}
#awk 'BEGIN{for(i=1;
i<=100;
i++)sum+=i;
print sum}'
常见用法:
for(varible assignment;
q){
for-body
}
特殊用法:能够遍历数组中的元素
for(var in array){
for-body
}
5.switch语句
switch(expression){
case value1:
statement1;
case value2:
ststementt2;
……
default:
statementn
}
-----break和continue区别
break是结束整个循环体，continue是结束单次循环,
示例
文章图片
next:提前结束对本行处理而直接进入下一行处理（awk自身循环）
示例：
#awk -F: '{if($3%2!=0) next;
print $1,$3}' /etc/passwdid如果是奇数 就不处理--打印偶数行的uid
AWK数组 关联数组索引编号格式不是数字是自定义，普通数组下标都是数字
关联数组:array[index-expression]
index-expression:可使用任意字符串；字符串要使用双引号括起来；如过某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
若要判断数组中是否存在某元素，要使用index inarray 格式进行遍历 找到数组里的每一个元素
若要遍历数组中的每个元素，要使用for循环
for(var in array){
for-body
}
示例:
#weekdays["mon"]="Monday"
#awk'BEGIN{weekdays["mon"]="Monday";
weekdays["tue"]="Tuesday";
printweekdays["mon"]}‘
#awk '!arr[$0]++'去除重复行
AWK函数
1.数值处理：rand():返回0和1之间的一个随机数
#awk 'BEGIN{srand();
for (i=1;
i<=10;
i++)print int(rand()*100) }'取整
#awk 'BEGIN{srand();
for(i=1;
i<=10;
i++)print rand() }'//生成十个随机数
2.字符串处理:
length([s]):返回指定字符串的长度
sub(r,s,[t]):对t字符串进行搜索表示的模式匹配的内容，并将第一个匹配的内容替换为s
gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容
split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第一个索引值为1,第二个索引值为2,…
netstat -tan | awk'/^tcp\>/{split($5,ip,":");
count[ip[1]]++}
END{for (i in count) {print i,count[i]}}'
3.自定义函数
functionname ( parameter, parameter, ... ) {
statements
return expression
}
三、练习
1.取出UID大于200或root的用户信息 
文章图片
2.统计/etc/fstab文件中每个文件系统类型出现的次数 
文章图片
3.统计/etc/fstab文件中每个单词出现的次数 
文章图片
4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字 
文章图片
5.解决DOS攻击生产案例：根据web日志或者或者网络连接数，监控当某个IP并发连接数或者短时内PV达到100，即调用防火墙命令封掉对应的IP，监控频率每隔5分钟。防火墙命令为：iptables -A INPUT -s IP -j REJECT 
文章图片
推荐阅读
- Java|Java OpenCV图像处理之SIFT角点检测详解
- 事件处理程序
- Linux下面如何查看tomcat已经使用多少线程
- Beego打包部署到Linux
- 爬虫数据处理HTML转义字符
- 第二阶段day1总结
- Android|Android BLE蓝牙连接异常处理
- Linux|109 个实用 shell 脚本
- linux定时任务contab
- 芯灵思SinlinxA33开发板Linux内核定时器编程