在上一篇文章中,我们谈到了sed 命令用法示例,我们看到了很多在文本处理中使用它的例子,我们看到了它在这方面的好处,但它有一些局限性。有时你需要一些功能强大的东西,让你可以更好地控制处理数据。这就是awk 命令的用武之地。
在这篇awk命令用法教程中,我们可以看到30个处理文本的awk命令用法示例,还可以看到awk 命令或特定的 GNU awk 提供了一种用于文本处理的脚本语言。使用 awk 脚本语言,你可以进行以下操作:
- 定义变量。
- 使用字符串和算术运算符。
- 使用控制流和循环。
- 生成格式化报告。
目录
- awk 选项
- 阅读 AWK 脚本
- 使用变量
- 使用多个命令
- 从文件中读取脚本
- awk 预处理
- awk 后处理
- 内置变量
- 更多变量
- 用户定义的变量
- 结构化命令
- While 循环
- for 循环
- 格式化打印
- 内置函数
- 数学函数
- 字符串函数
- 用户定义函数
$ awk options program file
awk 可以采用以下选项:
-F fs指定文件分隔符。
-f file指定包含 awk 脚本的文件。
-v var=value声明一个变量。
我们将看到如何使用 awk 处理文件和打印结果。
阅读 AWK 脚本要定义 awk 脚本,请使用由单引号括起来的大括号,如下所示:
$ awk '{print "Welcome to awk command tutorial "}'
文章图片
如果你输入任何内容,它会返回我们提供的相同欢迎字符串。
要终止程序,请按 Ctrl+D。看起来很棘手,不要惊慌,最好的还在后面。
使用变量使用 awk,你可以处理文本文件。awk 为找到的每个数据字段分配一些变量:
- 整行 $0。
- 第一个字段 $1。
- $2 用于第二个字段。
- $n 用于第 n 个字段。
检查这个例子,看看 awk 如何处理它:
$ awk '{print $1}' myfile
文章图片
上面的例子打印每一行的第一个单词。
有时,某些文件中的分隔符不是空格或制表符,而是其他东西。你可以使用 –F 选项指定它:
$ awk -F: '{print $1}' /etc/passwd
文章图片
此命令打印 passwd 文件中的第一个字段。我们使用冒号作为分隔符,因为 passwd 文件使用它。
使用多个命令要运行多个命令,请用分号分隔它们,如下所示:
$ echo "Hello Tom" | awk '{$2="Adam";
print $0}'
文章图片
第一个命令使 $2 字段等于 Adam。第二个命令打印整行。
从文件中读取脚本你可以在文件中键入 awk 脚本并使用 -f 选项指定该文件。
我们的文件包含这个脚本:
{print $1 " home at " $6}
$ awk -F: -f testfile /etc/passwd
文章图片
这里我们从 /etc/passwd 打印用户名和他的主路径,当然分隔符是用大写的 -F 指定的,它是冒号。
你可以像这样编写 awk 脚本文件:
{
text = $1 " home at " $6
print text
}
$ awk -F: -f testfile /etc/passwd
文章图片
awk 预处理如果你需要为结果创建标题或标题。你可以使用 BEGIN 关键字来实现此目的。它在处理数据之前运行:
$ awk 'BEGIN {print "Report Title"}'
让我们把它应用到我们可以看到结果的东西上:
$ awk 'BEGIN {print "The File Contents:"}{print $0}' myfile
文章图片
awk 后处理要在处理数据后运行脚本,请使用 END 关键字:
$ awk 'BEGIN {print "The File Contents:"}{print $0}' myfile
文章图片
这很有用,例如,你可以使用它来添加页脚。
让我们将它们组合在一个脚本文件中,如下awk命令用法示例:
BEGIN {print "Users and thier corresponding home"print " UserName \t HomePath"print "___________ \t __________"FS=":"}{print $1 "\t" $6}END {print "The end"}
首先,顶部部分是使用 BEGIN 关键字创建的。然后我们定义 FS 并在最后打印页脚。
$ awk -f myscript /etc/passwd
文章图片
awk命令用法教程:内置变量我们看到数据字段变量$1、$2、$3等用于提取数据字段,我们还处理了字段分隔符FS。
但这些并不是唯一的变量,还有更多的内置变量。
以下列表显示了一些内置变量:
FIELDWIDTHS指定字段宽度。
RS指定记录分隔符。
FS指定字段分隔符。
OFS指定输出分隔符。
ORS指定输出分隔符。
awk命令文本处理:默认情况下,OFS变量是空格,你可以设置OFS变量来指定你需要的分隔符:
$ awk 'BEGIN{FS=":";
OFS="-"} {print $1,$6,$7}' /etc/passwd
文章图片
有时,字段的分布没有固定的分隔符。在这些情况下, FIELDWIDTHS 变量解决了这个问题。
假设我们有这样的内容:
1235.96521927-8.365236257.8157
$ awk 'BEGIN{FIELDWIDTHS="3 4 3"}{print $1,$2,$3}' testfile
文章图片
看看输出。输出字段为每行 3 个,每个字段长度完全基于我们由 FIELDWIDTH 分配的内容。
假设你的数据分布在不同的行上,如下所示:
Person Name
123 High Street
(222) 466-1234Another person
487 High Street
(523) 643-8754
在上面的示例中,awk 无法正确处理字段,因为字段由换行符而不是空格分隔。
你需要将 FS 设置为换行符 (\n),将 RS 设置为空白文本,因此空行将被视为分隔符。
$ awk 'BEGIN{FS="\n";
RS=""} {print $1,$3}' addresses
文章图片
惊人的!我们可以正确读取记录和字段。
如何使用awk命令?更多变量还有一些其他变量可以帮助你获取更多信息:
ARGC检索传递参数的数量。
ARGV检索命令行参数。
ENVIRON外壳环境变量和相应值的数组。
FILENAME awk 处理的文件名。
正在处理的行的NF字段计数。
NR检索已处理记录的总数。
FNR 处理的记录。
IGNORECASE忽略字符大小写。
你可以查看之前发布的shell 脚本以了解有关这些变量的更多信息。
让我们测试一下。
$ awk 'BEGIN{print ARGC,ARGV[
1]}' myfile
文章图片
ENVIRON 变量像这样检索 shell 环境变量:
$ awk 'BEGIN{print ENVIRON[
"PATH"]}'
文章图片
你可以使用没有 ENVIRON 变量的 bash 变量,如下所示:
$echo | awk -v home=$HOME '{print "My home is " home}'
文章图片
NF 变量在不知道其位置的情况下指定记录中的最后一个字段:
$ awk 'BEGIN{FS=":";
OFS=":"} {print $1,$NF}' /etc/passwd
文章图片
如果你像这样键入 NF 变量,则它可以用作数据字段变量:$NF。
下面我们通过这两个例子来了解FNR和NR变量的区别:
$ awk 'BEGIN{FS=","}{print $1,"FNR="FNR}' myfile myfile
文章图片
在本例中,awk 命令定义了两个输入文件。同一个文件,但处理了两次。输出是第一个字段值和 FNR 变量。
现在,检查 NR 变量并查看差异:
$ awk 'BEGIN {FS=","}{print $1,"FNR="FNR,"NR="NR}END{print "Total",NR,"processed lines"}' myfile myfile
文章图片
当涉及到第二个文件时,FNR 变量变为 1,但 NR 变量保持其值。
用户定义的变量变量名可以是任何东西,但不能以数字开头。
你可以像在 shell 脚本中一样分配一个变量,如下awk命令用法示例:
$ awk 'BEGIN{test="Welcome to LikeGeeks website"print test}'
文章图片
结构化命令awk 脚本语言支持 if 条件语句。
测试文件包含以下内容:
101563345
$ awk '{if ($1 > 30) print $1}' testfile
文章图片
就这么简单。
如果你想运行多个语句,你应该使用大括号:
$ awk '{if ($1 > 30){x = $1 * 3print x}}' testfile
文章图片
你可以使用 else 语句,如下所示:
$ awk '{if ($1 > 30){x = $1 * 3print x} else{x = $1 / 2print x}}' testfile
文章图片
或者在同一行输入它们并用分号分隔 if 语句,如下所示:
文章图片
While 循环
如何使用awk命令?你可以使用 while 循环来迭代具有条件的数据。
cat myfile
124 127 130
112 142 135
175 158 245
118 231 147
$ awk '{sum = 0i = 1while (i <
5){sum += $ii++}average = sum / 3print "Average:",average}' testfile
文章图片
while 循环运行,每次将 sum 变量加 1,直到变量 i 变为 4。
你可以使用 break 命令退出循环,如下awk命令用法示例:
$ awk '{tot = 0i = 1while (i <
5){tot += $iif (i == 3)breaki++}average = tot / 3print "Average is:",average}' testfile
文章图片
for 循环
awk命令文本处理:awk 脚本语言支持 for 循环:
$ awk '{total = 0for (var = 1;
var <
5;
var++){total += $var}avg = total / 3print "Average:",avg}' testfile
文章图片
awk命令用法教程:格式化打印awk 中的 printf 命令允许你使用格式说明符打印格式化输出。
格式说明符是这样写的:
%[修饰符]控制字母
此列表显示了可以与 printf 一起使用的格式说明符:
c 将数字输出打印为字符串。
d 打印一个整数值。
e 打印科学数字。
f 打印浮点值。
o 打印一个八进制值。
s 打印文本字符串。
这里我们使用 printf 来格式化我们的输出:
$ awk 'BEGIN{x = 100 * 100printf "The result is: %e\n", x}'
文章图片
这是打印科学数字的示例。
我们不会尝试每个格式说明符。你知道这个概念。
内置函数awk 提供了几个内置函数,例如:
数学函数
如果你喜欢数学,你可以在你的 awk 脚本中使用这些函数:
sin(x) | cos(x) | sqrt(x) | exp(x) |log(x) | rand()
它们可以正常使用:
$ awk 'BEGIN{x=exp(5);
print x}'
文章图片
字符串函数【awk命令用法教程(30个文本处理示例)】awk命令文本处理:有很多字符串函数,你可以查看列表,但我们将以其中一个为例进行分析,其余的都是一样的:
$ awk 'BEGIN{x = "likegeeks";
print toupper(x)}'
文章图片
函数 toupper 将传递的字符串的字符大小写转换为大写。
awk命令用法示例:用户定义函数你可以定义你的函数并像这样使用它们:
$ awk 'function myfunc(){printf "The user %s has home path at %s\n", $1,$6}BEGIN{FS=":"}{myfunc()}' /etc/passwd
文章图片
如何使用awk命令?这里我们定义了一个名为 myprint 的函数,然后我们在脚本中使用它来使用 printf 函数打印输出。
我希望你喜欢这篇awk命令用法教程,希望以上内容可以帮助到你,若有任何问题,请在下方评论和分享。
谢谢阅读。
推荐阅读
- Linix Shell正则表达式教程(Sed和AWK用法示例)
- 31+个Linux sed命令在文本操作中的用法示例
- Bash脚本教程(如何创建和使用Bash函数())
- Python JSON处理教程(如何使用JSON())
- Python GUI开发示例(Tkinter教程)
- 处理大文本数据(Python如何删除标点符号())
- Python处理CSV教程和指南(如何读写和处理CSV())
- 如何在WordPress中将Gravity Forms条目导出到Excel
- 如何使用WordPress制作全屏网站()