Linux|Linux Shell文本处理命令技巧 LinuxShell文本处理命令技巧

find命令
按正则表达式来匹配文件
find -regex 貌似这里的正则表达式规则和一般的正则表达式规则有点不一样还没有弄清楚
按照时间搜索 -号表示小于 +号表示大于
find . [-atime | -mtime | -ctime] [+|-]n[smhdw]
按大小搜索单位k M G
find . -type f -size [-|+]2k
按权限搜索
find -perm mode 严格匹配模式
find -perm -mode 表示权限位转换为二进制后，1的比特位要匹配，0的比特位不用匹配
find -perm +mode 与 -mode的区别是+mode只需其中的任意一个1比特位被匹配，-mode是所有1比特位都必须被匹配，同样+mode也不管0位
将找到的文件拷贝到文档目录
find . -type f -mtime +10 -name “*.txt” -exec cp {} ~/Documents/ \;
-exec中指定脚本执行
-exec ./commands.sh {} \;
grep命令
-o 只输出匹配的文本行
-v 只输出没有匹配的文本行
-c 统计文件中包含文本的次数
-n 打印匹配的行号
-i 搜索时忽略大小写
-l 只打印文件名
递归搜索某个目录，并打印出行号
grep “Jonathan” . -R -n
将找到的匹配高亮
grep test . -R -n –colour
匹配多个模式
grep -e “test” -e “image” . -R -n –colour
xargs命令
xargs命令的作用是讲stdin的输入按照一定的方式组织，然后把组织好的结果当做参数传给下一个命令
-0 当sdtin含有特殊字元时候，将其当成一般字符
sort命令
-n 按数字进行排序
-d 按字典序进行排序
-r 逆序排序
-k N 指定按第N列排序
uniq命令
uniq消除重复行
sort unsort.txt | uniq
统计各行在文件中出现的次数
sort unsort.txt | uniq -c
找出重复行
sort unsort.txt | uniq -d
tr命令
echo 12345 | tr ‘0-9’ ‘9876543210’ // 0对应9 1对应8 。。。
字符类
alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：tr [:class:] [:class:]
eg: tr ‘[:lower:]’ ‘[:upper:]’
paste命令拼接两个文件
paste file1 file2
wc命令
wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数
sed命令
首处替换
sed ‘s/text/replace_text/’ file //替换每一行的第一处匹配的text
全局替换
sed ‘s/text/replace_text/g’ file
默认替换后，输出替换后的内容，如果需要直接替换原文件,使用-i：
sed -i ‘s/text/repalce_text/g’ file
移除空白行
sed ‘/^$/d’ file
变量转换
已匹配的字符串通过标记&来引用.
echo this is en example | seg ‘s/\w+/[&]/g’
$>[this] [is] [en] [example]
子串匹配标记
第一个匹配的括号内容使用标记 \1 来引用
sed ‘s/hello([0-9])/\1/’ file
双引号求值
sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：
sed ‘s/$var/HLLOE/’
awk命令
结构
awk ’ BEGIN{ statements } {statements} END{ statements } ’
NR:表示记录数量，在执行过程中对应当前行号；
NF:表示字段数量，在执行过程总对应当前行的字段数；
0:这个变量包含执行过程中当前行的文本内容； 1:第一个字段的文本内容；
$2:第二个字段的文本内容；
打印每一行的第二和第三个字段：
awk '{print $2, $3}' file
统计文件的行数