Shell|Shell 工具和脚本（学习笔记） Shell工具和脚本：学习笔记

写在前面：本篇内容来自于 MIT 推出的课程：计算机教育中缺失的一课，这门课程介绍了命令行、强大的文本编辑器的使用、使用版本控制系统提供的多种特性等等。中文课程主页：https://missing-semester-cn.github.io/。
本篇为学习第二节课所做的笔记，主题是 Shell 工具和脚本，在这节课中，介绍了 bash 作为脚本语言的一些基础操作，以及几种最常用的shell工具。

变量赋值： foo=bar，注意中间不能添加空格
Bash中的字符串通过 ' 和 "分隔符来定义，但是它们的含义并不相同。以 ' 定义的字符串为原义字符串，其中的变量不会被转义，而 "定义的字符串会将变量值进行替换。
函数编写：使用 "$1"获取变量值

mcd () { mkdir -p "$1" cd "$1" }

bash中的特殊变量
- $0 - 脚本名
- $1 到 $9 - 脚本的参数。 $1 是第一个参数，依此类推。
- $@ - 所有参数
- $# - 参数个数
- $? - 前一个命令的返回值
- $$ - 当前脚本的进程识别码
- !! - 完整的上一条命令，包括参数。常见应用：当你因为权限不足执行命令失败时，可以使用 sudo !!再尝试一次。
- $_ - 上一条命令的最后一个参数。如果你正在使用的是交互式shell，你可以通过按下 Esc 之后键入 . 来获取这个值。
特殊变量可以搭配短路运算符，来中断程序的运行
命令替换：以变量的形式获取一个命令的输出，当通过 $( CMD )这样的方式来执行 CMD 这个命令时，它的输出结果会替换掉 $( CMD ) 。例如，如果执行 for file in $(ls) ，shell首先将调用 ls ，然后遍历得到的这些返回值。
进程替换：还有一个冷门的类似特性是进程替换（process substitution）， <(CMD) 会执行 CMD 并将结果输出到一个临时文件中，并将 <( CMD ) 替换成临时文件名。这在我们希望返回值通过文件而不是STDIN传递时很有用。例如， diff <(ls foo) <(ls bar) 会显示文件夹 foo 和 bar 中文件的区别。
程序示例，变量为文件名，如果文件名中包含“foobar”，不进行操作，否则加入”foobar“

#!/bin/bashecho "Starting program at $(date)" # date会被替换成日期和时间echo "Running program $0 with $# arguments with pid $$"for file in "$@"; do grep foobar "$file" > /dev/null 2> /dev/null # 如果模式没有找到，则grep退出状态为 1 # 我们将标准输出流和标准错误流重定向到Null，因为我们并不关心这些信息 if [[ $? -ne 0 ]]; then # 这里的空格不能少 echo "File $file does not have any foobar, adding one" echo "# foobar" >> "$file" fi done

批量处理文件时非常有用：bash 通配（globbing）。
- 通配符 - 当你想要利用通配符进行匹配时，可以分别使用 ? 和 * 来匹配一个或任意个字符。
- 花括号 {} - 当你有一系列的指令，其中包含一段公共子串时，可以用花括号来自动展开这些命令。这在批量移动或转换文件时非常方便。

convert image.{png,jpg} # 会展开为 convert image.png image.jpgcp /path/to/project/{foo,bar,baz}.sh /newpath # 会展开为 cp /path/to/project/foo.sh /path/to/project/bar.sh /path/to/project/baz.sh /newpath# 也可以结合通配使用 mv *{.py,.sh} folder # 会移动所有 *.py 和 *.sh 文件mkdir foo bar# 下面命令会创建foo/a, foo/b, ... foo/h, bar/a, bar/b, ... bar/h这些文件 touch {foo,bar}/{a..h} touch foo/x bar/y # 比较文件夹 foo 和 bar 中包含文件的不同 diff <(ls foo) <(ls bar) # 输出 # < x # --- # > y

检查shell脚本中的错误工具：shellcheck，有程序，也有插件
查找帮助： man 程序，但是输出太长，可以使用 tldr 程序，输出几个例子（非常有用！）
查找文件： find 和 fd ， fd 默认支持使用正则查找，更加符合直觉。 locate 使用数据库的方式更加快速的搜索，但是缺陷是只能通过文件名来查找。
查找代码： grep 有很多选项，这也使它成为一个非常全能的工具。其中我经常使用的有 -C ：获取查找结果的上下文（Context）；-v 将对结果进行反选（Invert），也就是输出不匹配的结果。举例来说， grep -C 5 会输出匹配结果前后五行。当需要搜索大量文件的时候，使用 -R 会递归地进入子目录并搜索所有的文本文件。但是，我们有很多办法可以对 grep -R 进行改进，例如使其忽略.git 文件夹，使用多CPU等等。因此出现了很多替代品：比较常用的是 ripgrep (rg) ，因为它速度快，而且用法非常符合直觉。例子如下：

# 查找所有使用了 requests 库的文件 rg -t py 'import requests' # 查找所有没有写 shebang 的文件（包含隐藏文件） rg -u --files-without-match "^#!" # 查找所有的foo字符串，并打印其之后的5行 rg foo -A 5 # 打印匹配的统计信息（匹配的行和文件的数量） rg --stats PATTERN

查找命令
- history 访问shell中输入的历史命令
- 对于大多数的shell来说，可以使用 Ctrl+R 对命令历史记录进行回溯搜索。敲 Ctrl+R 后可以输入子串来进行匹配，查找历史命令行。反复按下就会在所有搜索结果中循环。在 zsh中，使用方向键上或下也可以完成这项工作。
导航
- ranger
- autojump，命令 j

习题部分

ls 命令
1. 显示所有文件： ls -a
2. 以可以理解的格式输出： ls -lh
3. 以最近访问顺序排序： ls -tl
编写两个bash函数： marco 和 polo 执行下面的操作。每当你执行 marco 时，当前的工作目录应当以某种形式保存，当执行 polo 时，无论现在处在什么目录下，都应当 cd 回到当时执行 marco 的目录。为了方便debug，你可以把代码写在单独的文件 marco.sh 中，并通过 source marco.sh命令，（重新）加载函数。

macro () { current="$(pwd)" echo "$current saved to cache" }polo () { cd "$current" echo "jump to $current" }

假设您有一个命令，它很少出错。因此为了在出错时能够对其进行调试，需要花费大量的时间重现错误并捕获输出。编写一段bash脚本，运行如下的脚本直到它出错，将它的标准输出和标准错误流记录到文件，并在最后输出所有内容。加分项：报告脚本在失败前共运行了多少次。

#!/usr/bin/env bashcount=0 while true; do n=$((RANDOM % 100))if [[ n -eq 42 ]]; then echo "Something went wrong" echo >&2 "The error was using magic numbers" echo "Program successfully ran $count times\n" exit 1 fi ((count += 1)) echo "ran successfully" doneecho $count echo "Everything went according to plan"

【Shell|Shell 工具和脚本（学习笔记）】执行：

sh [capture.sh](http://capture.sh/) 1> output 2> error;
 cat output;
 cat error

您的任务是编写一个命令，它可以递归地查找文件夹中所有的HTML文件，并将它们压缩成zip文件。注意，即使文件名中包含空格，您的命令也应该能够正确执行（提示：查看 xargs的参数-d，译注：MacOS 上的 xargs没有-d，查看这个issue）。如果您使用的是 MacOS，请注意默认的 BSD find 与GNU coreutils 中的是不一样的。你可以为find添加-print0选项，并为 xargs 添加 -0 选项。作为 Mac 用户，您需要注意 mac 系统自带的命令行工具和 GNU 中对应的工具是有区别的；如果你想使用 GNU 版本的工具，也可以使用 brew 来安装。