跳转至

Shell 高级文本处理与正则表达式

本文已基本完稿,正在审阅和修订中,不是正式版本。

导言

本章节将介绍一些常用的 shell 文本处理工具,它们可以帮助你更加得心应手地处理大量有规律的文本。

为保持简洁,各工具的介绍皆点到即止,进一步的用法请自行查找。

其他 shell 文本处理工具

sort

sort 用于文本的行排序。默认排序方式是升序,按每行的字典序排序。

一些基本用法:

  • -r 降序(从大到小)排序
  • -u 去除重复行
  • -o [file] 指定输出文件
  • -n 用于数值排序,否则“15”会排在“2”前
$ echo -e "snake\nfox\nfish\ncat\nfish\ndog" > animals
$ sort animals
cat
dog
fish
fish
fox
snake
$ sort -r animals
snake
fox
fish
fish
dog
cat
$ sort -u animals
cat
dog
fish
fox
snake
$ sort -u animals -o animals
$ cat animals
cat
dog
fish
fox
snake
$ echo -e "1\n2\n15\n3\n4" > numbers
$ sort numbers
1
15
2
3
4
$ sort -n numbers
1
2
3
4
15

小知识

为什么有必要存在 -o 参数?试试重定向输出到原文件会发生什么吧。

uniq

uniq 也可以用来排除重复的行,但是仅对连续的重复行生效。

通常会和 sort 一起使用:

$ sort animals | uniq

只是去重排序明明可以用 sort -u ,uniq 工具是否多余了呢?实际上 uniq 还有其他用途。

uniq -d 可以用于仅输出重复行:

$ sort animals | uniq -d

uniq -c 可以用于统计各行重复次数:

$ sort animals | uniq -c

正则表达式

正则表达式(regular expression)描述了一种字符串匹配的模式,可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。

此处仅简单介绍正则表达式的一些用法,对正则表达式有更多兴趣,请移步拓展阅读

特殊字符

特殊字符 描述
[] 方括号表达式,表示匹配的字符集合,例如 [0-9][abcde]
() 标记子表达式起止位置
* 匹配前面的子表达式零或多次
+ 匹配前面的子表达式一或多次
? 匹配前面的子表达式零或一次
\ 转义字符,除了常用转义外,还有:\b 匹配单词边界;\B 匹配非单词边界等
. 匹配除 \n(换行)外的任意单个字符
{} 标记限定符表达式的起止。例如 {n} 表示匹配前一子表达式 n 次;{n,} 匹配至少 n 次;{n,m} 匹配 n 至 m 次
| 表明前后两项二选一
$ 匹配字符串的结尾
^ 匹配字符串的开头,在方括号表达式中表示不接受该方括号表达式中的字符集合

以上特殊字符,若是想要匹配特殊字符本身,需要在之前加上转义字符 \

简单示例

匹配正整数:

[1-9][0-9]*

匹配仅由 26 个英文字母组成的字符串:

^[A-Za-z]+$

匹配 Chapter 1-99 或 Section 1-99

^(Chapter|Section) [1-9][0-9]{0,1}$

匹配“ter”结尾的单词:

ter\b

基本/扩展正则表达式

基本正则表达式(Basic Regular Expressions, BRE)和扩展正则表达式(Extended Regular Expressions, ERE)是两种 POSIX 正则表达式风格。

BRE 可能是如今最老的正则风格了,对于部分特殊字符(如 +, ?, |, {)需要加上转义符 \ 才能表达其特殊含义。

ERE 与如今的现代正则风格较为一致,相比 BRE,上述特殊字符默认发挥特殊作用,加上 \ 之后表达普通含义。

具体的例子在下文介绍工具时可以看到。

帮助理解正则表达式的工具

Regex101 网站集成了常见编程语言正则表达式的解析工具,在编写正则时可以作为一个不错的参考。

常用 Shell 文本处理工具(正则)

grep

grep 全称 Global Regular Expression Print,是一个强大的文本搜索工具,可以在一个或多个文件中搜索指定 pattern 并显示相关行。

grep 默认使用 BRE,要使用 ERE 可以使用 grep -E 或 egrep。

命令格式:grep [option] pattern file

一些用法:

  • -n:显示匹配到内容的行号
  • -v:显示不被匹配到的行
  • -i:忽略字符大小写
$ ls /bin | grep -n "^man$"  # 搜索内容仅含 man 的行,并且显示行号
$ ls /bin | grep -v "[a-z]\|[0-9]"  # 搜索不含小写字母和数字的行
$ ls /bin | grep -iv "[A-Z]\|[0-9]"  # 搜索不含字母和数字的行

sed

sed 全称 Stream EDitor,即流编辑器,可以方便地对文件的内容进行逐行处理。

sed 默认使用 BRE,要使用 ERE 可以 sed -E。

命令格式:

$ sed [OPTIONS] 'command' file(s)
$ sed [OPTIONS] -f scriptfile file(s)

此处的 command 和 scriptfile 中的命令均指的是 sed 命令。

常见 sed 命令:

  • s 替换
  • d 删除
  • c 选定行改成新文本
  • a 当前行下插入文本
  • i 当前行上插入文本
$ echo -e "seD\nIS\ngOod" > sed_demo
$ cat sed_demo
seD
IS
gOod
$ sed "2d" sed_demo  # 删除第二行
seD
gOod
$ sed "s/[a-z]/~/g" sed_demo  # 替换所有小写字母为 ~
~~D
IS
~O~~
$ sed "3cpErfeCt" sed_demo  # 选定第三行,改成 pErfeCt
seD
IS
pErfeCt

awk

awk 是一种用于处理文本的编程语言工具,名字来源于三个作者的首字母。相比 sed,awk 可以在逐行处理的基础上,针对列进行处理。默认的列分隔符号是空格,其他分隔符可以自行指定。

awk 使用 ERE。

命令格式:awk [options] 'pattern {action}' [file]

awk 逐行处理文本,对符合的 patthern 执行 action。需要注意的是,awk 使用单引号时可以直接用 $,使用双引号则要用 \$

一些示例:

$ cat awk_demo
Beth    4.00    0
Dan     3.75    0
kathy   4.00    10
Mark    5.00    20
Mary    5.50    22
Susie   4.25    18
$ # 选择第三列值大于 0 的行,对每一行输出第一列的值和第二第三列的乘积
$ awk '$3 >0 { print $1, $2 * $3 }' awk_demo
kathy 40
Mark 100
Mary 121
Susie 76.5

示例中 $1$2$3 分别指代本行的第 1、2、3 列。特别地,$0 指代本行。

awk 语言是「图灵完全」的,这意味着理论上它可以做到和其他语言一样的事情。这里我们不仅可以对每行进行操作,还可以定义变量,将前面处理的状态保存下来,以下是一个求和的例子:

$ awk 'BEGIN { sum = 0 } { sum += $2 * $3 } END { print sum }' awk_demo
337.5

关于 awk,有一本知名的书籍《The AWK Programming Language》(中文翻译),感兴趣的读者可以考虑阅读。

思考题

正则表达式引擎

什么是 DFA/NFA 正则表达式引擎?如今常见编程语言里的正则表达式实现和此处的 BRE/ERE 有什么异同?

正则表达式练习 1:邮件标题匹配

最近你收到了很多垃圾邮件,而且垃圾邮件检测似乎没有生效。你发现这些垃圾邮件的标题似乎都满足一个正则表达式。这些垃圾邮件的标题类似如下:

  • 162935832----系统通知
  • 166819038----系统警告

请写出能够匹配类似标题的正则表达式。

此外,作为一个负责任的系统管理员,你订阅了 Debian Security 邮件列表(订阅后能够收到 Debian 安全更新的通知和说明邮件)。但是你发现,你的邮件系统真是成事不足败事有余,似乎喜欢把这些邮件放进垃圾邮件箱,要是漏掉了什么重要的安全更新就麻烦了!Debian Security 发送的邮件标题类似如下:

  • [SECURITY] [DSA 5075-1] minetest security update
  • [SECURITY] [DSA 5059-1] policykit-1 security update
  • [SECURITY] [DSA 5086-1] thunderbird security update

同样,请写出能够匹配类似标题的正则表达式。

正则表达式练习 2:弹幕过滤

某弹幕视频网站支持使用正则表达式过滤不想看到的弹幕。某日忍无可忍之下,你希望编写一条正则表达式过滤掉类似如下的弹幕(其中全角省略号为任意文本):

  • 当年我就是听的这首歌才……
  • 我就是听的这首歌帮……
  • 当年爷……时就是听的这首歌
  • 当年那天晚上要不是放这首歌我就被……

可以接受少许的误过滤(false positive)。

正则表达式练习 3:Vscode 中的文本批量替换

Vscode 支持使用正则表达式语法查找与替换文本内容。有一天,你的项目中使用的某个函数更新了:调用方式从 func1(a, b, c) 变成了 func1_new(c, b, a, null)。其中假设 abc 均为不含逗号的表达式。

尝试写出搜索的正则表达式与替换目标表达式。提示:正则表达式中使用 () 包裹的为一组,在 vscode 的替换目标表达式中可以使用 $1$2 的格式来引用第一组、第二组等内容。

Shell 文本处理工具练习 1:文件内容替换

某 shell 脚本会随着图形界面启动而启动,启动后会根据环境变量替换某程序配置文件的内容。该配置文件内容如下:

[settings]
homepage=http://example.com/
location-entry-search=http://cn.bing.com/search?q=%s

我们希望编写一条或多条 sed 命令,使得脚本运行后配置文件被修改为:

[settings]
homepage=http://example.com/index_new.html
location-entry-search=http://www.wolframalpha.com/input/?i=%s

假设配置文件路径存储在变量 $F 中。请注意:图形界面可能会重置,此时脚本会对已经修改的配置文件再次修改,如果编写不小心,可能会得到错误的结果。

Shell 文本处理工具练习 2:Nginx 日志分析

你的网站最近收到了一大批不正常的请求大量消耗服务器带宽,你希望通过 shell 文本处理工具确认攻击者的来源 IP。Nginx 访问日志的格式类似于如下:

123.45.67.89 - - [01/Mar/2022:00:58:17 +0800] "GET /downloads/nonexist HTTP/1.1" 404 190 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36"

其中我们主要关注 IP(第一列)和下载大小(第 10 列,例子中为 190)。请给出使用 awksort 等工具输出下载量最大的前 50 个 IP 的命令。

Shell 文本处理工具练习 3:文件列表解析

Ports 是 BSD 系列操作系统管理编译软件的方式。下面我们将介绍 FreeBSD 操作系统中的 ports 目录结构。

Ports 目录的第一层为不同软件的分类(诸如音频程序、数据库程序会分别放置在 audio 和 databases 目录下),第二层则为各个软件的目录。在绝大多数软件的目录下都有 distinfo 文件,用于描述其依赖的源代码包文件的名称、大小和 SHA256 校验值信息。

例如,gcc10 软件包的 distinfo 位于 lang/gcc10/distinfo,内容类似如下:

TIMESTAMP = 1619249722
SHA256 (gcc-10.3.0.tar.xz) = 64f404c1a650f27fc33da242e1f2df54952e3963a49e06e73f6940f3223ac344
SIZE (gcc-10.3.0.tar.xz) = 76692288

你的任务是:搜索 ports 中的所有 distinfo,提取所有文件名和 SHA256,按照文件名以字典序排序并输出,每行格式要求如下:

64f404c1a650f27fc33da242e1f2df54952e3963a49e06e73f6940f3223ac344 gcc-10.3.0.tar.xz

现实中的 ports 文件可以从 https://mirrors.ustc.edu.cn/freebsd-ports/ports.tar.gz 下载解压得到。

注意:少量 distinfo 文件的 SHA256 对应行最后会有多余的空格或制表符,需要妥善处理。

回到页面顶部