[toc]

正则表达式

什么是正则表达式呢？

1
2
3
正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。

许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在 Perl 中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由 UNIX 中的工具软件（例如sed和grep）普及开的。正则表达式通常缩写成“regex”，单数有 regexp、regex，复数有 regexps、regexes、regexen。

基本语法

一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。
选择
| 竖直分隔符表示选择，例如 boy|girl 可以匹配 boy 或者 girl。

数量限定
数量限定除了我们举例用的 * 还有 + 加号 ? 问号，如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：

  • + 表示前面的字符必须出现至少一次(1 次或多次)，例如 goo+gle 可以匹配 gooogle，goooogle 等；
  • ? 表示前面的字符最多出现一次（0 次或 1 次），例如，colou?r，可以匹配 color 或者 colour;
  • * 星号代表前面的字符可以不出现，也可以出现一次或者多次（0 次、或 1 次、或多次），例如，0*42 可以匹配 42、042、0042、00042 等。

范围和优先级
() 圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，gr(a|e)y 等价于 gray|grey，（这里体现了优先级，竖直分隔符用于选择 a 或者 e 而不是 gra 和 ey），(grand)?father 匹配 father 和 grandfather（这里体现了范围，? 将圆括号内容作为一个整体匹配）。

语法（部分）
正则表达式有多种不同的风格，下面列举一些常用的作为 PCRE 子集的适用于 perl 和 python 编程语言及 grep 或 egrep 的正则表达式匹配规则：

PCRE（Perl Compatible Regular Expressions 中文含义：perl 语言兼容正则表达式）是一个用 C 语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE 是一个轻量级的函数库，比 Boost 之类的正则表达式库小得多。PCRE 十分易用，同时功能也很强大，性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。

字符 描述
\ 将下一个字符标记为一个特殊字符、或一个原义字符。 例如 n 匹配字符 n。\n 匹配一个换行符。序列 \\ 匹配 \ 而 \( 则匹配 (。
^ 匹配输入字符串的开始位置。
$ 匹配输入字符串的结束位置。
{n} n 是一个非负整数。匹配确定的 n 次。例如 o{2} 不能匹配 Bob 中的 o，但是能匹配 food 中的两个 o。
{n,} n 是一个非负整数。至少匹配 n 次。例如 o{2,} 不能匹配 Bob 中的 o，但能匹配 foooood 中的所有 o。o{1,} 等价于 o+。o{0,} 则等价于 o*。
{n,m} m 和 n 均为非负整数，其中 n<=m。最少匹配 n 次且最多匹配 m 次。例如，o{1,3} 将匹配 fooooood 中的前三个 o。o{0,1} 等价于 o?。请注意在逗号和两个数之间不能有空格。
* 匹配前面的子表达式零次或多次。例如，zo* 能匹配 z、zo 以及 zoo。* 等价于 {0,}。
+ 匹配前面的子表达式一次或多次。例如，zo+ 能匹配 zo 以及 zoo，但不能匹配 z。+ 等价于 {1,}。
? 匹配前面的子表达式零次或一次。例如，do(es)? 可以匹配 do 或 does 中的 do。? 等价于 {0,1}。
? 当该字符紧跟在任何一个其他限制符（*，+，?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 oooo，o+? 将匹配单个 o，而 o+ 将匹配所有 o。
. 匹配除 \n 之外的任何单个字符。要匹配包括 \n 在内的任何字符，请使用类似 (.｜\n) 的模式。
(pattern) 匹配 pattern 并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用 \( 和 \)。
`x y` 匹配 x 或 y。例如，`z food能匹配 z或food。(z f)ood则匹配 zood或food`。
[xyz] 字符集合（character class）。匹配所包含的任意一个字符。例如，[abc] 可以匹配 plain 中的 a。其中特殊字符仅有反斜线 \ 保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合, 如果出现在字符串中间就仅作为普通字符；连字符 - 如果出现在字符串中间表示字符范围描述；如果出现在首位则仅作为普通字符。
[^xyz] 排除型（negate）字符集合。匹配未列出的任意字符。例如，[^abc] 可以匹配 plain 中的 plin。
[a-z] 字符范围。匹配指定范围内的任意字符。例如，[a-z] 可以匹配 a 到 z范围内的任意小写字母字符。
[^a-z] 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，[^a-z] 可以匹配任何不在 a 到 z 范围内的任意字符。
优先级
优先级为从上到下从左到右，依次降低：
运算符 说明
\ 转义符
()·，(?:)，(?=)，[] 括号和中括号
*，+，?，{n}，{n,}，{n,m} 限定符
^，$，\ 任何元字符 定位点和序列
` ` 选择

grep

grep 命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep 支持三种正则表达式引擎，分别用三个参数指定：

参数 说明
-E POSIX 扩展正则表达式，ERE
-G POSIX 基本正则表达式，BRE
-P Perl 正则表达式，PCRE

常用参数：

参数 说明
-b 将二进制文件作为文本来进行匹配
-c 统计以模式匹配的数目
-i 忽略大小写
-n 显示匹配文本所在行的行号
-v 反选，输出不匹配行的内容
-r 递归匹配查找
-A n n 为正整数，表示 after 的意思，除了列出匹配行之外，还列出后面的 n 行
-B n n 为正整数，表示 before 的意思，除了列出匹配行之外，还列出前面的 n 行
--color=auto 将输出中的匹配项设置为自动颜色显示
  • 位置
    1
    2
    3
    grep 'shiyanlou' /etc/group
    # 匹配开头
    grep '^shiyanlou' /etc/group
  • 数量
    1
    2
    3
    4
    5
    6
    # 将匹配以'z'开头以'o'结尾的所有字符串
    echo 'zero\nzo\nzoo' | grep 'z.*o'
    # 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串
    echo 'zero\nzo\nzoo' | grep 'z.o'
    # 将匹配以'z'开头，以任意多个'o'结尾的字符串
    echo 'zero\nzo\nzoo' | grep 'zo*'
  • 选择
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    # grep默认是区分大小写的，这里将匹配所有的小写字母
    echo '1234\nabcd' | grep '[a-z]'
    # 将匹配所有的数字
    echo '1234\nabcd' | grep '[0-9]'
    # 将匹配所有的数字
    echo '1234\nabcd' | grep '[[:digit:]]'
    # 将匹配所有的小写字母
    echo '1234\nabcd' | grep '[[:lower:]]'
    # 将匹配所有的大写字母
    echo '1234\nabcd' | grep '[[:upper:]]'
    # 将匹配所有的字母和数字，包括0-9，a-z，A-Z
    echo '1234\nabcd' | grep '[[:alnum:]]'
    # 将匹配所有的字母
    echo '1234\nabcd' | grep '[[:alpha:]]'

sed

sed 工具在 man 手册里面的全名为"sed - stream editor for filtering and transforming text "，意即，用于过滤和转换文本的流编辑器。

在 Linux/UNIX 的世界里敢称为编辑器的工具，大都非等闲之辈，比如前面的 vi/vim（编辑器之神），emacs（神的编辑器），gedit 这些编辑器。sed 与上述的最大不同之处在于它是一个非交互式的编辑器，下面我们就开始介绍 sed 这个编辑器。

sed命令基本格式：

1
2
3
sed [参数]... [执行命令] [输入文件]...
# 形如：
$ sed -i 's/sad/happy/' test # 表示将test文件中的"sad"替换为"happy"
参数 说明
-n 安静模式，只打印受影响的行，默认打印输入数据的全部内容
-e 用于在脚本中添加多个执行命令一次执行，在命令行中执行多个命令通常不需要加该参数
-f filename 指定执行 filename 文件中的命令
-r 使用扩展正则表达式，默认为标准正则表达式
-i 将直接修改输入文件内容，而不是打印到标准输出设备

sed 执行命令格式：

1
2
[n1][,n2]command
[n1][~step]command

其中一些命令可以在后面加上作用范围，形如：

1
2
sed -i 's/sad/happy/g' test # g 表示全局范围
sed -i 's/sad/happy/4' test # 4 表示指定行中的第四个匹配字符串

其中 n1,n2 表示输入内容的行号，它们之间为 , 逗号则表示从 n1 到 n2 行，如果为 ~ 波浪号则表示从 n1 开始以 step 为步进的所有行；command 为执行动作，下面为一些常用动作指令：

命令 说明
s 行内替换
c 整行替换
a 插入到指定行的后面
i 插入到指定行的前面
p 打印指定行，通常与 -n 参数配合使用
d 删除指定行

awk

AWK 是一种优良的文本处理工具，Linux 及 Unix 环境中现有的功能最强大的数据处理引擎之一。其名称得自于它的创始人 Alfred Aho（阿尔佛雷德·艾侯）、Peter Jay Weinberger（彼得·温伯格）和 Brian Wilson Kernighan（布莱恩·柯林汉)姓氏的首个字母 AWK，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许你创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。最简单地说，AWK 是一种用于处理文本的编程语言工具。

在大多数 Linux 发行版上面，实际我们使用的是 gawk（GNU awk，awk 的 GNU 版本），在我们的环境中 ubuntu 上，默认提供的是 mawk，不过我们通常可以直接使用 awk 命令（awk 语言的解释器），因为系统已经为我们创建好了 awk 指向 mawk 的符号链接。

awk 所有的操作都是基于 pattern(模式)—action(动作)对来完成的，如下面的形式：

1
pattern {action}

awk 基本命令格式：

1
awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...]

其中 -F 参数用于预先指定前面提到的字段分隔符（还有其他指定字段的方式），-v 用于预先为 awk 程序指定变量，-f 参数用于指定 awk 命令要执行的程序文件，或者在不加 -f 参数的情况下直接将程序语句放在这里，最后为 awk 需要处理的文本输入，且可以同时输入多个文本文件。现在我们还是直接来具体体验一下吧。

awk常用内置变量

变量名 说明
FILENAME 当前输入文件名，若有多个文件，则只表示第一个。如果输入是来自标准输入，则为空字符串
$0 当前记录的内容
$N N 表示字段号，最大值为NF变量的值
FS 字段分隔符，由正则表达式表示，默认为空格
RS 输入记录分隔符，默认为 \n，即一行为一个记录
NF 当前记录字段数
NR 已经读入的记录数
FNR 当前输入文件的记录数，请注意它与 NR 的区别
OFS 输出字段分隔符，默认为空格
ORS 输出记录分隔符，默认为 \n