正则表达式的介绍与使用

介绍

正则表达式是对字符串操作的⼀种逻辑公式,是一种文本模式,它使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。

一些常见的匹配模式如下:

模式 描述
\w 匹配字母数字及下划线
\W 匹配非字母数字下划线
\s 匹配任意空白字符,等价于 [\t\n\r\f].
\S 匹配任意非空字符
\d 匹配任意数字,等价于 [0-9]
\D 匹配任意非数字
\A 匹配字符串开始
\Z 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串
\z 匹配字符串结束
\G 匹配最后匹配完成的位置
\n 匹配一个换行符
\t 匹配一个制表符
^ 匹配字符串的开头
$ 匹配字符串的末尾。
. 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。
[…] 用来表示一组字符,单独列出:[amk] 匹配 ‘a’,’m’或’k’
[^…] 不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。
* 匹配0个或多个的表达式。
+ 匹配1个或多个的表达式。
? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式
{n} 精确匹配n个前面表达式。
{n, m} 匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式
a|b 匹配a或b
( ) 匹配括号内的表达式,也表示一个组

当然正则表达式并不是某种语言独有的,在Python里,它的功能由re模块实现。

re.match()

re.match()尝试从字符串的起始位置匹配一个模式,如果字符串不匹配这个模式,则返回None
用法:

1
re.match(pattern, string, flags=0)

三个参数分别是正则表达式、待匹配字符串和匹配模式。

常规匹配

1
2
3
4
5
6
7
8
9
10
11
12
13
14
In [1]: import re

In [2]: content = 'Hello 123 4567 World_This is a Regex Demo'

In [3]: result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$', content)

In [4]: print(result)
<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>

In [5]: print(result.group())
Hello 123 4567 World_This is a Regex Demo

In [6]: print(result.span())
(0, 41)

result.group()返回匹配的内容,result.span()返回匹配的范围。

泛匹配

1
2
3
4
5
6
7
8
9
10
11
12
13
14
In [7]: import re

In [8]: content = 'Hello 123 4567 World_This is a Regex Demo'

In [9]: result = re.match('^Hello.*Demo$', content)

In [10]: print(result)
<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>

In [11]: print(result.group())
Hello 123 4567 World_This is a Regex Demo

In [12]: print(result.span())
(0, 41)

使用.*也可以匹配出同样的内容。

匹配目标

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
In [13]: import re

In [14]: content = 'Hello 1234567 World_This is a Regex Demo'

In [15]: result = re.match('^Hello\s(\d+)\sWorld.*Demo$', content)

In [16]: print(result)
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>

In [17]: print(result.group())
Hello 1234567 World_This is a Regex Demo

In [18]: print(result.group(1))
1234567

In [19]: print(result.span())
(0, 40)

使用result.group(1)可以把匹配的第一个括号里的内容取出。所以可以把匹配目标使用括号括起来。

贪婪匹配

1
2
3
4
5
6
7
8
9
10
11
In [21]: import re

In [22]: content = 'Hello 1234567 World_This is a Regex Demo'

In [23]: result = re.match('^He.*(\d+).*Demo$', content)

In [24]: print(result)
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>

In [25]: print(result.group(1))
7

贪婪匹配会匹配尽可能多的字符,也就是说He.*(\d+).*把数字123456也匹配了。所以result.group(1)结果是7

非贪婪匹配

1
2
3
4
5
6
7
8
9
10
11
In [26]: import re

In [27]: content = 'Hello 1234567 World_This is a Regex Demo'

In [28]: result = re.match('^He.*?(\d+).*Demo$', content)

In [29]: print(result)
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>

In [30]: print(result.group(1))
1234567

?变成非贪婪匹配就会尽可能少的匹配字符。所以遇到后面是数字就不会匹配了。result.group(1)结果是1234567

匹配模式

1
2
3
4
5
6
7
8
9
10
In [36]: import re

In [37]: content = '''Hello 1234567 World_This
...: is a Regex Demo
...: '''

In [38]: result = re.match('^He.*?(\d+).*?Demo$', content)

In [39]: print(result)
None

这是因为.是不能匹配换行符的。要匹配换行,需要加一个参数:

1
2
3
4
5
6
7
8
9
10
In [40]: import re

In [41]: content = '''Hello 1234567 World_This
...: is a Regex Demo
...: '''

In [42]: result = re.match('^He.*?(\d+).*?Demo$', content, re.S)

In [43]: print(result.group(1))
1234567

转义

1
2
3
4
5
6
7
8
In [44]: import re

In [45]: content = 'price is $5.00'

In [46]: result = re.match('price is $5.00', content)

In [47]: print(result)
None

因为$.是特殊字符,由特殊字符需要使用\转义:

1
2
3
4
5
6
7
8
In [48]: import re

In [49]: content = 'price is $5.00'

In [50]: result = re.match('price is \$5\.00', content)

In [51]: print(result)
<_sre.SRE_Match object; span=(0, 14), match='price is $5.00'>

小结

在使用时尽量使用泛匹配、使用括号得到匹配目标、尽量使用非贪婪模式、有换行符就用re.S

另外,使用re.match()要注意,它是从首个字符开始匹配的,如果第一个字符不匹配,那么它就会返回None了。这时,就要使用下面的方法了。

re.search()则是扫描整个字符串并返回第一个成功的匹配。例如:

1
2
3
4
5
6
7
8
In [52]: import re

In [53]: content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

In [54]: result = re.match('Hello.*?(\d+).*?Demo', content)

In [55]: print(result)
None

1
2
3
4
5
6
7
8
9
10
11
In [56]: import re

In [57]: content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

In [58]: result = re.search('Hello.*?(\d+).*?Demo', content)

In [59]: print(result)
<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'>

In [60]: print(result.group(1))
1234567

所以,为匹配方便,能用re.search()就不用re.match()

实例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
In [62]: html = '''<div id="songs-list">
...: <h2 class="title">经典老歌</h2>
...: <p class="introduction">
...: 经典老歌列表
...: </p>
...: <ul id="list" class="list-group">
...: <li data-view="2">一路上有你</li>
...: <li data-view="7">
...: <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
...: </li>
...: <li data-view="4" class="active">
...: <a href="/3.mp3" singer="齐秦">往事随风</a>
...: </li>
...: <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
...: <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
...: <li data-view="5">
...: <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
...: </li>
...: </ul>
...: </div>'''

In [63]: result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)

In [64]: if result:
...: print(result.group(1), result.group(2))
...:
齐秦 往事随风
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
In [65]: import re

In [66]: html = '''<div id="songs-list">
...: <h2 class="title">经典老歌</h2>
...: <p class="introduction">
...: 经典老歌列表
...: </p>
...: <ul id="list" class="list-group">
...: <li data-view="2">一路上有你</li>
...: <li data-view="7">
...: <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
...: </li>
...: <li data-view="4" class="active">
...: <a href="/3.mp3" singer="齐秦">往事随风</a>
...: </li>
...: <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
...: <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
...: <li data-view="5">
...: <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
...: </li>
...: </ul>
...: </div>'''

In [67]: result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)

In [68]: if result:
...: print(result.group(1), result.group(2))
...:
任贤齐 沧海一声笑
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
In [69]: import re

In [70]: html = '''<div id="songs-list">
...: <h2 class="title">经典老歌</h2>
...: <p class="introduction">
...: 经典老歌列表
...: </p>
...: <ul id="list" class="list-group">
...: <li data-view="2">一路上有你</li>
...: <li data-view="7">
...: <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
...: </li>
...: <li data-view="4" class="active">
...: <a href="/3.mp3" singer="齐秦">往事随风</a>
...: </li>
...: <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
...: <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
...: <li data-view="5">
...: <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
...: </li>
...: </ul>
...: </div>'''

In [71]: result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html)

In [72]: if result:
...: print(result.group(1), result.group(2))
...:
beyond 光辉岁月

re.findall()

re.findall()搜索字符串,以列表形式返回全部能匹配的子串。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
In [73]: import re

In [74]: html = '''<div id="songs-list">
...: <h2 class="title">经典老歌</h2>
...: <p class="introduction">
...: 经典老歌列表
...: </p>
...: <ul id="list" class="list-group">
...: <li data-view="2">一路上有你</li>
...: <li data-view="7">
...: <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
...: </li>
...: <li data-view="4" class="active">
...: <a href="/3.mp3" singer="齐秦">往事随风</a>
...: </li>
...: <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
...: <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
...: <li data-view="5">
...: <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
...: </li>
...: </ul>
...: </div>'''

In [75]: results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S)

In [76]: print(results)
[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月'), ('/5.mp3', '陈慧 琳', '记事本'), ('/6.mp3', '邓丽君', '但愿人长久')]

In [77]: print(type(results))
<class 'list'>

In [78]: for result in results:
...: print(type(result))
...: print(result[0], result[1], result[2])
...:
<class 'tuple'>
/2.mp3 任贤齐 沧海一声笑
<class 'tuple'>
/3.mp3 齐秦 往事随风
<class 'tuple'>
/4.mp3 beyond 光辉岁月
<class 'tuple'>
/5.mp3 陈慧琳 记事本
<class 'tuple'>
/6.mp3 邓丽君 但愿人长久

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
In [79]: import re

In [80]: html = '''<div id="songs-list">
...: <h2 class="title">经典老歌</h2>
...: <p class="introduction">
...: 经典老歌列表
...: </p>
...: <ul id="list" class="list-group">
...: <li data-view="2">一路上有你</li>
...: <li data-view="7">
...: <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
...: </li>
...: <li data-view="4" class="active">
...: <a href="/3.mp3" singer="齐秦">往事随风</a>
...: </li>
...: <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
...: <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
...: <li data-view="5">
...: <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
...: </li>
...: </ul>
...: </div>'''

In [81]: results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)

In [82]: print(results)
[('', '一路上有你', ''), ('<a href="/2.mp3" singer="任贤齐">', '沧海一声笑', '</a>'), ('<a href="/3.mp3" singer="齐秦">', '往事随风', '</a>'), ('<a href="/4.mp3" singer="beyond">', '光辉岁月', '</a>'), ('<a href="/5.mp3" singer="陈慧琳">', '记事本', '</a>'), ('<a href="/6.mp3" singer="邓丽君">', '但愿人长久', '</a>')]

In [83]: for result in results:
...: print(result[1])
...:
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

re.sub()

re.sub()替换字符串中每一个匹配的子串后返回替换后的字符串。

1
2
3
4
5
6
7
8
In [84]: import re

In [85]: content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

In [86]: content = re.sub('\d+', '', content)

In [87]: print(content)
Extra stings Hello World_This is a Regex Demo Extra stings

re.sub('\d+', '', content)content里的数字替换成空。

1
2
3
4
5
6
In [89]: content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

In [90]: content = re.sub('\d+', 'Replacement', content)

In [91]: print(content)
Extra stings Hello Replacement World_This is a Regex Demo Extra stings

re.sub('\d+', 'Replacement', content)content里的数字替换成Replacement

1
2
3
4
5
6
7
8
In [92]: import re

In [93]: content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

In [94]: content = re.sub('(\d+)', r'\1 8910', content)

In [95]: print(content)
Extra stings Hello 1234567 8910 World_This is a Regex Demo Extra stings

re.sub('(\d+)', r'\1 8910', content):(\d+)使用括号把数字变成一个组,\1则可以取出第一组的内容,因为\是转义字符,所以要在前面加一个r表示非转义的原始字符串。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
In [96]: import re

In [97]: html = '''<div id="songs-list">
...: <h2 class="title">经典老歌</h2>
...: <p class="introduction">
...: 经典老歌列表
...: </p>
...: <ul id="list" class="list-group">
...: <li data-view="2">一路上有你</li>
...: <li data-view="7">
...: <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
...: </li>
...: <li data-view="4" class="active">
...: <a href="/3.mp3" singer="齐秦">往事随风</a>
...: </li>
...: <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
...: <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
...: <li data-view="5">
...: <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
...: </li>
...: </ul>
...: </div>'''

In [98]: html = re.sub('<a.*?>|</a>', '', html)

In [99]: print(html)
<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
沧海一声笑
</li>
<li data-view="4" class="active">
往事随风
</li>
<li data-view="6">光辉岁月</li>
<li data-view="5">记事本</li>
<li data-view="5">
但愿人长久
</li>
</ul>
</div>

In [100]: results = re.findall('<li.*?>(.*?)</li>', html, re.S)

In [101]: print(results)
['一路上有你', '\n 沧海一声笑\n ', '\n 往事随风\n ', '光辉岁月', '记事本', '\n 但愿人长久\n ']

In [102]: for result in results:
...: print(result.strip())
...:
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

上面的例子先把<a>标签替换成空,再提取歌名,逻辑比较清晰。

re.compile()

re.compile()将正则字符串编译成正则表达式对象,以便于复用该匹配模式。

1
2
3
4
5
6
7
8
9
10
11
In [103]: import re

In [104]: content = '''Hello 1234567 World_This
...: is a Regex Demo'''

In [105]: pattern = re.compile('Hello.*Demo', re.S)

In [106]: result = re.match(pattern, content)

In [107]: print(result)
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This\nis a Regex Demo'>

实战

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
In [142]: import requests
...: import re
...: content = requests.get('https://book.douban.com/').text
...: results = re.findall('<li.*?"cover">.*?href="(.*?)"\stitle="(.*?)">.*?author">(.*?)</div>', content, re.S)
...: for result in results:
...: url, name, author = result
...: author = re.sub('\s', '', author)
...: print(url, name, author)
...:
https://book.douban.com/subject/27147922/?icn=index-editionrecommend 南极 [爱尔兰]克莱尔·吉根
https://book.douban.com/subject/27174130/?icn=index-editionrecommend 北野武的小酒馆 [日]北野武
https://book.douban.com/subject/27617213/?icn=index-editionrecommend 手把手教你玩脱口秀 [美]格雷格·迪安
https://book.douban.com/subject/27200268/?icn=index-editionrecommend 知日·世上只有一个京都 茶乌龙/主编
https://book.douban.com/subject/27622571/?icn=index-editionrecommend 独立日:每天画一只小动物 元元
https://book.douban.com/subject/27662422/?icn=index-latestbook-subject 台风天 陆茵茵
https://book.douban.com/subject/30125605/?icn=index-latestbook-subject 从六艺到十三经 程苏东
https://book.douban.com/subject/27593063/?icn=index-latestbook-subject 大河恋 [美]诺曼·麦克林恩
https://book.douban.com/subject/26983954/?icn=index-latestbook-subject 文艺复兴 [英]杰克·古迪
https://book.douban.com/subject/27601507/?icn=index-latestbook-subject 神枪手迪克 [美]库尔特·冯内古特
https://book.douban.com/subject/27204782/?icn=index-latestbook-subject 对白 [美]罗伯特·麦基
https://book.douban.com/subject/27199023/?icn=index-latestbook-subject 穿过欲望之城 [英]莫欣·哈米德
https://book.douban.com/subject/27203767/?icn=index-latestbook-subject 柏拉图和鸭嘴兽一起去酒吧 [美]托马斯·卡斯卡特&nbsp;/&nbsp;[美]丹尼尔·克莱恩
https://book.douban.com/subject/27108849/?icn=index-latestbook-subject 月光下的旅人 [匈]瑟尔伯·昂托
https://book.douban.com/subject/27613219/?icn=index-latestbook-subject 生活上瘾指南 姚瑶
https://book.douban.com/subject/27602480/?icn=index-latestbook-subject 狗女婿上门 [日]多和田叶子
https://book.douban.com/subject/27616140/?icn=index-latestbook-subject 诗与它的山河 萧驰
https://book.douban.com/subject/27600474/?icn=index-latestbook-subject 月光狂想曲 [美]迈克尔·夏邦
https://book.douban.com/subject/27131695/?icn=index-latestbook-subject 一天中的百万年 [英]格雷格·詹纳
https://book.douban.com/subject/26975428/?icn=index-latestbook-subject 故园风雨后 [英]伊夫林·沃
https://book.douban.com/subject/27592521/?icn=index-latestbook-subject 简明大历史 [英]伊恩·克夫顿&nbsp;/&nbsp;[英]杰里 米·布莱克
https://book.douban.com/subject/26274413/?icn=index-latestbook-subject 军方的怪物 [英]肯·福莱特
https://book.douban.com/subject/27108800/?icn=index-latestbook-subject 纸上动物园 [英]夏洛特·斯莱
https://book.douban.com/subject/27199470/?icn=index-latestbook-subject 刺杀骑士团长 [日]村上春树
https://book.douban.com/subject/27624387/?icn=index-latestbook-subject 异类的天赋 [英]凯文·达顿
https://book.douban.com/subject/27598516/?icn=index-latestbook-subject 批评家之死 [德]马丁·瓦尔泽
https://book.douban.com/subject/27201290/?icn=index-latestbook-subject 啊!这样就能辞职了 [日]安倍夜郎
https://book.douban.com/subject/27147920/?icn=index-latestbook-subject 皇室料理番 [日]杉森久英
https://book.douban.com/subject/27131100/?icn=index-latestbook-subject 小王子的领悟 周保松&nbsp;/&nbsp;区华欣(插画)
https://book.douban.com/subject/27179220/?icn=index-latestbook-subject 伤心咖啡馆之歌 [美]卡森·麦卡勒斯
https://book.douban.com/subject/27156383/?icn=index-latestbook-subject 深度影响 [新加坡]凯伦·梁
https://book.douban.com/subject/27120445/?icn=index-latestbook-subject 蒲公英王朝 [美]刘宇昆
https://book.douban.com/subject/27622006/?icn=index-latestbook-subject 投资中不简单的事 邱国鹭&nbsp;/&nbsp;邓晓峰&nbsp;/&nbsp;卓利伟&nbsp;/&nbsp;孙庆瑞&nbsp;/&nbsp;冯柳&nbsp;/&nbsp;王世宏
https://book.douban.com/subject/27621062/?icn=index-latestbook-subject 星之城堡:1869征服太空 [法]亚历克斯·埃利斯
https://book.douban.com/subject/27101663/?icn=index-latestbook-subject 权力与特权 [美]格尔哈特·伦斯基
https://book.douban.com/subject/27601754/?icn=index-latestbook-subject 大军师司马懿之军师联盟 常江
https://book.douban.com/subject/27589366/?icn=index-latestbook-subject 马家辉家行散记 马家辉&nbsp;/&nbsp;张家瑜
https://book.douban.com/subject/27175514/?icn=index-latestbook-subject 复明症漫记 [葡]若泽·萨拉马戈
https://book.douban.com/subject/27593408/?icn=index-latestbook-subject 寡头 [美]戴维·霍夫曼
https://book.douban.com/subject/27128590/?icn=index-latestbook-subject 阴郁的美男子 [法]朱利安·格拉克

结语

更多关于正则表达式re模块的内容可以参考官方文档