『壹』 從零開始學python爬蟲（四）：正則表達式
Regular Expression， 正則表達式， 種使 表達式的 式對字元串進 匹配的語法規則。
我們抓取到的 源代碼本質上就是 個超 的字元串， 想從 提取內容。 正則再合適不過了。
正則的優點： 速度快， 效率 ， 准確性 正則的缺點： 新 上 難度有點 。
不過只要掌握了正則編寫的邏輯關系， 寫出 個提取 內容的正則其實並不談旦復雜
正則的語法： 使 元字元進 排列組合 來匹配字元串
在線測試正則表達式網址：
https://tool.oschina.net/regex/
元字元： 具有固定含義的特沖旦殊符號 常 元字元：
量詞: 控制前 的元字元出現的次數
貪婪匹配和惰性匹配
這兩個要著重的說 下，因為我們寫爬 的最多的就是這個惰性匹配。
先看案例
那麼接下來的問題是, 正則我會寫了, 怎麼在python程序中使 正則呢？答案是re模塊
re模塊中我們只需要記住這么 個功能就 夠我們使 了。散侍擾
下面一個案例，是練慣用正則表達式提取豆瓣電影top250的數據並保存，一起來學一下吧。
『貳』 Python 標准庫模塊 - re
正則表達式引擎對正則表達式文本進行編譯生成正則表達式對象，再由正則表達式對象對目標文本進行匹配，後返回匹配結果。
正則表達式中一共包含 2 中字元： 普通字元 、 元字元
匹配單個字元的元字元及其含義：
匹配重復性的元字元及其含義：
匹配位置的元字元及其含義：
分組匹配的元字元及其含義：
表示或運算的元字元：
轉義元字元：
在 Python 中使用正則表達式，我們需要藉助 re 模塊提供的強大 API，下面我們就來學習幾個 re 模塊常用的介面吧~
參數說明： findall("正則表達式", "要匹配的字元串", flags=標志1|標志2|...)
返回值：以列表形式返回匹配到的字元串。
下面，我們用 findall 返回 Python 之禪中首尾用到的反義詞：
運行結果：
當正則表達式中含有一個以上分組時， findall 返回的列表由元組構成，元組中包含每個分組匹配到的內容。如果只有一個分組，則返回由該分組匹配到的內容組所構成的列表：
match 函數返回的結果是一個 SRE_Match 對象：
SRE_Match 具有很多的屬性，比如 .string 屬性可以方便我們我獲取在匹配時輸入的字元串：
屬性 .re 可以獲取匹配時使用的編譯後的正則表達式模式：
由於默認使用了 re.UNICODE ，所以我們這里的 w 可以匹配中文字元。
屬性 .regs 則以列表的形式返回正則表達式匹配到的內容以及各個分組陪陪到的內容，不過請注意，返回的都是索引的形式：
可以使用序列切片來看一下我們的正則表達式及其中的兩個分組所匹配到的內容：
SRE_Match 對象也提供了非常多好用的方法，比如 groups 可以獲取各個分組匹配到的內容：
group 則可以靈活地獲取正則表達式或對應分組匹配到的內容：
如果使用的正則表達式定義了分組的名稱， group 還可以通過名稱獲取相應分組匹配的內容：
在定義了分組的名稱之後，還可以方便地使用 groupdict 以字典的形式返回所有分組匹配的結果：
最後需要注意的是， match 從字元串的開頭開始匹配，如果開頭不符合要求，則直接返回 None 。
與 match 匹配開頭不同， search 匹配第一個符合規則的字元串，未成功則返回 None 。參數： re.search(pattern, string, flags=0) ；返回值同 match 。
在介紹 match 的使用時，最後一個例子，由於我們在字元串前面添加了 'PYTHON' 導致 match 使用原來的正則表達式無法匹配，返回 None 。此時，使用 search 就可以迎刃而解啦：
運行結果：
小結：
參數： re.split(pattern, string, maxsplit=0, flags=0) ， split 功能非常強大，以正則表達式匹配到的標志來分隔字元串，比如下面這樣一個混亂的字元串，我們要提取其中所有的數字：
下面，我們就來詳細介紹一下 split 的用法。
首先，是以單字元切割：
以分號切割時，共產生了 4 個子字元串，放在列表中返回。
下面，還是以單字元切割，但可以使用正則表達式中的 [] 來指定多種字元：
由於字元串 line 中有連續的 2 個分號，逗號或者空格，因此可以使用 [;s,]+ 來切割：
最後，上面的字元串在切割時，分隔符都沒有被保留下來，使用括弧捕獲分組，即可保留分隔符：
re.sub 提供比字元串的 replace 方法更加強大的功能：對於輸入的字元串 string ,利用正則表達式 pattern 強大的字元串處理功能，實現復雜的字元串替換處理為 repl ，返回被替換後的字元串。
下面的例子中，我們將句子中多餘的空格和數字去掉：
如果想要知道替換過程中，共發生了多少次替換，可以使用 subn ：
小結：
上述的案例中，我們每次都需要傳入正則表達式，相應的函數每次在調用時，都需要編譯一次正則表達式。如果上述過程需要多次重復，那麼每次都去耗費時間編譯正則表達式是很不劃算的。
re 模塊為我們提供了 compile 函數，用來編譯正則表達式模式，返回編譯好模式。因此，可以把那些常用的正則表達式編譯成正則表達式對象，以提高效率。
格式： re.compile(pattern, flags=0) ，其中 pattern 為編譯時用的表達式字元串， flags 為編譯標志位，用於修改正則表達式的匹配方式，如：是否區分大小寫，多行匹配等。常用的 flags 有：
註：使用按位或 | 連接多個 flags 。
我們上述介紹的 re 模塊的匹配、分割、替換函數， compile 函數的返回值類提供了相應的方法，使用方式類似，只是不需要傳入正則表達式字元串而已。
由於用法幾乎一致，這里就不一一舉例啦~
貪婪模式 ： * + ? {m,n} ，正則表達式的重復默認總是盡可能多得向後匹配內容。
非貪婪模式 ： *? +? ?? {m,n}? ，盡可能少的匹配內容。
『叄』 強烈推薦！Python 這個寶藏庫 re 正則匹配
Python 的 re 模塊（Regular Expression 正則表達式）提供各種正則表達式的匹配操作。
在文本解析、復雜字元串分析和信息提取時是一個非常有用的工具 ，下面總結了 re 模塊的常用方法。
d 匹配所有的十進制數字 0-9
D 匹配所有的非數字，包含下劃線
s 匹配所有空白字元（空格、TAB等）
S 匹配所有非空白字元，包含下劃線
w 匹配所有字母、漢字、數字 a-z A-Z 0-9
W 匹配所有非字母、漢字、數字，包含下劃線
備註：符號.* 貪婪，符號.*? 非貪婪
[abc]：能匹配其中的單個字元
[a-z0-9]：能匹配指定范圍的字元，可取反（在最前面加入^）
[2-9] [1-3]：能夠做組合匹配
4.{ }：用於標記前面的字元出現的頻率，有如下情況：
{n，m}：代表前面字元最少出現n次，最多出現m次
{n，}：代表前面字元最少出現n次，最多不受限制
{，m}：代表前面字元最多出現n次，最少不受限制
{n}：前面的字元必須出現n次
字元串中有反斜杠的，需要對反斜杠做轉義
()：分組字元，可以為匹配到的內容分組，快速獲取到分組中的數據 在正則裡面 "()" 代表的是分組的意思，一個括弧代表一個分組，你只能匹配到 "()" 中的內容。
group：用於查看指定分組匹配到的內容
groups：返回一個元組，組內為所有匹配到的內容
groupdict：返回一個字典，包含分組的鍵值對，需要為分組命名
作用：可以將字元串匹配正則表達式的部分割開並返回一個列表
flags定義包括：
re.I：忽略大小寫
re.L：表示特殊字元集 w, W, b, B, s, S 依賴於當前環境
re.M：多行模式
re.S：』.』並且包括換行符在內的任意字元（注意：』.』不包括換行符）
re.U：表示特殊字元集 w, W, b, B, d, D, s, S 依賴於 Unicode 字元屬性資料庫
在 Python 中使用正則表達式之前，先使用以下命令導入 re 模塊
例如：
『(d)(a)1』 表示：匹配第一是數字，第二是字元a，第三 1 必須匹配第一個一樣的數字重復一次，也就是被引用一次。
如 「9a9」 被匹配，但 「9a8」 不會被匹配，因為第三位的 1 必須是 9 才可以。
『(d)(a)2』 表示：匹配第一個是一個數字，第二個是a，第三個 2 必須是第二組（）中匹配一樣的。
如 「8aa」 被匹配，但 「8ab」，「7a7」 不會被匹配，第三位必須是第二組字元的復製版，也是就引用第二組正則的匹配內容。
『肆』 Python之re模塊
re模塊是python獨有的匹配字元串的模塊，該模塊中提供的很多功能是基於正則表達式實現的，
而正則表達式是對字元串進行模糊匹配，提取自己需要的字元串部分，他對所有的語言都通用。
1、字元
2、字元集
3、量詞
貪婪模式：總是嘗試匹配盡可能多的字元
非貪婪則相反，總是嘗試匹配盡可能少的字元。
{0,} 匹配前一個字元 0 或多次,等同於 * 元字元
{+,} 匹配前一個字元 1 次或無限次,等同於 + 元字元
{0,1 }匹配前一個字元 0 次或 1 次,等同於 ? 元字元
如果 () 後面跟的是特殊元字元如 (adc)* 那麼*控制的前導字元就是 () 里的整體內容，不再是前導一個字元
4、特殊分組用法表：只對正則函數返回對象的有用
5、斷言
從斷言的表達形式可以看出，它用的就是分組符號，只不過開頭都加了一個問號，這個問號就是在說這是一個非捕獲組，這個組沒有編號，不能用來後向引用，只能當做斷言。
匹配 <title>xxx</title> 中 xxx ： (?<=<title>).*(?=</title>)
自己理解就是：
5、例子
（1）非
^(?!.*200).*$ ，只匹配200
^(?!.*[200|400]).*$ ，只匹配200和400
[^a-z] 反取,不含a-z字母的
（2） u4e00-u9fa5 中文
（3） r"([u4e00-u9fa5]s?[u4e00-u9fa5]+)" # 小 明 匹配這種單字中間有空格的
compile 函數用於編譯正則表達式，生成一個正則表達式（ Pattern ）對象，供 match() 和 search() 這兩個函數使用
match 嘗試從字元串的 起始位置 匹配一個模式，如果不是起始位置匹配成功的話，返回none。
search 掃描 整個字元串 並返回 第一個成功 的匹配。
re.match與re.search的區別:
正則表達式替換函數
替換匹配成功的指定位置字元串,並且返回替換次數，可以用兩個變數分別接受
(2) 兩個字元以上切割，放在 [ ] 中（不保留分隔符）：
(3) 使用 ( ) 捕獲分組（保留分割符）：
在字元串中找到正則表達式所匹配的所有子串，並返回一個列表，如果沒有找到匹配的，則返回空列表。
注意： match 和 search 是匹配一次 ，findall 匹配所有。
用法：
注意1：一旦匹配成，再次匹配，是從前一次匹配成功的，後面一位開始的，也可以理解為匹配成功的字元串，不在參與下次匹配
注意2：如果沒寫匹配規則，也就是空規則，返回的是一個比原始字元串多一位的，空字元串列表
注意3：正則匹配到空字元的情況，如果規則里只有一個組，而組後面是 * 就表示組里的內容可以是 0 個或者多過，這樣組里就有了兩個意思：
一個意思是匹配組里的內容，
二個意思是匹配組里 0 內容（即是空白）
所以盡量避免用 * 否則會有可能匹配出空字元串
正則表達式，返回類型為表達式對象的
如：<_sre.SRE_Match object; span=(6, 7), match='a'>
返回對象的，需要用正則方法取字元串，
『伍』 python 正則匹配 獲取括弧內字元
* 提取字典中的【】內的字元，生成可以導入到五筆詞庫中的txt文件。
生成後的結果：
因為正則表達式語法很難讀，因此本次程序以多次的方式來講解。
括弧中的 . 表示一個字元的通配符，可以用來表示任意字元。
+表示字元數量，數量為一個以上
【.+】表示匹配所有括弧內的字元，括弧內字元至少有一個或以上。 比如【啊】或者【阿公】就會被匹配進去，而【】就不會被匹配進去
只要用()把你想要的部分框起來就可以。比如 【(匹配的字元)】 ，最後出現的就是 匹配的字元
【.+】 =》 【(.+)】
效果：
最後結果如上，紅框裡面有哪裡不對？查看原文：
原來【阿蘭若】的前括弧 和 【蘭若】 的 後括弧 匹配了。這是因為這里使用的是貪婪模式，換句話說，
【1】【2】 匹配出來的不會是 1 2 兩個字元，而是： 1】【2
我們要把它改成懶惰模式：
【(.+)】=》【(.+?)】
那個問號表示的就是懶惰模式
『陸』 Python常用的正則表達式處理函數詳解
正則表達式是一個特殊的字元序列，用於簡潔表達一組字元串特徵，檢查一個字元串是否與某種模式匹配，使用起來十分方便。
在Python中，我們通過調用re庫來使用re模塊：
import re
下面介紹Python常用的正則表達式處理函數。
re.match函數
re.match 函數從字元串的起始位置匹配正則表達式，返回match對象，如果不是起始位置匹配成功的話，match()就返回None。
re.match(pattern, string, flags=0)
pattern：匹配的正則表達式。
string：待匹配的字元串。
flags：標志位，用於控制正則表達式的匹配方式，如：是否區分大小寫，多行匹配等等。具體參數為：
re.I：忽略大小寫。
re.L：表示特殊字元集 w, W, , B, s, S 依賴於當前環境。
re.M：多行模式。
re.S：即 . ，並且包括換行符在內的任意字元（. 不包括換行符）。
re.U：表示特殊字元集 w, W, , B, d, D, s, S 依賴於 Unicode 字元屬性資料庫。
re.X：為了增加可讀性，忽略空格和 # 後面的注釋。
import re #從起始位置匹配 r1=re.match('abc','abcdefghi') print(r1) #不從起始位置匹配 r2=re.match('def','abcdefghi') print(r2)運行結果：
其中，span表示匹配成功的整個子串的索引。
使用group(num) 或 groups() 匹配對象函數來獲取匹配表達式。
group(num)：匹配的整個表達式的字元串，group() 可以一次輸入多個組號，這時它將返回一個包含那些組所對應值的元組。
groups()：返回一個包含所有小組字元串的元組，從 1 到 所含的小組號。
import re s='This is a demo' r1=re.match(r'(.*) is (.*)',s) r2=re.match(r'(.*) is (.*?)',s) print(r1.group()) print(r1.group(1)) print(r1.group(2)) print(r1.groups()) print() print(r2.group()) print(r2.group(1)) print(r2.group(2)) print(r2.groups())運行結果：
上述代碼中的(.*)和(.*?)表示正則表達式的貪婪匹配與非貪婪匹配。
re.search函數
re.search函數掃描整個字元串並返回第一個成功的匹配，如果匹配成功則返回match對象，否則返回None。
re.search(pattern, string, flags=0)
pattern：匹配的正則表達式。
string：待匹配的字元串。
flags：標志位，用於控制正則表達式的匹配方式，如：是否區分大小寫，多行匹配等等。
import re #從起始位置匹配 r1=re.search('abc','abcdefghi') print(r1) #不從起始位置匹配 r2=re.search('def','abcdefghi') print(r2)運行結果：
使用group(num) 或 groups() 匹配對象函數來獲取匹配表達式。
group(num=0)：匹配的整個表達式的字元串，group() 可以一次輸入多個組號，這時它將返回一個包含那些組所對應值的元組。
groups()：返回一個包含所有小組字元串的元組，從 1 到 所含的小組號。
import re s='This is a demo' r1=re.search(r'(.*) is (.*)',s) r2=re.search(r'(.*) is (.*?)',s) print(r1.group()) print(r1.group(1)) print(r1.group(2)) print(r1.groups()) print() print(r2.group()) print(r2.group(1)) print(r2.group(2)) print(r2.groups())運行結果：
從上面不難發現re.match與re.search的區別：re.match只匹配字元串的起始位置，只要起始位置不符合正則表達式就匹配失敗，而re.search是匹配整個字元串，直到找到一個匹配為止。
re.compile 函數
compile 函數用於編譯正則表達式，生成一個正則表達式對象，供 match() 和 search() 這兩個函數使用。
re.compile(pattern[, flags])
pattern：一個字元串形式的正則表達式。
flags：可選，表示匹配模式，比如忽略大小寫，多行模式等。
import re #匹配數字 r=re.compile(r'd+') r1=r.match('This is a demo') r2=r.match('This is 111 and That is 222',0,27) r3=r.match('This is 111 and That is 222',8,27) print(r1) print(r2) print(r3)運行結果：
findall函數
搜索字元串，以列表形式返回正則表達式匹配的所有子串，如果沒有找到匹配的，則返回空列表。
需要注意的是，match 和 search 是匹配一次，而findall 匹配所有。
findall(string[, pos[, endpos]])
string：待匹配的字元串。
pos：可選參數，指定字元串的起始位置，默認為0。
endpos：可選參數，指定字元串的結束位置，默認為字元串的長度。
import re #匹配數字 r=re.compile(r'd+') r1=r.findall('This is a demo') r2=r.findall('This is 111 and That is 222',0,11) r3=r.findall('This is 111 and That is 222',0,27) print(r1) print(r2) print(r3)運行結果：
re.finditer函數
和 findall 類似，在字元串中找到正則表達式所匹配的所有子串，並把它們作為一個迭代器返回。
re.finditer(pattern, string, flags=0)
pattern：匹配的正則表達式。
string：待匹配的字元串。
flags：標志位，用於控制正則表達式的匹配方式，如是否區分大小寫，多行匹配等。
import re r=re.finditer(r'd+','This is 111 and That is 222') for i in r: print (i.group())運行結果：
re.split函數
將一個字元串按照正則表達式匹配的子串進行分割後，以列表形式返回。
re.split(pattern, string[, maxsplit=0, flags=0])
pattern：匹配的正則表達式。
string：待匹配的字元串。
maxsplit：分割次數，maxsplit=1分割一次，默認為0，不限次數。
flags：標志位，用於控制正則表達式的匹配方式，如：是否區分大小寫，多行匹配等。
import re r1=re.split('W+','This is 111 and That is 222') r2=re.split('W+','This is 111 and That is 222',maxsplit=1) r3=re.split('d+','This is 111 and That is 222') r4=re.split('d+','This is 111 and That is 222',maxsplit=1) print(r1) print(r2) print(r3) print(r4)運行結果：
re.sub函數
re.sub函數用於替換字元串中的匹配項。
re.sub(pattern, repl, string, count=0, flags=0)
pattern：正則中的模式字元串。
repl：替換的字元串，也可為一個函數。
string：要被查找替換的原始字元串。
count：模式匹配後替換的最大次數，默認0表示替換所有的匹配。
import re r='This is 111 and That is 222' # 刪除字元串中的數字 r1=re.sub(r'd+','',r) print(r1) # 刪除非數字的字元串 r2=re.sub(r'D','',r) print(r2)運行結果：
到此這篇關於Python常用的正則表達式處理函數詳解的文章就介紹到這了，希望大家以後多多支持！