python語法分析器

❶ python怎樣使用解釋器

大學里計算機科學最吸引我的地方就是編譯器。最神奇的是，編譯器是如何讀出我寫的那些爛代碼，並且還能生成那麼復雜的程序。當我終於選了一門編譯方面的課程時，我發現這個過程比我想的要簡單得多。

在本系列的文章中，我會試著通過為一種基本命令語言IMP寫一個解釋器，來展示這種簡易性。因為IMP是一個簡單廣為人知的語言，所以打算用 Python寫這個解釋器。Python代碼看起來很像偽代碼，所以即使你不認識 Python，你也能理解它。解析可以通過一套從頭開始實現的解析器組合完成（在本系列的下一篇文章中會有解釋）。除了sys（用於I/O）、re（用於解析正則表達式）以及unittest（用於確保一切工作正常）庫，沒有使用其他額外的庫。

IMP 語言

在開始寫之前，我們先來討論一下將要解釋的語言。IMP是擁有下面結構的最小命令語言：

賦值語句（所有變數都是全局的，而且只能存儲整數）：

Python

1

x := 1

條件語句：

Python

1

2

3

4

5

if x = 1 then

y := 2

else

y := 3

end

while循環：

Python

1

2

3

while x < 10 do

x := x + 1

end

復合語句（分號分隔）：

Python

1

2

x := 1;

y := 2

OK，所以它只是一門工具語言，但你可以很容易就把它擴展成比Lua或python更有用的語言。我希望能把這份教程能保持盡量簡單。

下面這個例子是計算階乘的程序：

Python

1

2

3

4

5

6

n := 5;

p := 1;

while n > 0 do

p := p * n;

n := n - 1

end

IMP沒有讀取輸入的方式，所以初始狀態必須是在程序最開始寫一系列的賦值語句。也沒有列印結果的方式，所以解釋器必須在程序的結尾列印所有變數的值。

解釋器的結構

解釋器的核心是「中間表示」（Intermediate representation，IR）。這就是如何在內存中表示IMP程序。因為IMP是一個很簡單的語言，中間表示將直接對應於語言的語法；每一種表達和語句都有對應的類。在一種更復雜的語言中，你不僅需要一個「語法表示」，還需要一個更容易分析或運行的「語義表示」。

解釋器將會執行三個階段：

• 將源碼中的字元分割成標記符（token）

• 將標記符組織成一棵抽象語法樹（AST）。抽象語法樹就是中間表示。

• 評估這棵抽象語法樹，並在最後列印這棵樹的狀態

將字元串分割成標記符的過程叫做「詞法分析」，通過一個詞法分析器完成。關鍵字是很短，易於理解的字元串，包含程序中最基本的部分，如數字、標識符、關鍵字和操作符。詞法分析器會除去空格和注釋，因為它們都會被解釋器忽略。



實際執行這個解析過的抽象語法樹的過程稱為評估。這實際上是這個解析器中最簡單的部分了。

本文會把重點放在詞法分析器上。我們將編寫一個通用的詞彙庫，然後用它來為IMP創建一個詞法分析器。下一篇文章將會重點打造一個語法分析器和評估計算器。

詞彙庫

詞法分析器的操作相當簡單。它是基於正則表達式的，所以如果你不熟悉它們，你可能需要讀一些資料。簡單來說，正則表達式就是一種能描述其他字元串的特殊的格式化的字元串。你可以使用它們去匹配電話號碼或是郵箱地址，或者是像我們遇到在這種情況，不同類型的標記符。

詞法分析器的輸入可能只是一個字元串。簡單起見，我們將整個輸入文件都讀到內存中。輸出是一個標記符列表。每個標記符包括一個值（它代表的字元串）和一個標記（表示它是一個什麼類型的標記符）。語法分析器會使用這兩個數據來決定如何構建一棵抽象語法樹。

由於不論何種語言的詞法分析器，其操作都大同小異，我們將創建一個通用的詞法分析器，包括一個正則表達式列表和對應的標簽（tag）。對每一個表達式，它都會檢查是否和當前位置的輸入文本匹配。如果匹配，匹配文本就會作為一個標記符被提取出來，並且被加上該正則表達式的標簽。如果該正則表達式沒有標簽，那麼這段文本將會被丟棄。這樣免得我們被諸如注釋和空格之類的垃圾字元干擾。如果沒有匹配的正則表達式，程序就要報錯並終止。這個過程會不斷循環直到沒有字元可匹配。

下面是一段來自詞彙庫的代碼：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

import sys

import re

def lex(characters, token_exprs):

pos = 0

tokens = []

while pos < len(characters):

match = None

for token_expr in token_exprs:

pattern, tag = token_expr

regex = re.compile(pattern)

match = regex.match(characters, pos)

if match:

text = match.group(0)

if tag:

token = (text, tag)

tokens.append(token)

break

if not match:

sys.stderr.write('Illegal character: %sn' % characters[pos])

sys.exit(1)

else:

pos = match.end(0)

return tokens

注意，我們遍歷正則表達式的順序很重要。lex會遍歷所有的表達式，然後接受第一個匹配成功的表達式。這也就意味著，當使用詞法分析器時，我們應當首先考慮最具體的表達式（像那些匹配運算元（matching operator）和關鍵詞），其次才是比較一般的表達式（像標識符和數字）。

詞法分析器

給定上面的lex函數，為IMP定義一個詞法分析器就非常簡單了。首先我們要做的就是為標記符定義一系列的標簽。IMP只需要三個標簽。RESERVED表示一個保留字或操作符。INT表示一個文字整數。ID代表標識符。

Python

1

2

3

4

5

import lexer

RESERVED = 'RESERVED'

INT= 'INT'

ID = 'ID'

接下來定義詞法分析器將會用到的標記符表達式。前兩個表達式匹配空格和注釋。它們沒有標簽，所以 lex 會丟棄它們匹配到的所有字元。

Python

1

2

3

token_exprs = [

(r'[ nt]+',None),

(r'#[^n]*', None),

然後，只剩下所有的操作符和保留字了。記住，每個正則表達式前面的「r」表示這個字元串是「raw」；Python不會處理任何轉義字元。這使我們可以在字元串中包含進反斜線，正則表達式正是利用這一點來轉義操作符比如「＋」和「＊」。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

(r':=', RESERVED),

(r'(',RESERVED),

(r')',RESERVED),

(r';', RESERVED),

(r'+',RESERVED),

(r'-', RESERVED),

(r'*',RESERVED),

(r'/', RESERVED),

(r'<=',RESERVED),

(r'<', RESERVED),

(r'>=',RESERVED),

(r'>', RESERVED),

(r'=', RESERVED),

(r'!=',RESERVED),

(r'and', RESERVED),

(r'or',RESERVED),

(r'not', RESERVED),

(r'if',RESERVED),

(r'then',RESERVED),

(r'else',RESERVED),

(r'while', RESERVED),

(r'do',RESERVED),

(r'end', RESERVED),

最後，輪到整數和標識符的表達式。要注意的是，標識符的正則表達式會匹配上面的所有的保留字，所以它一定要留到最後。

Python

1

2

3

(r'[0-9]+',INT),

(r'[A-Za-z][A-Za-z0-9_]*', ID),

]

既然正則表達式已經定義好了，我們還需要創建一個實際的lexer函數。

Python

1

2

def imp_lex(characters):

return lexer.lex(characters, token_exprs)

如果你對這部分感興趣，這里有一些驅動代碼可以測試輸出：

Python

1

2

3

4

5

6

7

8

9

10

11

import sys

from imp_lexer import *

if __name__ == '__main__':

filename = sys.argv[1]

file = open(filename)

characters = file.read()

file.close()

tokens = imp_lex(characters)

for token in tokens:

print token

繼續……

在本系列的下一篇文章中，我會討論解析器組合，然後描述如何使用他們從lexer中生成的標記符列表建立抽象語法樹。

如果你對於實現IMP解釋器很感興趣，你可以從這里下載全部的源碼。

在源碼包含的示例文件中運行解釋器：

Python

1

python imp.py hello.imp

運行單元測試：

Python

1

python test.py

❷ 分享!5個好用的Python工具

1、 IDLE

IDLE直譯過來就是集成開發與學習環境的意思，一般安裝 Python 時也會默認安裝 IDLE。每個語言都可以有自己的IDLE。它讓Python的入門變得簡單，對於沒什麼基礎的人寫就對了。它的主要功能包括Python shell 窗口(互動式解釋器)、跨平台(Windows、Linux、UNIX、Mac OS X)、智能縮進、代碼著色、自動提示、可以實現斷點提示、單步執行等調試功能的基本集成調試器。

2、 Scikit-learn

scikit-learn是一個建立在Scipy基礎上的用於機器學習的Python模塊。其中scikit-learn是最有名的，是開源的，任何人都可以免費地使用這個庫或者進行二次開發。它是一個非常強大的工具，能為庫的開發提供高水平的支持和嚴格的管理。它也得到了很多第三方工具的支持，有豐富的功能適用於各種用例。

3、Theano

Theano是一個較老牌和穩定的機器學習python庫之一，雖然目前使用的人數有所下降。但它畢竟是一個祖師級的存在，一定有它的優點所在。Theano基於Python擅長處理多維數組，屬於比較底層的框架，theano起初也是為了深度學習中大規模人工神經網路演算法的運算所設計，我們可利用符號化式語言定義想要的結果，支持GPU加速，非常適合深度學習Python。

4、Selenium

Selenium 是自動化的最佳工具之一。它屬於 Python 測試的自動化。它在 Web 應用程序中用於自動化框架。支持多款主流瀏覽器，提供了功能豐富的API介面，常被用作爬蟲工具。使用它可以用許多編程語言編寫測試腳本，包括Java、C#、python、ruby等。還可以集成 Junit 和 TestNG 等鈾工具來管理測試用例並生成報告。

5、Skulpt

Skulpt 是一個用 Javascript 實現的在線 Python 執行環境，完全依靠瀏覽器端模擬實現Python運行的工具。不需要任何預處理、插件或伺服器端支持，只需編寫python並重新載入即可。因為代碼完全是在瀏覽器中運行的，所以不用擔心伺服器崩潰的問題。

關於分享!5個好用的Python工具，環球青藤小編就和大家分享到這里了，學習是永無止境的，學習一項技能更是受益終身，所以，只要肯努力學，什麼時候開始都不晚。如果您還想繼續了解關於python編程的學習方法及素材等內容，可以點擊本站其他文章學習。

❸ Python編程5種常用工具是什麼

【導語】Python是一種開源的編程語言，可用於Web編程、數據科學、人工智慧以及許多科學應用，學習Python可以讓程序員專注於解決問題，而不是語法，由於Python擁有各式各樣的工具，因此更具優勢，在進行Python編程學習的時候，了解使用工具和編程基礎是主要的，那麼Python編程5種常用工具是什麼?一起來了解一下吧。

1、IDLE

在安裝Python時，默認也會安裝IDLE。這是最優秀的Python工具之一。它可以降低Python入門的門檻。它的主要功能包括Python
Shell窗口(互動式解釋器)、自動補齊、高亮顯示語法以及基本的集成調試器。IDLE輕巧易用，方便學習。但是，它不適用於大型項目。許多程序員都將其作為最佳的Python工具。

2、Scikit-learn

Scikit-learn是數據科學最常使用的Python工具之一。這是一款為機器學習和數據科學而設計的Python工具。該工具主要用於處理分類、回歸、聚類、模型選擇以及預處理等任務。scikit-Learn最出色的功能是在測試數據集上執行基準測試時，表現出的驚人速度。因此，對於程序員和學生來說，Scikit-learn是最優秀的Python工具之一。

3、Theano

Theano是一款數據科學的Python工具，對於程序員和學生而言，這是一款非常可靠的工具。它是深度學習方面最好的Python工具，因此非常適合深度學習。Theano的設計主旨是用戶友好、模塊化、易於擴展，而且可以與Python配合使用。它能夠以最佳方式表達神經網路。Theano可以在TensorFlow和CNTK等流行的神經網路之上運行。

4、Selenium

Selenium是最佳的Python自動化工具之一。它適用於Python測試的自動化，常常用作Web應用程序的自動化框架。我們可以利用Selenium，通過許多編程語言(包括Java、C#、Python、ruby以及其他許多程序員和學生使用的語言)來編寫測試腳本。你還可以在Selenium中集成Junit和TestNG等工具，來管理測試用例並生成報告。

5、Test complete

Testcomplete是另一款非常出色的Python自動化工具。支持Web、移動和桌面自動化測試。更高級的應用需要獲得商業許可，而且它還可以幫助學生提高學業成績。Test
complete還可以像機器人框架一樣執行關鍵字驅動的測試。它擁有最出色的錄制以及回放功能，非常實用。

關於Python編程常用工具，就給大家介紹到這里了，以上的五種工具希望大家能夠好好利用，工具的使用必然能夠更好的簡化程序編寫，所以還是希望大家能夠不斷進行技能提升，加油!