python语法分析器

❶ python怎样使用解释器

大学里计算机科学最吸引我的地方就是编译器。最神奇的是，编译器是如何读出我写的那些烂代码，并且还能生成那么复杂的程序。当我终于选了一门编译方面的课程时，我发现这个过程比我想的要简单得多。

在本系列的文章中，我会试着通过为一种基本命令语言IMP写一个解释器，来展示这种简易性。因为IMP是一个简单广为人知的语言，所以打算用 Python写这个解释器。Python代码看起来很像伪代码，所以即使你不认识 Python，你也能理解它。解析可以通过一套从头开始实现的解析器组合完成（在本系列的下一篇文章中会有解释）。除了sys（用于I/O）、re（用于解析正则表达式）以及unittest（用于确保一切工作正常）库，没有使用其他额外的库。

IMP 语言

在开始写之前，我们先来讨论一下将要解释的语言。IMP是拥有下面结构的最小命令语言：

赋值语句（所有变量都是全局的，而且只能存储整数）：

Python

1

x := 1

条件语句：

Python

1

2

3

4

5

if x = 1 then

y := 2

else

y := 3

end

while循环：

Python

1

2

3

while x < 10 do

x := x + 1

end

复合语句（分号分隔）：

Python

1

2

x := 1;

y := 2

OK，所以它只是一门工具语言，但你可以很容易就把它扩展成比Lua或python更有用的语言。我希望能把这份教程能保持尽量简单。

下面这个例子是计算阶乘的程序：

Python

1

2

3

4

5

6

n := 5;

p := 1;

while n > 0 do

p := p * n;

n := n - 1

end

IMP没有读取输入的方式，所以初始状态必须是在程序最开始写一系列的赋值语句。也没有打印结果的方式，所以解释器必须在程序的结尾打印所有变量的值。

解释器的结构

解释器的核心是“中间表示”（Intermediate representation，IR）。这就是如何在内存中表示IMP程序。因为IMP是一个很简单的语言，中间表示将直接对应于语言的语法；每一种表达和语句都有对应的类。在一种更复杂的语言中，你不仅需要一个“语法表示”，还需要一个更容易分析或运行的“语义表示”。

解释器将会执行三个阶段：

• 将源码中的字符分割成标记符（token）

• 将标记符组织成一棵抽象语法树（AST）。抽象语法树就是中间表示。

• 评估这棵抽象语法树，并在最后打印这棵树的状态

将字符串分割成标记符的过程叫做“词法分析”，通过一个词法分析器完成。关键字是很短，易于理解的字符串，包含程序中最基本的部分，如数字、标识符、关键字和操作符。词法分析器会除去空格和注释，因为它们都会被解释器忽略。



实际执行这个解析过的抽象语法树的过程称为评估。这实际上是这个解析器中最简单的部分了。

本文会把重点放在词法分析器上。我们将编写一个通用的词汇库，然后用它来为IMP创建一个词法分析器。下一篇文章将会重点打造一个语法分析器和评估计算器。

词汇库

词法分析器的操作相当简单。它是基于正则表达式的，所以如果你不熟悉它们，你可能需要读一些资料。简单来说，正则表达式就是一种能描述其他字符串的特殊的格式化的字符串。你可以使用它们去匹配电话号码或是邮箱地址，或者是像我们遇到在这种情况，不同类型的标记符。

词法分析器的输入可能只是一个字符串。简单起见，我们将整个输入文件都读到内存中。输出是一个标记符列表。每个标记符包括一个值（它代表的字符串）和一个标记（表示它是一个什么类型的标记符）。语法分析器会使用这两个数据来决定如何构建一棵抽象语法树。

由于不论何种语言的词法分析器，其操作都大同小异，我们将创建一个通用的词法分析器，包括一个正则表达式列表和对应的标签（tag）。对每一个表达式，它都会检查是否和当前位置的输入文本匹配。如果匹配，匹配文本就会作为一个标记符被提取出来，并且被加上该正则表达式的标签。如果该正则表达式没有标签，那么这段文本将会被丢弃。这样免得我们被诸如注释和空格之类的垃圾字符干扰。如果没有匹配的正则表达式，程序就要报错并终止。这个过程会不断循环直到没有字符可匹配。

下面是一段来自词汇库的代码：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

import sys

import re

def lex(characters, token_exprs):

pos = 0

tokens = []

while pos < len(characters):

match = None

for token_expr in token_exprs:

pattern, tag = token_expr

regex = re.compile(pattern)

match = regex.match(characters, pos)

if match:

text = match.group(0)

if tag:

token = (text, tag)

tokens.append(token)

break

if not match:

sys.stderr.write('Illegal character: %sn' % characters[pos])

sys.exit(1)

else:

pos = match.end(0)

return tokens

注意，我们遍历正则表达式的顺序很重要。lex会遍历所有的表达式，然后接受第一个匹配成功的表达式。这也就意味着，当使用词法分析器时，我们应当首先考虑最具体的表达式（像那些匹配算子（matching operator）和关键词），其次才是比较一般的表达式（像标识符和数字）。

词法分析器

给定上面的lex函数，为IMP定义一个词法分析器就非常简单了。首先我们要做的就是为标记符定义一系列的标签。IMP只需要三个标签。RESERVED表示一个保留字或操作符。INT表示一个文字整数。ID代表标识符。

Python

1

2

3

4

5

import lexer

RESERVED = 'RESERVED'

INT= 'INT'

ID = 'ID'

接下来定义词法分析器将会用到的标记符表达式。前两个表达式匹配空格和注释。它们没有标签，所以 lex 会丢弃它们匹配到的所有字符。

Python

1

2

3

token_exprs = [

(r'[ nt]+',None),

(r'#[^n]*', None),

然后，只剩下所有的操作符和保留字了。记住，每个正则表达式前面的“r”表示这个字符串是“raw”；Python不会处理任何转义字符。这使我们可以在字符串中包含进反斜线，正则表达式正是利用这一点来转义操作符比如“＋”和“＊”。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

(r':=', RESERVED),

(r'(',RESERVED),

(r')',RESERVED),

(r';', RESERVED),

(r'+',RESERVED),

(r'-', RESERVED),

(r'*',RESERVED),

(r'/', RESERVED),

(r'<=',RESERVED),

(r'<', RESERVED),

(r'>=',RESERVED),

(r'>', RESERVED),

(r'=', RESERVED),

(r'!=',RESERVED),

(r'and', RESERVED),

(r'or',RESERVED),

(r'not', RESERVED),

(r'if',RESERVED),

(r'then',RESERVED),

(r'else',RESERVED),

(r'while', RESERVED),

(r'do',RESERVED),

(r'end', RESERVED),

最后，轮到整数和标识符的表达式。要注意的是，标识符的正则表达式会匹配上面的所有的保留字，所以它一定要留到最后。

Python

1

2

3

(r'[0-9]+',INT),

(r'[A-Za-z][A-Za-z0-9_]*', ID),

]

既然正则表达式已经定义好了，我们还需要创建一个实际的lexer函数。

Python

1

2

def imp_lex(characters):

return lexer.lex(characters, token_exprs)

如果你对这部分感兴趣，这里有一些驱动代码可以测试输出：

Python

1

2

3

4

5

6

7

8

9

10

11

import sys

from imp_lexer import *

if __name__ == '__main__':

filename = sys.argv[1]

file = open(filename)

characters = file.read()

file.close()

tokens = imp_lex(characters)

for token in tokens:

print token

继续……

在本系列的下一篇文章中，我会讨论解析器组合，然后描述如何使用他们从lexer中生成的标记符列表建立抽象语法树。

如果你对于实现IMP解释器很感兴趣，你可以从这里下载全部的源码。

在源码包含的示例文件中运行解释器：

Python

1

python imp.py hello.imp

运行单元测试：

Python

1

python test.py

❷ 分享!5个好用的Python工具

1、 IDLE

IDLE直译过来就是集成开发与学习环境的意思，一般安装 Python 时也会默认安装 IDLE。每个语言都可以有自己的IDLE。它让Python的入门变得简单，对于没什么基础的人写就对了。它的主要功能包括Python shell 窗口(交互式解释器)、跨平台(Windows、Linux、UNIX、Mac OS X)、智能缩进、代码着色、自动提示、可以实现断点提示、单步执行等调试功能的基本集成调试器。

2、 Scikit-learn

scikit-learn是一个建立在Scipy基础上的用于机器学习的Python模块。其中scikit-learn是最有名的，是开源的，任何人都可以免费地使用这个库或者进行二次开发。它是一个非常强大的工具，能为库的开发提供高水平的支持和严格的管理。它也得到了很多第三方工具的支持，有丰富的功能适用于各种用例。

3、Theano

Theano是一个较老牌和稳定的机器学习python库之一，虽然目前使用的人数有所下降。但它毕竟是一个祖师级的存在，一定有它的优点所在。Theano基于Python擅长处理多维数组，属于比较底层的框架，theano起初也是为了深度学习中大规模人工神经网络算法的运算所设计，我们可利用符号化式语言定义想要的结果，支持GPU加速，非常适合深度学习Python。

4、Selenium

Selenium 是自动化的最佳工具之一。它属于 Python 测试的自动化。它在 Web 应用程序中用于自动化框架。支持多款主流浏览器，提供了功能丰富的API接口，常被用作爬虫工具。使用它可以用许多编程语言编写测试脚本，包括Java、C#、python、ruby等。还可以集成 Junit 和 TestNG 等铀工具来管理测试用例并生成报告。

5、Skulpt

Skulpt 是一个用 Javascript 实现的在线 Python 执行环境，完全依靠浏览器端模拟实现Python运行的工具。不需要任何预处理、插件或服务器端支持，只需编写python并重新载入即可。因为代码完全是在浏览器中运行的，所以不用担心服务器崩溃的问题。

关于分享!5个好用的Python工具，环球青藤小编就和大家分享到这里了，学习是永无止境的，学习一项技能更是受益终身，所以，只要肯努力学，什么时候开始都不晚。如果您还想继续了解关于python编程的学习方法及素材等内容，可以点击本站其他文章学习。

❸ Python编程5种常用工具是什么

【导语】Python是一种开源的编程语言，可用于Web编程、数据科学、人工智能以及许多科学应用，学习Python可以让程序员专注于解决问题，而不是语法，由于Python拥有各式各样的工具，因此更具优势，在进行Python编程学习的时候，了解使用工具和编程基础是主要的，那么Python编程5种常用工具是什么?一起来了解一下吧。

1、IDLE

在安装Python时，默认也会安装IDLE。这是最优秀的Python工具之一。它可以降低Python入门的门槛。它的主要功能包括Python
Shell窗口(交互式解释器)、自动补齐、高亮显示语法以及基本的集成调试器。IDLE轻巧易用，方便学习。但是，它不适用于大型项目。许多程序员都将其作为最佳的Python工具。

2、Scikit-learn

Scikit-learn是数据科学最常使用的Python工具之一。这是一款为机器学习和数据科学而设计的Python工具。该工具主要用于处理分类、回归、聚类、模型选择以及预处理等任务。scikit-Learn最出色的功能是在测试数据集上执行基准测试时，表现出的惊人速度。因此，对于程序员和学生来说，Scikit-learn是最优秀的Python工具之一。

3、Theano

Theano是一款数据科学的Python工具，对于程序员和学生而言，这是一款非常可靠的工具。它是深度学习方面最好的Python工具，因此非常适合深度学习。Theano的设计主旨是用户友好、模块化、易于扩展，而且可以与Python配合使用。它能够以最佳方式表达神经网络。Theano可以在TensorFlow和CNTK等流行的神经网络之上运行。

4、Selenium

Selenium是最佳的Python自动化工具之一。它适用于Python测试的自动化，常常用作Web应用程序的自动化框架。我们可以利用Selenium，通过许多编程语言(包括Java、C#、Python、ruby以及其他许多程序员和学生使用的语言)来编写测试脚本。你还可以在Selenium中集成Junit和TestNG等工具，来管理测试用例并生成报告。

5、Test complete

Testcomplete是另一款非常出色的Python自动化工具。支持Web、移动和桌面自动化测试。更高级的应用需要获得商业许可，而且它还可以帮助学生提高学业成绩。Test
complete还可以像机器人框架一样执行关键字驱动的测试。它拥有最出色的录制以及回放功能，非常实用。

关于Python编程常用工具，就给大家介绍到这里了，以上的五种工具希望大家能够好好利用，工具的使用必然能够更好的简化程序编写，所以还是希望大家能够不断进行技能提升，加油!