python浏览器请求

‘壹’ 如何用python开发一个简单的Webkit浏览器

在这篇教程中，我们会用 Python 的 PyQt 框架编写一个简单的 web 浏览器。关于 PyQt ，你可能已经有所耳闻了，它是 Qt 框架下的一系列 Python 组件，而 Qt（发音类似“cute”）是用来开发GUI的 C++ 框架。严格来讲， Qt 也可用于开发不带图形界面的程序，但是开发用户界面应该是 Qt 框架最为广泛的应用了。Qt 的主要优势是可以开发跨平台的图形界面程序，基于 Qt 的应用能够借助于各平台的原生性在不同类的设备上运行，而无须修改任何代码库。

Qt 附带了webkit的接口，你可以直接使用 PyQt 来开发一个基于 webkit 的浏览器。

我们本次教程所开发的浏览器可以完成如下功能：

• 加载用户输入的url

• 显示在渲染页面过程中发起的所有请求

• 允许用户在页面中执行自定义的 JavaScript 脚本

牛刀小试

让我们从最简单的 PyQt 的 Webkit 用例开始吧：输入 url，打开窗口并在窗口中加载页面。

这个例子十分短小，连import语句和空行在内也只有 13 行代码。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

import sys

from PyQt4.QtWebKit import QWebView

from PyQt4.QtGui import QApplication

from PyQt4.QtCore import QUrl

app = QApplication(sys.argv)

browser = QWebView()

browser.load(QUrl(sys.argv[1]))

browser.show()

app.exec_()

当你通过命令行将 url 传给脚本时，程序会加载 url 并且在窗口中显示加载完成的页面。

现在，看似你已经有一个“命令行浏览器”啦！至少比 python 的 requests 模块强多了，甚至比Lynx还略高一筹，因为我们的浏览器还可以加载 JavaScript 脚本呢。但是目前为止还没有跟 Lynx 拉开差距，因为在启用浏览器的时候只能通过命令行传入 url。那么，必然需要通过某种方式把需要加载的 url 传入浏览器。没错，就是地址栏！

添加地址栏

其实地址栏的实现非常简单，我们只需要在窗口顶端加一个输入框就够了。用户在文本框中输入 url 之后，浏览器就会加载这个地址。下面，我们将用到 QLineEdit 控件来实现输入框。鉴于我们的浏览器现在有地址栏和浏览器显示框两部分，因此还要给我们的应用增加一个网格布局。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

import sys

from PyQt4.QtGui import QApplication

from PyQt4.QtCore import QUrl

from PyQt4.QtWebKit import QWebView

from PyQt4.QtGui import QGridLayout, QLineEdit, QWidget

class UrlInput(QLineEdit):

def __init__(self, browser):

super(UrlInput, self).__init__()

self.browser = browser

# add event listener on "enter" pressed

self.returnPressed.connect(self._return_pressed)

def _return_pressed(self):

url = QUrl(self.text())

# load url into browser frame

browser.load(url)

if __name__ == "__main__":

app = QApplication(sys.argv)

# create grid layout

grid = QGridLayout()

browser = QWebView()

url_input = UrlInput(browser)

# url_input at row 1 column 0 of our grid

grid.addWidget(url_input, 1, 0)

# browser frame at row 2 column 0 of our grid

grid.addWidget(browser, 2, 0)

# main app window

main_frame = QWidget()

main_frame.setLayout(grid)

main_frame.show()

# close app when user closes window

sys.exit(app.exec_())

到这里，我们已经有一个浏览器的雏形啦！看上去和当年的 Google Chrome 还有几分相像呢，毕竟两者采用了相同的渲染引擎。现在，你可以在输入框中输入 url ，程序便会将地址传入浏览器，接着渲染出所有的 HTML 页面和 JavaScript 脚本并展示出来。

添加开发工具

一个浏览器最有趣也最重要的部分是什么？当然是各种各样的开发工具了！一个没有开发者控制台的浏览器怎么能算是浏览器呢？所以，我们的 Python 浏览器当然也要有一些开发者工具才行。

现在，我们就来添加一些类似于 Chrome 的开发者工具中 “Network” 标签的功能吧！这个功能就是简单地追踪浏览器引擎在加载页面的时候所执行的所有请求。在浏览器主页面的下方，我们将通过一个表来显示这些请求。简单起见，我们只会记录登录的 url、返回的状态码和响应的内容类型。

首先我们要通过 QTableWidget 组件创建一个表格，表头包括需要存储的字段名称，表格可以根据每次新插入的记录来自动调整大小。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

class RequestsTable(QTableWidget):

header = ["url", "status", "content-type"]

def __init__(self):

super(RequestsTable, self).__init__()

self.setColumnCount(3)

self.setHorizontalHeaderLabels(self.header)

header = self.horizontalHeader()

header.setStretchLastSection(True)

header.setResizeMode(QHeaderView.ResizeToContents)

def update(self, data):

last_row = self.rowCount()

next_row = last_row + 1

self.setRowCount(next_row)

for col, dat in enumerate(data, 0):

if not dat:

continue

self.setItem(last_row, col, QTableWidgetItem(dat))

想要追踪所有请求的话，我们还需要对 PyQt 的内部构件有更深入的了解。了解到，Qt 提供了一个 NetworkAccessManager类作为 API 接口，通过调用它可以监控应用加载页面时所执行的请求。我们需要自己编写一个继承自 NetworkAccessManager 的子类，添加必要的事件监听器，然后使用我们自己编写的 manager 来通知 webkit 视图执行相应的请求。

首先我们需要以 NetworkAccessManager 为基类创建我们自己的网络访问管理器。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

class Manager(QNetworkAccessManager):

def __init__(self, table):

QNetworkAccessManager.__init__(self)

# add event listener on "load finished" event

self.finished.connect(self._finished)

self.table = table

def _finished(self, reply):

"""Update table with headers, status code and url.

"""

headers = reply.rawHeaderPairs()

headers = {str(k):str(v) for k,v in headers}

content_type = headers.get("Content-Type")

url = reply.url().toString()

# getting status is bit of a pain

status = reply.attribute(QNetworkRequest.HttpStatusCodeAttribute)

status, ok = status.toInt()

self.table.update([url, str(status), content_type])

在这里需要提醒大家的是， Qt 的某些实现并不像想象中那么简单明了，比如说从响应中获取状态码就十分繁琐。首先，你得把请求对象的类属性作为参数传入 response 的方法.attribute()中，.attribute()方法的返回值是 QVariant 类型而非 int 类型。接着，需要调用内置函数.toInt()将其转换成一个包含两个元素的元组，最终得到响应的状态码。

现在，我们终于有了一个记录请求的表和一个监控网络的 manager，接下来只要把他们聚拢起来就可以了。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

if __name__ == "__main__":

app = QApplication(sys.argv)

grid = QGridLayout()

browser = QWebView()

url_input = UrlInput(browser)

requests_table = RequestsTable()

manager = Manager(requests_table)

# to tell browser to use network access manager

# you need to create instance of QWebPage

page = QWebPage()

page.setNetworkAccessManager(manager)

browser.setPage(page)

grid.addWidget(url_input, 1, 0)

grid.addWidget(browser, 2, 0)

grid.addWidget(requests_table, 3, 0)

main_frame = QWidget()

main_frame.setLayout(grid)

main_frame.show()

sys.exit(app.exec_())

现在，运行浏览器程序，在地址栏键入 url，就可以看到在主页面下方的记录表中记录下的所有请求。

如果你有兴趣的话，还可以为浏览器添加很多新的功能：

• 通过content-type添加筛选功能

• 添加记录表的排序功能

• 添加计时器

• 高亮显示出错的请求（比如说把错误信息置为红色）

• 显示出更为具体的请求内容，比如说完整的头信息、响应内容、请求方法等。

• 增加一个重复发送请求并加载出来的选项。比如说用户可以点击在记录表中的请求来重试请求。

其实还有太多的功能可以继续完善和改进，你可以一一尝试一下，这会是一个非常有趣而且收获良多的学习过程。但是如果想把这些功能都说完，估计都能写一本书了。所以限于篇幅，本文就不一一介绍了，感兴趣的朋友可以参考其他书籍和网上教程。

增加解析自定义 JavaScript 脚本的功能

我们终于迎来最后一个功能了！就是解析在页面中包含的 JavaScript 脚本。

基于我们之前已经打下的基础，要完成这个功能非常简单。我们只需要在添加一个 QLineEdit 组件，把它和页面联系起来，然后调用evaulateJavaScript方法就可以了。

Python

1

2

3

4

5

6

7

8

9

class JavaScriptEvaluator(QLineEdit):

def __init__(self, page):

super(JavaScriptEvaluator, self).__init__()

self.page = page

self.returnPressed.connect(self._return_pressed)

def _return_pressed(self):

frame = self.page.currentFrame()

result = frame.evaluateJavaScript(self.text())

下面是这个功能的示例。看，我们的开发者工具已经整装待发了！

Python

1

2

3

4

5

6

7

8

9

10

11

if __name__ == "__main__":

# ...

# ...

page = QWebPage()

# ...

js_eval = JavaScriptEvaluator(page)

grid.addWidget(url_input, 1, 0)

grid.addWidget(browser, 2, 0)

grid.addWidget(requests_table, 3, 0)

grid.addWidget(js_eval, 4, 0)

现在唯一缺少的就是在页面中不能执行 Python 脚本。你可以开发自己的浏览器，提供对 JavaScript 和 Python 的支持，这样其他开发者就可以针对你的浏览器开发应用了。

后退、前进和其他页面操作

我们在前面已经使用了 QWebPage 对象来开发浏览器，当然作为一个合格的浏览器，我们也需要为终端用户提供一些重要功能。Qt 的网页对象支持很多不同操作，我们可以把它们全都添加到浏览器中。

现在我们可以先尝试着添加“后退”、“前进”和“刷新”这几个操作。你可以在界面上添加这些操作按钮，简单起见，这里只加一个文本框来执行这些动作。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

class ActionInputBox(QLineEdit):

def __init__(self, page):

super(ActionInputBox, self).__init__()

self.page = page

self.returnPressed.connect(self._return_pressed)

def _return_pressed(self):

frame = self.page.currentFrame()

action_string = str(self.text()).lower()

if action_string == "b":

self.page.triggerAction(QWebPage.Back)

elif action_string == "f":

self.page.triggerAction(QWebPage.Forward)

elif action_string == "s":

self.page.triggerAction(QWebPage.Stop)

和之前一样，我们要创建一个 ActionInputBox 的实例，把参数传入页面对象并把输入框对象添加到页面中。

For reference here’s code for final result 示例代码看这里

[1]: Graphical User Interface，图形用户界面，又称图形用户接口，是指采用图形方式显示的计算机操作用户界面。

[2]: WebKit是一个开源的浏览器引擎，与之相对应的引擎有 Gecko（Mozilla Firefox 等使用）和 Trident（也称 MSHTML ，IE 使用）。

‘贰’ python 怎样设置代理访问http请求

有几种方法。一种是设置环境变量http_proxy，它会自动访问这个。 另外一种是你使用urllib2的时候，在参数里加上代理。还有一个是urllib上指定。

比如
import urllib
urllib.urlopen(某网站，proxyes={'http:':"某代理IP地址:代理的端口"})

使用QT时，它的浏览器设置代理要在浏览器初始化参数里指定。

‘叁’ 如何用python分析从浏览器到服务器的HTTP GET请求的内容。

用response = requests.get(url）,对response.content的内容进行正则分析或者用bs4等模块进行分析即可

‘肆’ Python的 request 库，请求头是什么

就是headers，照抄浏览器F12里那一堆就行，如下图，请求标头下面所有内容都是。

‘伍’ 如何用Python写一个http post请求

HTTP 协议规定 POST 提交的数据必须放在消息主体（entity-body）中，但协议并没有规定数据必须使用什么编码方式。常见的四种编码方式如下：
1、application/x-www-form-urlencoded
这应该是最常见的 POST 提交数据的方式了。浏览器的原生 form 表单，如果不设置 enctype 属性，那么最终就会以 application/x-www-form-urlencoded 方式提交数据。请求类似于下面这样（无关的请求头在本文中都省略掉了）：
POST HTTP/1.1 Content-Type:
application/x-www-form-urlencoded;charset=utf-8
title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3

2、multipart/form-data
这又是一个常见的 POST 数据提交的方式。我们使用表单上传文件时，必须让 form 的 enctyped 等于这个值，下面是示例
POST HTTP/1.1
Content-Type:multipart/form-data; boundary=----
------
Content-Disposition: form-data; name="text"
title
------
Content-Disposition: form-data; name="file"; filename="chrome.png"
Content-Type: image/png
PNG ... content of chrome.png ...
--------

3、application/json
application/json 这个 Content-Type 作为响应头大家肯定不陌生。实际上，现在越来越多的人把它作为请求头，用来告诉服务端消息主体是序列化后的 JSON 字符串。由于 JSON 规范的流行，除了低版本 IE 之外的各大浏览器都原生支持 JSON.stringify，服务端语言也都有处理 JSON 的函数，使用 JSON 不会遇上什么麻烦。
4、text/xml
它是一种使用 HTTP 作为传输协议，XML 作为编码方式的远程调用规范。
那么Python在调用外部http请求时，post请求怎么传请求体呢？说实话楼主只实践过【1、application/x-www-form-urlencoded】【2、multipart/form-data 】和【3、application/json】
一、application/x-www-form-urlencoded
import urllib

url = ""
body_value = {"package": "com.tencent.lian","version_code": "66" }
body_value = urllib.urlencode(body_value)
request = urllib2.Request(url, body_value)
request.add_header(keys, headers[keys])
result = urllib2.urlopen(request ).read()

二、multipart/form-data
需要利用python的poster模块，安装poster：pip install poster
代码：
from poster.encode import multipart_encode
from poster.streaminghttp import register_openers

url = ""
body_value = {"package": "com.tencent.lian","version_code": "66" }
register_openers()
datagen, re_headers = multipart_encode(body_value)
request = urllib2.Request(url, datagen, re_headers)
# 如果有请求头数据，则添加请求头
request .add_header(keys, headers[keys])
result = urllib2.urlopen(request ).read()

二、application/json
import json

url = ""
body_value = {"package": "com.tencent.lian","version_code": "66" }
register_openers()
body_value = json.JSONEncoder().encode(body_value)
request = urllib2.Request(url, body_value)
request .add_header(keys, headers[keys])
result = urllib2.urlopen(request ).read()

‘陆’ python编写接口,请求url应该如何确定

1、是一个接口
2、程序需要运行后才能访问，可以部署到服务器上，程序一旦运行是守护进程，只要不关闭程序一直会运行
3、请求的url根据'/xxx'来确定，请求的类型 methods=['get']

‘柒’ 求给源代码！python可以通过函数实现上网用浏览器搜索并返回指定内容吗急急急急急急急急急！！！

可以使用网络汉语来做。

urlencode是汉字在url中的形式，它是汉字的utf-8编码各字节的十六进制值(以%为前缀)

例如“中国”编码后是%E4%B8%AD%E5%9B%BD

网络汉语可以直接以get方法来起调，只需要用参数wd传入要查的字或词即可。

对于字和词，网络汉语返回不同的页面，因此，使用一个if来做分支，分别处理不同的页面。

因为要求不使用下载的包，那么，就直接使用python内置的requests来做请求，捡出拼音用re简单处理一下就好。

这是没有处理多音字的，如果要多音字返回所有读音，那么第一个分支里写法要改一改，判断读音段落结束才返回读音列表，每个读音【re.findall】的结果要添加到读音列表

‘捌’ python request请求返回内容和浏览器返回的不同

这个有可能是因为你爬取的网站有反爬机制，识别你是程序访问的不返回网页内容。

‘玖’ 如何用Python爬虫抓取网页内容

首先,你要安装requests和BeautifulSoup4,然后执行如下代码.

importrequests
frombs4importBeautifulSoup

iurl='http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'

res=requests.get(iurl)

res.encoding='utf-8'

#print(len(res.text))

soup=BeautifulSoup(res.text,'html.parser')

#标题
H1=soup.select('#artibodyTitle')[0].text

#来源
time_source=soup.select('.time-source')[0].text


#来源
origin=soup.select('#artibodyp')[0].text.strip()

#原标题
oriTitle=soup.select('#artibodyp')[1].text.strip()

#内容
raw_content=soup.select('#artibodyp')[2:19]
content=[]
forparagraphinraw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#责任编辑
ae=soup.select('.article-editor')[0].text

这样就可以了