python写postapi

‘壹’ python怎么获取需要登陆的接口的数据

使用Python做爬虫是很广泛的应用场景，那就涉及到了Python是如何获取接口数据的呢？Python拥有很多很强大的类库，使用urllib即可轻松获取接口返回的数据。
...展开
工具原料Python开发工具url接口，用于请求获取数据
方法/步骤分步阅读
1
/4
首先新建一个py文件，导入所需的类库，urllib，json等。
2
/4
声明api的url地址，和构造请求头。
3
/4
使用urlopen方法发起请求并获取返回的数据。
4
/4
最后就是对返回字符串的处理了。比如字符串的截取，字符串的转换成json对象，转换成字段，再获取对应key的值。
使用Python3实现HTTP get方法。使用聚合数据的应用编程接口，你可以调用小发猫AI写作API。这是一个免费的应用程序接口，先上代码，详细说明写在后面：

1
2
3
4
5
6
7
8
9
10
11
12
import requests
import time
import re
se = requests.session()

if __name__ == '__main__':
Post_url = "http://api-ok.xiaofamao.com/api.php?json=0&v=1&key=xxxxxx" #自己想办法弄到key
Post_data = {
'wenzhang': '床前明月光，疑是地上霜。'
}
Text = se.post(Post_url, data=Post_data).text.replace("'", '"').replace('/ ', '/')
print(Text)

首先，什么是原料药？应用编程接口的全称也称为应用编程接口。它简称为应用编程接口。当我第一次接触接口调用时，我不知道写什么，因为我看了整个项目。这个项目是由龙卷风写的。看了半天龙卷风后，我发现我走错了方向。我只是直接看着界面，因为没有人告诉我项目的整个过程。我不得不强迫自己去看它。我所要做的就是找到程序的主入口，然后根据函数一步一步地调用它。
当我编写接口时，因为我必须配合后台编写和浏览器访问，每次访问只需要传入相应的参数来调用相应的接口。界面可以由他人编写，也可以由合作公司提供。当然，合作公司提供的不是免费的。现在基本上，如果我不访问它一次，它只收费几美分。当你听到这些，不要低估这几分。有时候如果你打了几百万次电话，会花很多钱。有些人认为，我们不能按月付款吗？对不起，我不知道。总之，我们一个接一个地计算，因为第一次，我认为我买的那些直接买了我们想要的所有数据，把它们保存在本地数据库中，当我使用它们时，直接从我自己的数据库中转移它们。后来，我发现我想得太多了，伪原创API。
该接口调用由python的请求库访问，它基本上是一个get或post请求。有些接口是加密的，然后我们必须用另一方提供给我们的公钥加密或解密，然后用相应的参数访问。我们想要的数据基本上是在请求后返回的结果中以json格式解析的。因此，在请求之后，我们可以用请求提供的json函数来解析它，然后提取数据以一次访问一个数据。
没错，接口调用就是这么简单，但是有了后台编写，我才发现请求库现在有多强大，只要它是http或https，我很高兴我在一周内读完了请求和bs4，我真的不打电话给爬虫工程师，如果我是爬虫的时候不学习请求，你能用scrapy写4=dead来写它吗？Urllib的单词基本上被删除了。如果你有要求，为什么要用这个？

‘贰’ 如何通过python调用新浪微博的API

1.下载SDK

使用python调用API的话，首先要去下一个Python的SDK，sinaweibopy

连接地址在此： http://michaelliao.github.com/sinaweibopy/

可以使用pip很快的导入，github连接里的wiki也有入门的使用方法，很容易看懂。

2.理解新浪微博的授权机制

在调用API之前，首先要搞懂什么叫OAuth 2，即新浪微博的授权机制，

连接在此： http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E

3.在新浪微博注册应用

每个人都可以通过新浪微博开发者平台注册自己的应用，我注册的是站内应用。注册后会为每个应用分配唯一的app key 和 app secret,这在上文提到的授权机制中需要用到，相当与每个应用的标示吧。

至此，我们可以尝试写代码调用新浪微博的API啦。

4.简单的调用API实例

参考了往上很多资料和文档，写了一个简单的调用过程。

# _*_ coding: utf-8 _*_
from weibo import APIClient
import webbrowser
APP_KEY = ”
APP_SECRET = ”
CALLBACK_URL = ”
#这个是设置回调地址，必须与那个”高级信息“里的一致
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
url = client.get_authorize_url()
# TODO: redirect to url
#print url
webbrowser.open_new(url)
# 获取URL参数code:
code = ‘‘
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
r = client.request_access_token(code)
access_token = r.access_token # 新浪返回的token，类似abc123xyz456
expires_in = r.expires_in # token过期的UNIX时间：http://zh.wikipedia.org/wiki/UNIX%E6%97%B6%E9%97%B4
# TODO: 在此可保存access token
client.set_access_token(access_token, expires_in)

print client.friendships.friends.bilateral.ids.get(uid = 12345678)

通过以上的代码，我实现了调用相互关注API的调用，即查找与某个id的用户相互关注的人的列表。

其中，APP_KEY和APP_SECRET就是前文中分配给每个应用的信息，回调地址在每个应用的高级信息中可以看到，需要自己设置，不过随便设置一下就好

比较恶心的是code的获取，我一开始看sinaweibopy的文档的时候也没弄懂是什么意思，如上面的代码所示，url得到的是一个授权的网址，我们通过

webbrowser.open_new(url)
这行代码打开浏览器跳转到授权的界面，然后观察所在界面的网址，会显示大概如下一样的格式：

http://apps.weibo.com/sayarywei?code=

看到了吗？
问号后面有一个code=……的一个东西，把等号后面的字符串拷贝下来赋给code就可以了，但是每次运行程序是code不是一成不变的，也就是说每次都
要有这么一个手动获取的过程，我觉得很麻烦，以后自己再研究一下，实现自动获取code就好了。如果能有哪位大神告诉我，感激不尽~

好了，得到正确的code之后就可以完成授权认证，也就可以调用微博的API啦，至于如何在Python下调用，我拷贝一下sinaweibopy上的介绍：

首先查看新浪微博API文档，例如：

API：statuses/user_timeline

请求格式：GET

请求参数：

source：string，采用OAuth授权方式不需要此参数，其他授权方式为必填参数，数值为应用的AppKey?。

access_token：string，采用OAuth授权方式为必填参数，其他授权方式不需要此参数，OAuth授权后获得。

uid：int64，需要查询的用户ID。

screen_name：string，需要查询的用户昵称。

（其它可选参数略）

调用方法：将API的“/”变为“.”，根据请求格式是GET或POST，调用get ()或post()并传入关键字参数，但不包括source和access_token参数：

r = client.statuses.user_timeline.get(uid=123456)
for st in r.statuses:
print st.text

若为POST调用，则示例代码如下：

r = client.statuses.update.post(status=u'测试OAuth 2.0发微博')

若需要上传文件，传入file-like object参数，示例代码如下：

f = open('/Users/michael/test.png', 'rb')
r = client.statuses.upload.post(status=u'测试OAuth 2.0带图片发微博', pic=f)
f.close() # APIClient不会自动关闭文件，需要手动关闭

请注意：上传的文件必须是file-like object，不能是str，因为无法区分一个str是文件还是字段。可以通过StringIO把一个str包装成file-like object。

‘叁’ 如何使用python 开发一个api

使用 Python 和 Flask 设计 RESTful API

近些年来 REST (REpresentational State Transfer) 已经变成了 web services 和 web APIs 的标配。

在本文中我将向你展示如何简单地使用 Python 和 Flask 框架来创建一个 RESTful 的 web service。

什么是 REST？

六条设计规范定义了一个 REST 系统的特点:

• 客户端-服务器: 客户端和服务器之间隔离，服务器提供服务，客户端进行消费。

• 无状态: 从客户端到服务器的每个请求都必须包含理解请求所必需的信息。换句话说， 服务器不会存储客户端上一次请求的信息用来给下一次使用。

• 可缓存: 服务器必须明示客户端请求能否缓存。

• 分层系统: 客户端和服务器之间的通信应该以一种标准的方式，就是中间层代替服务器做出响应的时候，客户端不需要做任何变动。

• 统一的接口: 服务器和客户端的通信方法必须是统一的。

• 按需编码: 服务器可以提供可执行代码或脚本，为客户端在它们的环境中执行。这个约束是唯一一个是可选的。

什么是一个 RESTful 的 web service？

REST 架构的最初目的是适应万维网的 HTTP 协议。

RESTful web services 概念的核心就是“资源”。 资源可以用URI来表示。客户端使用 HTTP 协议定义的方法来发送请求到这些 URIs，当然可能会导致这些被访问的”资源“状态的改变。

HTTP 标准的方法有如下:

• ========== ===================== ==================================


• HTTP 方法 行为 示例


• ========== ===================== ==================================


• GET 获取资源的信息 http://example.com/api/orders


• GET 获取某个特定资源的信息 http://example.com/api/orders/123


• POST 创建新资源 http://example.com/api/orders


• PUT 更新资源 http://example.com/api/orders/123


• DELETE 删除资源 http://example.com/api/orders/123


• ========== ====================== ==================================



REST 设计不需要特定的数据格式。在请求中数据可以以JSON形式, 或者有时候作为 url 中查询参数项。

设计一个简单的 web service

坚持 REST 的准则设计一个 web service 或者 API 的任务就变成一个标识资源被展示出来以及它们是怎样受不同的请求方法影响的练习。

比如说，我们要编写一个待办事项应用程序而且我们想要为它设计一个 web service。要做的第一件事情就是决定用什么样的根 URL 来访问该服务。例如，我们可以通过这个来访问:

http://[hostname]/todo/api/v1.0/

在这里我已经决定在 URL 中包含应用的名称以及 API 的版本号。在 URL 中包含应用名称有助于提供一个命名空间以便区分同一系统上的其它服务。在 URL 中包含版本号能够帮助以后的更新，如果新版本中存在新的和潜在不兼容的功能，可以不影响依赖于较旧的功能的应用程序。

下一步骤就是选择将由该服务暴露(展示)的资源。这是一个十分简单地应用，我们只有任务，因此在我们待办事项中唯一的资源就是任务。

我们的任务资源将要使用 HTTP 方法如下:

• ========== =============================================== =============================


• HTTP 方法 URL 动作


• ========== =============================================== ==============================


• GET http://[hostname]/todo/api/v1.0/tasks 检索任务列表


• GET http://[hostname]/todo/api/v1.0/tasks/[task_id] 检索某个任务


• POST http://[hostname]/todo/api/v1.0/tasks 创建新任务


• PUT http://[hostname]/todo/api/v1.0/tasks/[task_id] 更新任务


• DELETE http://[hostname]/todo/api/v1.0/tasks/[task_id] 删除任务


• ========== ================================================ =============================



我们定义的任务有如下一些属性:

• id: 任务的唯一标识符。数字类型。

• title: 简短的任务描述。字符串类型。

• description: 具体的任务描述。文本类型。

• done: 任务完成的状态。布尔值。

目前为止关于我们的 web service 的设计基本完成。剩下的事情就是实现它！

Flask 框架的简介

如果你读过Flask Mega-Tutorial 系列，就会知道 Flask 是一个简单却十分强大的 Python web 框架。

在我们深入研究 web services 的细节之前，让我们回顾一下一个普通的 Flask Web 应用程序的结构。

我会首先假设你知道 Python 在你的平台上工作的基本知识。 我将讲解的例子是工作在一个类 Unix 操作系统。简而言之，这意味着它们能工作在 Linux，Mac OS X 和 Windows(如果你使用Cygwin)。 如果你使用 Windows 上原生的 Python 版本的话，命令会有所不同。

让我们开始在一个虚拟环境上安装 Flask。如果你的系统上没有 virtualenv，你可以从https://pypi.python.org/pypi/virtualenv上下载:

• $ mkdir todo-api


• $ cd todo-api


• $ virtualenv flask


• New python executable in flask/bin/python


• Installing setuptools............................done.


• Installing pip...................done.


• $ flask/bin/pip install flask



既然已经安装了 Flask，现在开始创建一个简单地网页应用，我们把它放在一个叫 app.py 的文件中:

• #!flask/bin/pythonfrom flask import Flaskapp = Flask(__name__)@app.route('/')def index():


• return "Hello, World!"if __name__ == '__main__':


• app.run(debug=True)



为了运行这个程序我们必须执行 app.py:

• $ chmod a+x app.py


• $ ./app.py


• * Running on http://127.0.0.1:5000/


• * Restarting with reloader



现在你可以启动你的网页浏览器，输入http://localhost:5000看看这个小应用程序的效果。

简单吧？现在我们将这个应用程序转换成我们的 RESTful service！

使用 Python 和 Flask 实现 RESTful services

使用 Flask 构建 web services 是十分简单地，比我在Mega-Tutorial中构建的完整的服务端的应用程序要简单地多。

在 Flask 中有许多扩展来帮助我们构建 RESTful services，但是在我看来这个任务十分简单，没有必要使用 Flask 扩展。

我们 web service 的客户端需要添加、删除以及修改任务的服务，因此显然我们需要一种方式来存储任务。最直接的方式就是建立一个小型的数据库，但是数据库并不是本文的主体。学习在 Flask 中使用合适的数据库，我强烈建议阅读Mega-Tutorial。

这里我们直接把任务列表存储在内存中，因此这些任务列表只会在 web 服务器运行中工作，在结束的时候就失效。 这种方式只是适用我们自己开发的 web 服务器，不适用于生产环境的 web 服务器， 这种情况一个合适的数据库的搭建是必须的。

我们现在来实现 web service 的第一个入口:

• #!flask/bin/pythonfrom flask import Flask, jsonifyapp = Flask(__name__)tasks = [


• {


• 'id': 1,


• 'title': u'Buy groceries',


• 'description': u'Milk, Cheese, Pizza, Fruit, Tylenol',


• 'done': False


• },


• {


• 'id': 2,


• 'title': u'Learn Python',


• 'description': u'Need to find a good Python tutorial on the web',


• 'done': False


• }]@app.route('/todo/api/v1.0/tasks', methods=['GET'])def get_tasks():


• return jsonify({'tasks': tasks})if __name__ == '__main__':


• app.run(debug=True)



正如你所见，没有多大的变化。我们创建一个任务的内存数据库，这里无非就是一个字典和数组。数组中的每一个元素都具有上述定义的任务的属性。

取代了首页，我们现在拥有一个 get_tasks 的函数，访问的 URI 为 /todo/api/v1.0/tasks，并且只允许 GET 的 HTTP 方法。

这个函数的响应不是文本，我们使用 JSON 数据格式来响应，Flask 的 jsonify 函数从我们的数据结构中生成。

使用网页浏览器来测试我们的 web service 不是一个最好的注意，因为网页浏览器上不能轻易地模拟所有的 HTTP 请求的方法。相反，我们会使用 curl。如果你还没有安装 curl 的话，请立即安装它。

通过执行 app.py，启动 web service。接着打开一个新的控制台窗口，运行以下命令:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks


• HTTP/1.0 200 OK


• Content-Type: application/json


• Content-Length: 294


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 04:53:53 GMT



• {


• "tasks": [


• {


• "description": "Milk, Cheese, Pizza, Fruit, Tylenol",


• "done": false,


• "id": 1,


• "title": "Buy groceries"


• },


• {


• "description": "Need to find a good Python tutorial on the web",


• "done": false,


• "id": 2,


• "title": "Learn Python"


• }


• ]


• }



我们已经成功地调用我们的 RESTful service 的一个函数！

现在我们开始编写 GET 方法请求我们的任务资源的第二个版本。这是一个用来返回单独一个任务的函数:

• from flask import [email protected]('/todo/api/v1.0/tasks/<int:task_id>', methods=['GET'])def get_task(task_id):


• task = filter(lambda t: t['id'] == task_id, tasks)


• if len(task) == 0:


• abort(404)


• return jsonify({'task': task[0]})



第二个函数有些意思。这里我们得到了 URL 中任务的 id，接着 Flask 把它转换成 函数中的 task_id 的参数。

我们用这个参数来搜索我们的任务数组。如果我们的数据库中不存在搜索的 id，我们将会返回一个类似 404 的错误，根据 HTTP 规范的意思是 “资源未找到”。

如果我们找到相应的任务，那么我们只需将它用 jsonify 打包成 JSON 格式并将其发送作为响应，就像我们以前那样处理整个任务集合。

调用 curl 请求的结果如下:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks/2


• HTTP/1.0 200 OK


• Content-Type: application/json


• Content-Length: 151


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:21:50 GMT



• {


• "task": {


• "description": "Need to find a good Python tutorial on the web",


• "done": false,


• "id": 2,


• "title": "Learn Python"


• }


• }


• $ curl -i http://localhost:5000/todo/api/v1.0/tasks/3


• HTTP/1.0 404 NOT FOUND


• Content-Type: text/html


• Content-Length: 238


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:21:52 GMT



• <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN">


• <title>404 Not Found</title>


• <h1>Not Found</h1>


• <p>The requested URL was not found on the server.</p><p>If you entered the URL manually please check your spelling and try again.</p>



当我们请求 id #2 的资源时候，我们获取到了，但是当我们请求 #3 的时候返回了 404 错误。有关错误奇怪的是返回的是 HTML 信息而不是 JSON，这是因为 Flask 按照默认方式生成 404 响应。由于这是一个 Web service 客户端希望我们总是以 JSON 格式回应，所以我们需要改善我们的 404 错误处理程序:

• from flask import [email protected](404)def not_found(error):


• return make_response(jsonify({'error': 'Not found'}), 404)



我们会得到一个友好的错误提示:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks/3


• HTTP/1.0 404 NOT FOUND


• Content-Type: application/json


• Content-Length: 26


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:36:54 GMT



• {


• "error": "Not found"


• }



接下来就是 POST 方法，我们用来在我们的任务数据库中插入一个新的任务:

• from flask import [email protected]('/todo/api/v1.0/tasks', methods=['POST'])def create_task():


• if not request.json or not 'title' in request.json:


• abort(400)


• task = {


• 'id': tasks[-1]['id'] + 1,


• 'title': request.json['title'],


• 'description': request.json.get('description', ""),


• 'done': False


• }


• tasks.append(task)


• return jsonify({'task': task}), 201



添加一个新的任务也是相当容易地。只有当请求以 JSON 格式形式，request.json 才会有请求的数据。如果没有数据，或者存在数据但是缺少 title 项，我们将会返回 400，这是表示请求无效。

接着我们会创建一个新的任务字典，使用最后一个任务的 id + 1 作为该任务的 id。我们允许 description 字段缺失，并且假设 done 字段设置成 False。

我们把新的任务添加到我们的任务数组中，并且把新添加的任务和状态 201 响应给客户端。

使用如下的 curl 命令来测试这个新的函数:

• $ curl -i -H "Content-Type: application/json" -X POST -d '{"title":"Read a book"}' http://localhost:5000/todo/api/v1.0/tasks


• HTTP/1.0 201 Created


• Content-Type: application/json


• Content-Length: 104


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:56:21 GMT



• {


• "task": {


• "description": "",


• "done": false,


• "id": 3,


• "title": "Read a book"


• }


• }



注意：如果你在 Windows 上并且运行 Cygwin 版本的 curl，上面的命令不会有任何问题。然而，如果你使用原生的 curl，命令会有些不同:

• curl -i -H "Content-Type: application/json" -X POST -d "{"""title""":"""Read a book"""}" http://localhost:5000/todo/api/v1.0/tasks



当然在完成这个请求后，我们可以得到任务的更新列表:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks


• HTTP/1.0 200 OK


• Content-Type: application/json


• Content-Length: 423


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:57:44 GMT



• {


• "tasks": [


• {


• "description": "Milk, Cheese, Pizza, Fruit, Tylenol",


• "done": false,


• "id": 1,


• "title": "Buy groceries"


• },


• {


• "description": "Need to find a good Python tutorial on the web",


• "done": false,


• "id": 2,


• "title": "Learn Python"


• },


• {


• "description": "",


• "done": false,


• "id": 3,


• "title": "Read a book"


• }


• ]


• }



剩下的两个函数如下所示:

• @app.route('/todo/api/v1.0/tasks/<int:task_id>', methods=['PUT'])def update_task(task_id):


• task = filter(lambda t: t['id'] == task_id, tasks)


• if len(task) == 0:


• abort(404)


• if not request.json:


• abort(400)


• if 'title' in request.json and type(request.json['title']) != unicode:


• abort(400)


• if 'description' in request.json and type(request.json['description']) is not unicode:


• abort(400)
• 
  

‘肆’ 想用python给安卓搭后台，安卓的post传文件请求怎么让python接收

python中对于post等的报文解析
在本次的分析中，相对于原来的原生socket的实现，在这里使用了封装更加方便地wsgiref模块，具体模块地API开发文档可见[wsgirefAPI开发文档]，在这里只是介绍自己用到地一些功能。
import wsgiref
from wsgiref.simple_server import make_server
from wsgiref.util import setup_testing_defaults
from urllib import parse
def application(environ, start_response):
# environ是当前请求的所有数据，包括Header和URL，body
#实现文档地报头
start_response('200 OK', [('Content-Type', '#text/html')])
return [] #需要返回数据，以byte地形式
if __name__ == "__main__":
port = 6088 #端口号
httpd = make_server("0.0.0.0", port, application)
print( "serving http on port {0}...".format(str(port)))
httpd.serve_forever()

‘伍’ python怎么做接口测试工具

之前使用过urllib和urllib2做接口测试，在做的途中，感觉使用urllib2直接进行的get，post 请求并没有那么好用。作为测试人员，所需要的测试工具应当以方便为第一要务，测试的耗时只要是真正的无人值守，耗时不是太久的都可以接受。所以，本人又尝试了一个新的包：requests。

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 ！推荐一篇文章，上面有该包的详细说明传送门，以下只会写到我用到的部分，所以更多的了解需要自己去搜资料

好了，我们开始吧！！

接口测试中重要的部分：

1.get和post方法

2.用到的参数

3.请求头

4.cookie

5.日志输出

6.如何调试你的程序--借助fiddler

按照以上的顺序，我将一一说明我的搞法，因为编码能力有限，所以可能看着很low

一、get和post

requests包很好的实现了post和get方法，示例：

1 import requests2 response_get = requests.get(url, data, headers, cookies)3 response_post = requests.post(url, data, headers, cookies)

其他的访问方式如put，head等等，用法几乎都是如此，因为没用到，所以省略

现在一般的接口返回值有页面和json俩种，按照需求，可以分别使用response.text或者response.content获取，text获取的是unicode类型的返回值，而content返回值是str类型，所以我一般使用content来获取返回值，因为这样获取的返回值可以直接使用正则或者in的方式来验证返回值结果是否正确。

我自己为了实现接口的自动访问，所以又在requests上面加了一层封装，就像下面这样：

三、cookie

一款产品的接口测试中必定会使用登录状态，需要使用cookie实现，之前写过使用cookiejar获取cookie，requests中获取cookie的方法更为简单，不过首先你得知道是哪个接口set了cookie，不过一般是登录啦。登录接口访问之后set了cookie，那好，就去调用登录接口，然后拿到搞回来的cookie:

# 只需要这样！！login = requests.post(login_url, data=login_data, headers=login_header)
cookie = login.cookies

这个cookie就是登录状态了，拿着随便用，需要登录的就直接cookies=cookies

四、日志输出

这里注意看第二步中接口数据，有接口描述，也有接口是啥，第一步中又把content做成返回值了，具体拼接方式自己想吧，东西全有了，想写啥写啥，还可以加上获取本地时间的api获取接口运行时间，log文件该长啥样是门学问，这里就不献丑了。

五、借用fiddler调试你的脚本

requests允许使用代理访问，这有啥用，真有！fiddler是一款截包改包的工具，而且通过扩展可以进行请求间的比对，这样让你的程序访问的请求和真正正确的请求作对比，为啥我的程序访问出错？是不是缺了请求头？参数是不是丢了？cookie是不是少了？很容易看出来。写法如下：

proxies = { "http": "http://127.0.0.1:8888", "https": "http://127.0.0.1:8888"}
requests.post(url, proxies=proxies)

这样就可以走代理了，除fiddler以外还有charles和burp suite可以使用，具体看个人喜好吧。

‘陆’ python的urllib如何POST传递数组参数

1.如果机器上安装了 Python 的 setuptools，可以通过下面的命令来安装 poster：
easy_install poster

# test_client.pyfrom poster.encode import multipart_encodefrom poster.streaminghttp import register_openersimport urllib2# 在 urllib2 上注册 http 流处理句柄register_openers()# 开始对文件 "DSC0001.jpg" 的 multiart/form-data 编码# "image1" 是参数的名字，一般通过 HTML 中的 <input> 标签的 name 参数设置# headers 包含必须的 Content-Type 和 Content-Length# datagen 是一个生成器对象，返回编码过后的参数datagen, headers = multipart_encode({"image1": open("DSC0001.jpg", "rb")})# 创建请求对象request = urllib2.Request("http://localhost:5000/upload_image", datagen, headers)# 实际执行请求并取得返回print urllib2.urlopen(request).read()
很简单，文件就上传完成了。
2.其中那个 register_openers() 相当于以下操作：
from poster.encode import multipart_encodefrom poster.streaminghttp import StreamingHTTPHandler, StreamingHTTPRedirectHandler, StreamingHTTPSHandlerhandlers = [StreamingHTTPHandler, StreamingHTTPRedirectHandler, StreamingHTTPSHandler]opener = urllib2.build_opener(*handlers)urllib2.install_opener(opener)

3.另外，poster 也可以携带 cookie，比如：
opener = poster.streaminghttp.register_openers()opener.add_handler(urllib2.HTTPCookieProcessor(cookielib.CookieJar()))params = {'file': open("test.txt", "rb"), 'name': 'upload test'}datagen, headers = poster.encode.multipart_encode(params)request = urllib2.Request(upload_url, datagen, headers)result = urllib2.urlopen(request)

‘柒’ Python 3.6发起post请求，对返回的数据进行断言

不需要。返回数据是因为交互需要牵手。了解状态，如果ajax后您的回调不需要数据的话，就不用等他返回数据，api返回空就行了

‘捌’ python怎么使用api接口测试

在开发中，需要测试web-api的接口 spring mvc 使用单元测试非常方便，但是，受不了单元测试的启动速度。用python写了一个小脚本，用于测试接口，
测试脚本配置文件
api.yaml
server:
url: http://127.0.0.1:9000/ihome/

api:
name:
#api-v2-neighbor-list.yaml
- api/v2/neighbor/list

api-v2-neighbor-list.yaml
接口配置文件
method:
post
data:
#post 的 body 的json
postSid: a1
userSid: u2

python 脚本
import requests, json, yaml, sys

def apiTest(apiName):
f = open("api.yaml")
obj = yaml.safe_load(f)
f.close()

if apiName != "":
runApi(obj["server"]["url"] + apiName, apiName.replace("/", "-") + ".yaml")
return;

apis = obj['api']["name"]
for api in apis:
runApi(obj["server"]["url"] + api, api.replace("/", "-") + ".yaml")

def runApi(url, dataFile):
headers = {'Content-Type' : 'application/json; charset=UTF-8',
'X-Requested-With' : 'XMLHttpRequest',
'Connection' : 'keep-alive',
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'
}

‘玖’ 使用python做接口自动化测试容易吗

为什么要做接口自动化测试?
在当前互联网产品迭代频繁的背景下，回归测试的时间越来越少，很难在每个迭代都对所有功能做完整回归。但接口自动化测试因其实现简单、维护成本低，容易提高覆盖率等特点，越来越受重视。
为什么要自己写框架呢?
使用Postman调试通过过直接可以获取接口测试的基本代码，结合使用requets + unittest很容易实现接口自动化测试的封装，而且requests的api已经非常人性化，非常简单，但通过封装以后（特别是针对公司内特定接口），可以进一步提高脚本编写效率。
一个现有的简单接口例子
下面使用requests + unittest测试一个查询接口
接口信息如下
请求信息:
Method：POST
URL：api/match/image/getjson
Request：
{
"category": "image",
"offset": "0",
"limit": "30",
"sourceId": "0",
"metaTitle": "",
"metaId": "0",
"classify": "unclassify",
"startTime": "",
"endTime": "",
"createStart": "",
"createEnd": "",
"sourceType": "",
"isTracking": "true",
"metaGroup": "",
"companyId": "0",
"lastDays": "1",
"author": ""
}

Response示例：
{
"timestamp" : xxx,
"errorMsg" : "",
"data" : {
"config" : xxx
}

Postman测试方法见截图：

测试思路
1.获取Postman原始脚本
2.使用requests库模拟发送HTTP请求**
3.对原始脚本进行基础改造**
4.使用python标准库里unittest写测试case**
原始脚本实现
未优化
该代码只是简单的一次调用，而且返回的结果太多，很多返回信息暂时没用，示例代码如下
import requests

url = "http://cpright.xinhua-news.cn/api/match/image/getjson"

querystring = {"category":"image","offset":"0","limit":"30","sourceId":"0","metaTitle":"","metaId":"0","classify":"unclassify","startTime":"","endTime":"","createStart":"","createEnd":"","sourceType":"","isTracking":"true","metaGroup":"","companyId":"0","lastDays":"1","author":""}

headers = { 'cache-control': "no-cache", 'postman-token': "e97a99b0-424b-b2a5-7602-22cd50223c15"
}

response = requests.request("POST", url, headers=headers, params=querystring)

print(response.text)

优化 第一版
调整代码结构，输出结果Json出来，获取需要验证的response.status_code，以及获取结果校验需要用到的results['total']
#!/usr/bin/env python#coding: utf-8'''
unittest merchant backgroud interface
@author: zhang_jin
@version: 1.0
@see:http://www.python-requests.org/en/master/
'''import unittestimport jsonimport tracebackimport requests

url = "http://cpright.xinhua-news.cn/api/match/image/getjson"

querystring = { "category": "image", "offset": "0", "limit": "30", "sourceId": "0", "metaTitle": "", "metaId": "0", "classify": "unclassify", "startTime": "", "endTime": "", "createStart": "", "createEnd": "", "sourceType": "", "isTracking": "true", "metaGroup": "", "companyId": "0", "lastDays": "1", "author": ""
}

headers = { 'cache-control': "no-cache", 'postman-token': "e97a99b0-424b-b2a5-7602-22cd50223c15"
}#Post接口调用
response = requests.request("POST", url, headers=headers, params=querystring)#对返回结果进行转义成json串
results = json.loads(response.text)#获取http请求的status_codeprint "Http code:",response.status_code#获取结果中的total的值print results['total']#print(response.text)

优化 第二版
接口调用异常处理，增加try，except处理，对于返回response.status_code，返回200进行结果比对，不是200数据异常信息。
#!/usr/bin/env python#coding: utf-8'''
unittest merchant backgroud interface
@author: zhang_jin
@version: 1.0
@see:http://www.python-requests.org/en/master/
'''import jsonimport tracebackimport requests

url = "http://cpright.xinhua-news.cn/api/match/image/getjson"

querystring = { "category": "image", "offset": "0", "limit": "30", "sourceId": "0", "metaTitle": "", "metaId": "0", "classify": "unclassify", "startTime": "", "endTime": "", "createStart": "", "createEnd": "", "sourceType": "", "isTracking": "true", "metaGroup": "", "companyId": "0", "lastDays": "1", "author": ""
}

headers = { 'cache-control': "no-cache", 'postman-token': "e97a99b0-424b-b2a5-7602-22cd50223c15"
}try: #Post接口调用
response = requests.request("POST", url, headers=headers, params=querystring) #对http返回值进行判断，对于200做基本校验 if response.status_code == 200:
results = json.loads(response.text) if results['total'] == 191: print "Success" else: print "Fail" print results['total'] else: #对于http返回非200的code，输出相应的code raise Exception("http error info:%s" %response.status_code)except:
traceback.print_exc()

‘拾’ 如何用python写出爬虫

先检查是否有API

API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于网站的控制中，网站可以用来收费，可以用来限制访问上限等。整体来看，如果数据采集的需求并不是很独特，那么有API则应优先采用调用API的方式。

数据结构分析和数据存储

爬虫需求要十分清晰，具体表现为需要哪些字段，这些字段可以是网页上现有的，也可以是根据网页上现有的字段进一步计算的，这些字段如何构建表，多张表如何连接等。值得一提的是，确定字段环节，不要只看少量的网页，因为单个网页可以缺少别的同类网页的字段，这既有可能是由于网站的问题，也可能是用户行为的差异，只有多观察一些网页才能综合抽象出具有普适性的关键字段——这并不是几分钟看几个网页就可以决定的简单事情，如果遇上了那种臃肿、混乱的网站，可能坑非常多。

对于大规模爬虫，除了本身要采集的数据外，其他重要的中间数据（比如页面Id或者url）也建议存储下来，这样可以不必每次重新爬取id。

数据库并没有固定的选择，本质仍是将Python里的数据写到库里，可以选择关系型数据库MySQL等，也可以选择非关系型数据库MongoDB等；对于普通的结构化数据一般存在关系型数据库即可。sqlalchemy是一个成熟好用的数据库连接框架，其引擎可与Pandas配套使用，把数据处理和数据存储连接起来，一气呵成。

数据流分析

对于要批量爬取的网页，往上一层，看它的入口在哪里；这个是根据采集范围来确定入口，比如若只想爬一个地区的数据，那从该地区的主页切入即可；但若想爬全国数据，则应更往上一层，从全国的入口切入。一般的网站网页都以树状结构为主，找到切入点作为根节点一层层往里进入即可。

值得注意的一点是，一般网站都不会直接把全量的数据做成列表给你一页页往下翻直到遍历完数据，比如链家上面很清楚地写着有24587套二手房，但是它只给100页，每页30个，如果直接这么切入只能访问3000个，远远低于真实数据量；因此先切片，再整合的数据思维可以获得更大的数据量。显然100页是系统设定，只要超过300个就只显示100页，因此可以通过其他的筛选条件不断细分，只到筛选结果小于等于300页就表示该条件下没有缺漏；最后把各种条件下的筛选结果集合在一起，就能够尽可能地还原真实数据量。

明确了大规模爬虫的数据流动机制，下一步就是针对单个网页进行解析，然后把这个模式复制到整体。对于单个网页，采用抓包工具可以查看它的请求方式，是get还是post，有没有提交表单，欲采集的数据是写入源代码里还是通过AJAX调用JSON数据。

同样的道理，不能只看一个页面，要观察多个页面，因为批量爬虫要弄清这些大量页面url以及参数的规律，以便可以自动构造；有的网站的url以及关键参数是加密的，这样就悲剧了，不能靠着明显的逻辑直接构造，这种情况下要批量爬虫，要么找到它加密的js代码，在爬虫代码上加入从明文到密码的加密过程；要么采用下文所述的模拟浏览器的方式。

数据采集

之前用R做爬虫，不要笑，R的确可以做爬虫工作；但在爬虫方面，Python显然优势更明显，受众更广，这得益于其成熟的爬虫框架，以及其他的在计算机系统上更好的性能。scrapy是一个成熟的爬虫框架，直接往里套用就好，比较适合新手学习；requests是一个比原生的urllib包更简洁强大的包，适合作定制化的爬虫功能。requests主要提供一个基本访问功能，把网页的源代码给download下来。一般而言，只要加上跟浏览器同样的Requests Headers参数，就可以正常访问，status_code为200，并成功得到网页源代码；但是也有某些反爬虫较为严格的网站，这么直接访问会被禁止；或者说status为200也不会返回正常的网页源码，而是要求写验证码的js脚本等。

下载到了源码之后，如果数据就在源码中，这种情况是最简单的，这就表示已经成功获取到了数据，剩下的无非就是数据提取、清洗、入库。但若网页上有，然而源代码里没有的，就表示数据写在其他地方，一般而言是通过AJAX异步加载JSON数据，从XHR中找即可找到；如果这样还找不到，那就需要去解析js脚本了。

解析工具

源码下载后，就是解析数据了，常用的有两种方法，一种是用BeautifulSoup对树状HTML进行解析，另一种是通过正则表达式从文本中抽取数据。

BeautifulSoup比较简单，支持Xpath和CSSSelector两种途径，而且像Chrome这类浏览器一般都已经把各个结点的Xpath或者CSSSelector标记好了，直接复制即可。以CSSSelector为例，可以选择tag、id、class等多种方式进行定位选择，如果有id建议选id，因为根据HTML语法，一个id只能绑定一个标签。

正则表达式很强大，但构造起来有点复杂，需要专门去学习。因为下载下来的源码格式就是字符串，所以正则表达式可以大显身手，而且处理速度很快。

对于HTML结构固定，即同样的字段处tag、id和class名称都相同，采用BeautifulSoup解析是一种简单高效的方案，但有的网站混乱，同样的数据在不同页面间HTML结构不同，这种情况下BeautifulSoup就不太好使；如果数据本身格式固定，则用正则表达式更方便。比如以下的例子，这两个都是深圳地区某个地方的经度，但一个页面的class是long，一个页面的class是longitude，根据class来选择就没办法同时满足2个，但只要注意到深圳地区的经度都是介于113到114之间的浮点数，就可以通过正则表达式"11[3-4].\d+"来使两个都满足。

数据整理

一般而言，爬下来的原始数据都不是清洁的，所以在入库前要先整理；由于大部分都是字符串，所以主要也就是字符串的处理方式了。

字符串自带的方法可以满足大部分简单的处理需求，比如strip可以去掉首尾不需要的字符或者换行符等，replace可以将指定部分替换成需要的部分，split可以在指定部分分割然后截取一部分。

如果字符串处理的需求太复杂以致常规的字符串处理方法不好解决，那就要请出正则表达式这个大杀器。

Pandas是Python中常用的数据处理模块，虽然作为一个从R转过来的人一直觉得这个模仿R的包实在是太难用了。Pandas不仅可以进行向量化处理、筛选、分组、计算，还能够整合成DataFrame，将采集的数据整合成一张表，呈现最终的存储效果。

写入数据库

如果只是中小规模的爬虫，可以把最后的爬虫结果汇合成一张表，最后导出成一张表格以便后续使用；但对于表数量多、单张表容量大的大规模爬虫，再导出成一堆零散的表就不合适了，肯定还是要放在数据库中，既方便存储，也方便进一步整理。

写入数据库有两种方法，一种是通过Pandas的DataFrame自带的to_sql方法，好处是自动建表，对于对表结构没有严格要求的情况下可以采用这种方式，不过值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否则报错，虽然这个认为不太合理；另一种是利用数据库引擎来执行SQL语句，这种情况下要先自己建表，虽然多了一步，但是表结构完全是自己控制之下。Pandas与SQL都可以用来建表、整理数据，结合起来使用效率更高。