python寫postapi

『壹』 python怎麼獲取需要登陸的介面的數據

使用Python做爬蟲是很廣泛的應用場景，那就涉及到了Python是如何獲取介面數據的呢？Python擁有很多很強大的類庫，使用urllib即可輕松獲取介面返回的數據。
...展開
工具原料Python開發工具url介面，用於請求獲取數據
方法/步驟分步閱讀
1
/4
首先新建一個py文件，導入所需的類庫，urllib，json等。
2
/4
聲明api的url地址，和構造請求頭。
3
/4
使用urlopen方法發起請求並獲取返回的數據。
4
/4
最後就是對返回字元串的處理了。比如字元串的截取，字元串的轉換成json對象，轉換成欄位，再獲取對應key的值。
使用Python3實現HTTP get方法。使用聚合數據的應用編程介面，你可以調用小發貓AI寫作API。這是一個免費的應用程序介面，先上代碼，詳細說明寫在後面：

1
2
3
4
5
6
7
8
9
10
11
12
import requests
import time
import re
se = requests.session()

if __name__ == '__main__':
Post_url = "http://api-ok.xiaofamao.com/api.php?json=0&v=1&key=xxxxxx" #自己想辦法弄到key
Post_data = {
'wenzhang': '床前明月光，疑是地上霜。'
}
Text = se.post(Post_url, data=Post_data).text.replace("'", '"').replace('/ ', '/')
print(Text)

首先，什麼是原料葯？應用編程介面的全稱也稱為應用編程介面。它簡稱為應用編程介面。當我第一次接觸介面調用時，我不知道寫什麼，因為我看了整個項目。這個項目是由龍卷風寫的。看了半天龍卷風後，我發現我走錯了方向。我只是直接看著界面，因為沒有人告訴我項目的整個過程。我不得不強迫自己去看它。我所要做的就是找到程序的主入口，然後根據函數一步一步地調用它。
當我編寫介面時，因為我必須配合後台編寫和瀏覽器訪問，每次訪問只需要傳入相應的參數來調用相應的介面。界面可以由他人編寫，也可以由合作公司提供。當然，合作公司提供的不是免費的。現在基本上，如果我不訪問它一次，它只收費幾美分。當你聽到這些，不要低估這幾分。有時候如果你打了幾百萬次電話，會花很多錢。有些人認為，我們不能按月付款嗎？對不起，我不知道。總之，我們一個接一個地計算，因為第一次，我認為我買的那些直接買了我們想要的所有數據，把它們保存在本地資料庫中，當我使用它們時，直接從我自己的資料庫中轉移它們。後來，我發現我想得太多了，偽原創API。
該介面調用由python的請求庫訪問，它基本上是一個get或post請求。有些介面是加密的，然後我們必須用另一方提供給我們的公鑰加密或解密，然後用相應的參數訪問。我們想要的數據基本上是在請求後返回的結果中以json格式解析的。因此，在請求之後，我們可以用請求提供的json函數來解析它，然後提取數據以一次訪問一個數據。
沒錯，介面調用就是這么簡單，但是有了後台編寫，我才發現請求庫現在有多強大，只要它是http或https，我很高興我在一周內讀完了請求和bs4，我真的不打電話給爬蟲工程師，如果我是爬蟲的時候不學習請求，你能用scrapy寫4=dead來寫它嗎？Urllib的單詞基本上被刪除了。如果你有要求，為什麼要用這個？

『貳』 如何通過python調用新浪微博的API

1.下載SDK

使用python調用API的話，首先要去下一個Python的SDK，sinaweibopy

連接地址在此： http://michaelliao.github.com/sinaweibopy/

可以使用pip很快的導入，github連接里的wiki也有入門的使用方法，很容易看懂。

2.理解新浪微博的授權機制

在調用API之前，首先要搞懂什麼叫OAuth 2，即新浪微博的授權機制，

連接在此： http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E

3.在新浪微博注冊應用

每個人都可以通過新浪微博開發者平台注冊自己的應用，我注冊的是站內應用。注冊後會為每個應用分配唯一的app key 和 app secret,這在上文提到的授權機制中需要用到，相當與每個應用的標示吧。

至此，我們可以嘗試寫代碼調用新浪微博的API啦。

4.簡單的調用API實例

參考了往上很多資料和文檔，寫了一個簡單的調用過程。

# _*_ coding: utf-8 _*_
from weibo import APIClient
import webbrowser
APP_KEY = 」
APP_SECRET = 」
CALLBACK_URL = 」
#這個是設置回調地址，必須與那個」高級信息「里的一致
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
url = client.get_authorize_url()
# TODO: redirect to url
#print url
webbrowser.open_new(url)
# 獲取URL參數code:
code = 『『
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
r = client.request_access_token(code)
access_token = r.access_token # 新浪返回的token，類似abc123xyz456
expires_in = r.expires_in # token過期的UNIX時間：http://zh.wikipedia.org/wiki/UNIX%E6%97%B6%E9%97%B4
# TODO: 在此可保存access token
client.set_access_token(access_token, expires_in)

print client.friendships.friends.bilateral.ids.get(uid = 12345678)

通過以上的代碼，我實現了調用相互關注API的調用，即查找與某個id的用戶相互關注的人的列表。

其中，APP_KEY和APP_SECRET就是前文中分配給每個應用的信息，回調地址在每個應用的高級信息中可以看到，需要自己設置，不過隨便設置一下就好

比較惡心的是code的獲取，我一開始看sinaweibopy的文檔的時候也沒弄懂是什麼意思，如上面的代碼所示，url得到的是一個授權的網址，我們通過

webbrowser.open_new(url)
這行代碼打開瀏覽器跳轉到授權的界面，然後觀察所在界面的網址，會顯示大概如下一樣的格式：

http://apps.weibo.com/sayarywei?code=

看到了嗎？
問號後面有一個code=……的一個東西，把等號後面的字元串拷貝下來賦給code就可以了，但是每次運行程序是code不是一成不變的，也就是說每次都
要有這么一個手動獲取的過程，我覺得很麻煩，以後自己再研究一下，實現自動獲取code就好了。如果能有哪位大神告訴我，感激不盡~

好了，得到正確的code之後就可以完成授權認證，也就可以調用微博的API啦，至於如何在Python下調用，我拷貝一下sinaweibopy上的介紹：

首先查看新浪微博API文檔，例如：

API：statuses/user_timeline

請求格式：GET

請求參數：

source：string，採用OAuth授權方式不需要此參數，其他授權方式為必填參數，數值為應用的AppKey?。

access_token：string，採用OAuth授權方式為必填參數，其他授權方式不需要此參數，OAuth授權後獲得。

uid：int64，需要查詢的用戶ID。

screen_name：string，需要查詢的用戶昵稱。

（其它可選參數略）

調用方法：將API的「/」變為「.」，根據請求格式是GET或POST，調用get ()或post()並傳入關鍵字參數，但不包括source和access_token參數：

r = client.statuses.user_timeline.get(uid=123456)
for st in r.statuses:
print st.text

若為POST調用，則示例代碼如下：

r = client.statuses.update.post(status=u'測試OAuth 2.0發微博')

若需要上傳文件，傳入file-like object參數，示例代碼如下：

f = open('/Users/michael/test.png', 'rb')
r = client.statuses.upload.post(status=u'測試OAuth 2.0帶圖片發微博', pic=f)
f.close() # APIClient不會自動關閉文件，需要手動關閉

請注意：上傳的文件必須是file-like object，不能是str，因為無法區分一個str是文件還是欄位。可以通過StringIO把一個str包裝成file-like object。

『叄』 如何使用python 開發一個api

使用 Python 和 Flask 設計 RESTful API

近些年來 REST (REpresentational State Transfer) 已經變成了 web services 和 web APIs 的標配。

在本文中我將向你展示如何簡單地使用 Python 和 Flask 框架來創建一個 RESTful 的 web service。

什麼是 REST？

六條設計規范定義了一個 REST 系統的特點:

• 客戶端-伺服器: 客戶端和伺服器之間隔離，伺服器提供服務，客戶端進行消費。

• 無狀態: 從客戶端到伺服器的每個請求都必須包含理解請求所必需的信息。換句話說， 伺服器不會存儲客戶端上一次請求的信息用來給下一次使用。

• 可緩存: 伺服器必須明示客戶端請求能否緩存。

• 分層系統: 客戶端和伺服器之間的通信應該以一種標準的方式，就是中間層代替伺服器做出響應的時候，客戶端不需要做任何變動。

• 統一的介面: 伺服器和客戶端的通信方法必須是統一的。

• 按需編碼: 伺服器可以提供可執行代碼或腳本，為客戶端在它們的環境中執行。這個約束是唯一一個是可選的。

什麼是一個 RESTful 的 web service？

REST 架構的最初目的是適應萬維網的 HTTP 協議。

RESTful web services 概念的核心就是「資源」。 資源可以用URI來表示。客戶端使用 HTTP 協議定義的方法來發送請求到這些 URIs，當然可能會導致這些被訪問的」資源「狀態的改變。

HTTP 標準的方法有如下:

• ========== ===================== ==================================


• HTTP 方法 行為 示例


• ========== ===================== ==================================


• GET 獲取資源的信息 http://example.com/api/orders


• GET 獲取某個特定資源的信息 http://example.com/api/orders/123


• POST 創建新資源 http://example.com/api/orders


• PUT 更新資源 http://example.com/api/orders/123


• DELETE 刪除資源 http://example.com/api/orders/123


• ========== ====================== ==================================



REST 設計不需要特定的數據格式。在請求中數據可以以JSON形式, 或者有時候作為 url 中查詢參數項。

設計一個簡單的 web service

堅持 REST 的准則設計一個 web service 或者 API 的任務就變成一個標識資源被展示出來以及它們是怎樣受不同的請求方法影響的練習。

比如說，我們要編寫一個待辦事項應用程序而且我們想要為它設計一個 web service。要做的第一件事情就是決定用什麼樣的根 URL 來訪問該服務。例如，我們可以通過這個來訪問:

http://[hostname]/todo/api/v1.0/

在這里我已經決定在 URL 中包含應用的名稱以及 API 的版本號。在 URL 中包含應用名稱有助於提供一個命名空間以便區分同一系統上的其它服務。在 URL 中包含版本號能夠幫助以後的更新，如果新版本中存在新的和潛在不兼容的功能，可以不影響依賴於較舊的功能的應用程序。

下一步驟就是選擇將由該服務暴露(展示)的資源。這是一個十分簡單地應用，我們只有任務，因此在我們待辦事項中唯一的資源就是任務。

我們的任務資源將要使用 HTTP 方法如下:

• ========== =============================================== =============================


• HTTP 方法 URL 動作


• ========== =============================================== ==============================


• GET http://[hostname]/todo/api/v1.0/tasks 檢索任務列表


• GET http://[hostname]/todo/api/v1.0/tasks/[task_id] 檢索某個任務


• POST http://[hostname]/todo/api/v1.0/tasks 創建新任務


• PUT http://[hostname]/todo/api/v1.0/tasks/[task_id] 更新任務


• DELETE http://[hostname]/todo/api/v1.0/tasks/[task_id] 刪除任務


• ========== ================================================ =============================



我們定義的任務有如下一些屬性:

• id: 任務的唯一標識符。數字類型。

• title: 簡短的任務描述。字元串類型。

• description: 具體的任務描述。文本類型。

• done: 任務完成的狀態。布爾值。

目前為止關於我們的 web service 的設計基本完成。剩下的事情就是實現它！

Flask 框架的簡介

如果你讀過Flask Mega-Tutorial 系列，就會知道 Flask 是一個簡單卻十分強大的 Python web 框架。

在我們深入研究 web services 的細節之前，讓我們回顧一下一個普通的 Flask Web 應用程序的結構。

我會首先假設你知道 Python 在你的平台上工作的基本知識。 我將講解的例子是工作在一個類 Unix 操作系統。簡而言之，這意味著它們能工作在 Linux，Mac OS X 和 Windows(如果你使用Cygwin)。 如果你使用 Windows 上原生的 Python 版本的話，命令會有所不同。

讓我們開始在一個虛擬環境上安裝 Flask。如果你的系統上沒有 virtualenv，你可以從https://pypi.python.org/pypi/virtualenv上下載:

• $ mkdir todo-api


• $ cd todo-api


• $ virtualenv flask


• New python executable in flask/bin/python


• Installing setuptools............................done.


• Installing pip...................done.


• $ flask/bin/pip install flask



既然已經安裝了 Flask，現在開始創建一個簡單地網頁應用，我們把它放在一個叫 app.py 的文件中:

• #!flask/bin/pythonfrom flask import Flaskapp = Flask(__name__)@app.route('/')def index():


• return "Hello, World!"if __name__ == '__main__':


• app.run(debug=True)



為了運行這個程序我們必須執行 app.py:

• $ chmod a+x app.py


• $ ./app.py


• * Running on http://127.0.0.1:5000/


• * Restarting with reloader



現在你可以啟動你的網頁瀏覽器，輸入http://localhost:5000看看這個小應用程序的效果。

簡單吧？現在我們將這個應用程序轉換成我們的 RESTful service！

使用 Python 和 Flask 實現 RESTful services

使用 Flask 構建 web services 是十分簡單地，比我在Mega-Tutorial中構建的完整的服務端的應用程序要簡單地多。

在 Flask 中有許多擴展來幫助我們構建 RESTful services，但是在我看來這個任務十分簡單，沒有必要使用 Flask 擴展。

我們 web service 的客戶端需要添加、刪除以及修改任務的服務，因此顯然我們需要一種方式來存儲任務。最直接的方式就是建立一個小型的資料庫，但是資料庫並不是本文的主體。學習在 Flask 中使用合適的資料庫，我強烈建議閱讀Mega-Tutorial。

這里我們直接把任務列表存儲在內存中，因此這些任務列表只會在 web 伺服器運行中工作，在結束的時候就失效。 這種方式只是適用我們自己開發的 web 伺服器，不適用於生產環境的 web 伺服器， 這種情況一個合適的資料庫的搭建是必須的。

我們現在來實現 web service 的第一個入口:

• #!flask/bin/pythonfrom flask import Flask, jsonifyapp = Flask(__name__)tasks = [


• {


• 'id': 1,


• 'title': u'Buy groceries',


• 'description': u'Milk, Cheese, Pizza, Fruit, Tylenol',


• 'done': False


• },


• {


• 'id': 2,


• 'title': u'Learn Python',


• 'description': u'Need to find a good Python tutorial on the web',


• 'done': False


• }]@app.route('/todo/api/v1.0/tasks', methods=['GET'])def get_tasks():


• return jsonify({'tasks': tasks})if __name__ == '__main__':


• app.run(debug=True)



正如你所見，沒有多大的變化。我們創建一個任務的內存資料庫，這里無非就是一個字典和數組。數組中的每一個元素都具有上述定義的任務的屬性。

取代了首頁，我們現在擁有一個 get_tasks 的函數，訪問的 URI 為 /todo/api/v1.0/tasks，並且只允許 GET 的 HTTP 方法。

這個函數的響應不是文本，我們使用 JSON 數據格式來響應，Flask 的 jsonify 函數從我們的數據結構中生成。

使用網頁瀏覽器來測試我們的 web service 不是一個最好的注意，因為網頁瀏覽器上不能輕易地模擬所有的 HTTP 請求的方法。相反，我們會使用 curl。如果你還沒有安裝 curl 的話，請立即安裝它。

通過執行 app.py，啟動 web service。接著打開一個新的控制台窗口，運行以下命令:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks


• HTTP/1.0 200 OK


• Content-Type: application/json


• Content-Length: 294


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 04:53:53 GMT



• {


• "tasks": [


• {


• "description": "Milk, Cheese, Pizza, Fruit, Tylenol",


• "done": false,


• "id": 1,


• "title": "Buy groceries"


• },


• {


• "description": "Need to find a good Python tutorial on the web",


• "done": false,


• "id": 2,


• "title": "Learn Python"


• }


• ]


• }



我們已經成功地調用我們的 RESTful service 的一個函數！

現在我們開始編寫 GET 方法請求我們的任務資源的第二個版本。這是一個用來返回單獨一個任務的函數:

• from flask import [email protected]('/todo/api/v1.0/tasks/<int:task_id>', methods=['GET'])def get_task(task_id):


• task = filter(lambda t: t['id'] == task_id, tasks)


• if len(task) == 0:


• abort(404)


• return jsonify({'task': task[0]})



第二個函數有些意思。這里我們得到了 URL 中任務的 id，接著 Flask 把它轉換成 函數中的 task_id 的參數。

我們用這個參數來搜索我們的任務數組。如果我們的資料庫中不存在搜索的 id，我們將會返回一個類似 404 的錯誤，根據 HTTP 規范的意思是 「資源未找到」。

如果我們找到相應的任務，那麼我們只需將它用 jsonify 打包成 JSON 格式並將其發送作為響應，就像我們以前那樣處理整個任務集合。

調用 curl 請求的結果如下:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks/2


• HTTP/1.0 200 OK


• Content-Type: application/json


• Content-Length: 151


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:21:50 GMT



• {


• "task": {


• "description": "Need to find a good Python tutorial on the web",


• "done": false,


• "id": 2,


• "title": "Learn Python"


• }


• }


• $ curl -i http://localhost:5000/todo/api/v1.0/tasks/3


• HTTP/1.0 404 NOT FOUND


• Content-Type: text/html


• Content-Length: 238


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:21:52 GMT



• <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN">


• <title>404 Not Found</title>


• <h1>Not Found</h1>


• <p>The requested URL was not found on the server.</p><p>If you entered the URL manually please check your spelling and try again.</p>



當我們請求 id #2 的資源時候，我們獲取到了，但是當我們請求 #3 的時候返回了 404 錯誤。有關錯誤奇怪的是返回的是 HTML 信息而不是 JSON，這是因為 Flask 按照默認方式生成 404 響應。由於這是一個 Web service 客戶端希望我們總是以 JSON 格式回應，所以我們需要改善我們的 404 錯誤處理程序:

• from flask import [email protected](404)def not_found(error):


• return make_response(jsonify({'error': 'Not found'}), 404)



我們會得到一個友好的錯誤提示:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks/3


• HTTP/1.0 404 NOT FOUND


• Content-Type: application/json


• Content-Length: 26


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:36:54 GMT



• {


• "error": "Not found"


• }



接下來就是 POST 方法，我們用來在我們的任務資料庫中插入一個新的任務:

• from flask import [email protected]('/todo/api/v1.0/tasks', methods=['POST'])def create_task():


• if not request.json or not 'title' in request.json:


• abort(400)


• task = {


• 'id': tasks[-1]['id'] + 1,


• 'title': request.json['title'],


• 'description': request.json.get('description', ""),


• 'done': False


• }


• tasks.append(task)


• return jsonify({'task': task}), 201



添加一個新的任務也是相當容易地。只有當請求以 JSON 格式形式，request.json 才會有請求的數據。如果沒有數據，或者存在數據但是缺少 title 項，我們將會返回 400，這是表示請求無效。

接著我們會創建一個新的任務字典，使用最後一個任務的 id + 1 作為該任務的 id。我們允許 description 欄位缺失，並且假設 done 欄位設置成 False。

我們把新的任務添加到我們的任務數組中，並且把新添加的任務和狀態 201 響應給客戶端。

使用如下的 curl 命令來測試這個新的函數:

• $ curl -i -H "Content-Type: application/json" -X POST -d '{"title":"Read a book"}' http://localhost:5000/todo/api/v1.0/tasks


• HTTP/1.0 201 Created


• Content-Type: application/json


• Content-Length: 104


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:56:21 GMT



• {


• "task": {


• "description": "",


• "done": false,


• "id": 3,


• "title": "Read a book"


• }


• }



注意：如果你在 Windows 上並且運行 Cygwin 版本的 curl，上面的命令不會有任何問題。然而，如果你使用原生的 curl，命令會有些不同:

• curl -i -H "Content-Type: application/json" -X POST -d "{"""title""":"""Read a book"""}" http://localhost:5000/todo/api/v1.0/tasks



當然在完成這個請求後，我們可以得到任務的更新列表:

• $ curl -i http://localhost:5000/todo/api/v1.0/tasks


• HTTP/1.0 200 OK


• Content-Type: application/json


• Content-Length: 423


• Server: Werkzeug/0.8.3 Python/2.7.3


• Date: Mon, 20 May 2013 05:57:44 GMT



• {


• "tasks": [


• {


• "description": "Milk, Cheese, Pizza, Fruit, Tylenol",


• "done": false,


• "id": 1,


• "title": "Buy groceries"


• },


• {


• "description": "Need to find a good Python tutorial on the web",


• "done": false,


• "id": 2,


• "title": "Learn Python"


• },


• {


• "description": "",


• "done": false,


• "id": 3,


• "title": "Read a book"


• }


• ]


• }



剩下的兩個函數如下所示:

• @app.route('/todo/api/v1.0/tasks/<int:task_id>', methods=['PUT'])def update_task(task_id):


• task = filter(lambda t: t['id'] == task_id, tasks)


• if len(task) == 0:


• abort(404)


• if not request.json:


• abort(400)


• if 'title' in request.json and type(request.json['title']) != unicode:


• abort(400)


• if 'description' in request.json and type(request.json['description']) is not unicode:


• abort(400)
• 
  

『肆』 想用python給安卓搭後台，安卓的post傳文件請求怎麼讓python接收

python中對於post等的報文解析
在本次的分析中，相對於原來的原生socket的實現，在這里使用了封裝更加方便地wsgiref模塊，具體模塊地API開發文檔可見[wsgirefAPI開發文檔]，在這里只是介紹自己用到地一些功能。
import wsgiref
from wsgiref.simple_server import make_server
from wsgiref.util import setup_testing_defaults
from urllib import parse
def application(environ, start_response):
# environ是當前請求的所有數據，包括Header和URL，body
#實現文檔地報頭
start_response('200 OK', [('Content-Type', '#text/html')])
return [] #需要返回數據，以byte地形式
if __name__ == "__main__":
port = 6088 #埠號
httpd = make_server("0.0.0.0", port, application)
print( "serving http on port {0}...".format(str(port)))
httpd.serve_forever()

『伍』 python怎麼做介面測試工具

之前使用過urllib和urllib2做介面測試，在做的途中，感覺使用urllib2直接進行的get，post 請求並沒有那麼好用。作為測試人員，所需要的測試工具應當以方便為第一要務，測試的耗時只要是真正的無人值守，耗時不是太久的都可以接受。所以，本人又嘗試了一個新的包：requests。

Requests 是用Python語言編寫，基於 urllib，採用 Apache2 Licensed 開源協議的 HTTP 庫。它比 urllib 更加方便，可以節約我們大量的工作，完全滿足 HTTP 測試需求。Requests 的哲學是以 PEP 20 的習語為中心開發的，所以它比 urllib 更加 Pythoner。更重要的一點是它支持 Python3 ！推薦一篇文章，上面有該包的詳細說明傳送門，以下只會寫到我用到的部分，所以更多的了解需要自己去搜資料

好了，我們開始吧！！

介面測試中重要的部分：

1.get和post方法

2.用到的參數

3.請求頭

4.cookie

5.日誌輸出

6.如何調試你的程序--藉助fiddler

按照以上的順序，我將一一說明我的搞法，因為編碼能力有限，所以可能看著很low

一、get和post

requests包很好的實現了post和get方法，示例：

1 import requests2 response_get = requests.get(url, data, headers, cookies)3 response_post = requests.post(url, data, headers, cookies)

其他的訪問方式如put，head等等，用法幾乎都是如此，因為沒用到，所以省略

現在一般的介面返回值有頁面和json倆種，按照需求，可以分別使用response.text或者response.content獲取，text獲取的是unicode類型的返回值，而content返回值是str類型，所以我一般使用content來獲取返回值，因為這樣獲取的返回值可以直接使用正則或者in的方式來驗證返回值結果是否正確。

我自己為了實現介面的自動訪問，所以又在requests上面加了一層封裝，就像下面這樣：

三、cookie

一款產品的介面測試中必定會使用登錄狀態，需要使用cookie實現，之前寫過使用cookiejar獲取cookie，requests中獲取cookie的方法更為簡單，不過首先你得知道是哪個介面set了cookie，不過一般是登錄啦。登錄介面訪問之後set了cookie，那好，就去調用登錄介面，然後拿到搞回來的cookie:

# 只需要這樣！！login = requests.post(login_url, data=login_data, headers=login_header)
cookie = login.cookies

這個cookie就是登錄狀態了，拿著隨便用，需要登錄的就直接cookies=cookies

四、日誌輸出

這里注意看第二步中介面數據，有介面描述，也有介面是啥，第一步中又把content做成返回值了，具體拼接方式自己想吧，東西全有了，想寫啥寫啥，還可以加上獲取本地時間的api獲取介面運行時間，log文件該長啥樣是門學問，這里就不獻丑了。

五、借用fiddler調試你的腳本

requests允許使用代理訪問，這有啥用，真有！fiddler是一款截包改包的工具，而且通過擴展可以進行請求間的比對，這樣讓你的程序訪問的請求和真正正確的請求作對比，為啥我的程序訪問出錯？是不是缺了請求頭？參數是不是丟了？cookie是不是少了？很容易看出來。寫法如下：

proxies = { "http": "http://127.0.0.1:8888", "https": "http://127.0.0.1:8888"}
requests.post(url, proxies=proxies)

這樣就可以走代理了，除fiddler以外還有charles和burp suite可以使用，具體看個人喜好吧。

『陸』 python的urllib如何POST傳遞數組參數

1.如果機器上安裝了 Python 的 setuptools，可以通過下面的命令來安裝 poster：
easy_install poster

# test_client.pyfrom poster.encode import multipart_encodefrom poster.streaminghttp import register_openersimport urllib2# 在 urllib2 上注冊 http 流處理句柄register_openers()# 開始對文件 "DSC0001.jpg" 的 multiart/form-data 編碼# "image1" 是參數的名字，一般通過 HTML 中的 <input> 標簽的 name 參數設置# headers 包含必須的 Content-Type 和 Content-Length# datagen 是一個生成器對象，返回編碼過後的參數datagen, headers = multipart_encode({"image1": open("DSC0001.jpg", "rb")})# 創建請求對象request = urllib2.Request("http://localhost:5000/upload_image", datagen, headers)# 實際執行請求並取得返回print urllib2.urlopen(request).read()
很簡單，文件就上傳完成了。
2.其中那個 register_openers() 相當於以下操作：
from poster.encode import multipart_encodefrom poster.streaminghttp import StreamingHTTPHandler, StreamingHTTPRedirectHandler, StreamingHTTPSHandlerhandlers = [StreamingHTTPHandler, StreamingHTTPRedirectHandler, StreamingHTTPSHandler]opener = urllib2.build_opener(*handlers)urllib2.install_opener(opener)

3.另外，poster 也可以攜帶 cookie，比如：
opener = poster.streaminghttp.register_openers()opener.add_handler(urllib2.HTTPCookieProcessor(cookielib.CookieJar()))params = {'file': open("test.txt", "rb"), 'name': 'upload test'}datagen, headers = poster.encode.multipart_encode(params)request = urllib2.Request(upload_url, datagen, headers)result = urllib2.urlopen(request)

『柒』 Python 3.6發起post請求，對返回的數據進行斷言

不需要。返回數據是因為交互需要牽手。了解狀態，如果ajax後您的回調不需要數據的話，就不用等他返回數據，api返回空就行了

『捌』 python怎麼使用api介面測試

在開發中，需要測試web-api的介面 spring mvc 使用單元測試非常方便，但是，受不了單元測試的啟動速度。用python寫了一個小腳本，用於測試介面，
測試腳本配置文件
api.yaml
server:
url: http://127.0.0.1:9000/ihome/

api:
name:
#api-v2-neighbor-list.yaml
- api/v2/neighbor/list

api-v2-neighbor-list.yaml
介面配置文件
method:
post
data:
#post 的 body 的json
postSid: a1
userSid: u2

python 腳本
import requests, json, yaml, sys

def apiTest(apiName):
f = open("api.yaml")
obj = yaml.safe_load(f)
f.close()

if apiName != "":
runApi(obj["server"]["url"] + apiName, apiName.replace("/", "-") + ".yaml")
return;

apis = obj['api']["name"]
for api in apis:
runApi(obj["server"]["url"] + api, api.replace("/", "-") + ".yaml")

def runApi(url, dataFile):
headers = {'Content-Type' : 'application/json; charset=UTF-8',
'X-Requested-With' : 'XMLHttpRequest',
'Connection' : 'keep-alive',
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'
}

『玖』 使用python做介面自動化測試容易嗎

為什么要做介面自動化測試?
在當前互聯網產品迭代頻繁的背景下，回歸測試的時間越來越少，很難在每個迭代都對所有功能做完整回歸。但介面自動化測試因其實現簡單、維護成本低，容易提高覆蓋率等特點，越來越受重視。
為什么要自己寫框架呢?
使用Postman調試通過過直接可以獲取介面測試的基本代碼，結合使用requets + unittest很容易實現介面自動化測試的封裝，而且requests的api已經非常人性化，非常簡單，但通過封裝以後（特別是針對公司內特定介面），可以進一步提高腳本編寫效率。
一個現有的簡單介面例子
下面使用requests + unittest測試一個查詢介面
介面信息如下
請求信息:
Method：POST
URL：api/match/image/getjson
Request：
{
"category": "image",
"offset": "0",
"limit": "30",
"sourceId": "0",
"metaTitle": "",
"metaId": "0",
"classify": "unclassify",
"startTime": "",
"endTime": "",
"createStart": "",
"createEnd": "",
"sourceType": "",
"isTracking": "true",
"metaGroup": "",
"companyId": "0",
"lastDays": "1",
"author": ""
}

Response示例：
{
"timestamp" : xxx,
"errorMsg" : "",
"data" : {
"config" : xxx
}

Postman測試方法見截圖：

測試思路
1.獲取Postman原始腳本
2.使用requests庫模擬發送HTTP請求**
3.對原始腳本進行基礎改造**
4.使用python標准庫里unittest寫測試case**
原始腳本實現
未優化
該代碼只是簡單的一次調用，而且返回的結果太多，很多返回信息暫時沒用，示例代碼如下
import requests

url = "http://cpright.xinhua-news.cn/api/match/image/getjson"

querystring = {"category":"image","offset":"0","limit":"30","sourceId":"0","metaTitle":"","metaId":"0","classify":"unclassify","startTime":"","endTime":"","createStart":"","createEnd":"","sourceType":"","isTracking":"true","metaGroup":"","companyId":"0","lastDays":"1","author":""}

headers = { 'cache-control': "no-cache", 'postman-token': "e97a99b0-424b-b2a5-7602-22cd50223c15"
}

response = requests.request("POST", url, headers=headers, params=querystring)

print(response.text)

優化 第一版
調整代碼結構，輸出結果Json出來，獲取需要驗證的response.status_code，以及獲取結果校驗需要用到的results['total']
#!/usr/bin/env python#coding: utf-8'''
unittest merchant backgroud interface
@author: zhang_jin
@version: 1.0
@see:http://www.python-requests.org/en/master/
'''import unittestimport jsonimport tracebackimport requests

url = "http://cpright.xinhua-news.cn/api/match/image/getjson"

querystring = { "category": "image", "offset": "0", "limit": "30", "sourceId": "0", "metaTitle": "", "metaId": "0", "classify": "unclassify", "startTime": "", "endTime": "", "createStart": "", "createEnd": "", "sourceType": "", "isTracking": "true", "metaGroup": "", "companyId": "0", "lastDays": "1", "author": ""
}

headers = { 'cache-control': "no-cache", 'postman-token': "e97a99b0-424b-b2a5-7602-22cd50223c15"
}#Post介面調用
response = requests.request("POST", url, headers=headers, params=querystring)#對返回結果進行轉義成json串
results = json.loads(response.text)#獲取http請求的status_codeprint "Http code:",response.status_code#獲取結果中的total的值print results['total']#print(response.text)

優化 第二版
介面調用異常處理，增加try，except處理，對於返回response.status_code，返回200進行結果比對，不是200數據異常信息。
#!/usr/bin/env python#coding: utf-8'''
unittest merchant backgroud interface
@author: zhang_jin
@version: 1.0
@see:http://www.python-requests.org/en/master/
'''import jsonimport tracebackimport requests

url = "http://cpright.xinhua-news.cn/api/match/image/getjson"

querystring = { "category": "image", "offset": "0", "limit": "30", "sourceId": "0", "metaTitle": "", "metaId": "0", "classify": "unclassify", "startTime": "", "endTime": "", "createStart": "", "createEnd": "", "sourceType": "", "isTracking": "true", "metaGroup": "", "companyId": "0", "lastDays": "1", "author": ""
}

headers = { 'cache-control': "no-cache", 'postman-token': "e97a99b0-424b-b2a5-7602-22cd50223c15"
}try: #Post介面調用
response = requests.request("POST", url, headers=headers, params=querystring) #對http返回值進行判斷，對於200做基本校驗 if response.status_code == 200:
results = json.loads(response.text) if results['total'] == 191: print "Success" else: print "Fail" print results['total'] else: #對於http返回非200的code，輸出相應的code raise Exception("http error info:%s" %response.status_code)except:
traceback.print_exc()

『拾』 如何用python寫出爬蟲

先檢查是否有API

API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。

數據結構分析和數據存儲

爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。

對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。

資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。

數據流分析

對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。

值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。

明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。

同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。

數據採集

之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。

下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。

解析工具

源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。

BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。

正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。

對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。

數據整理

一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。

字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。

如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。

Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。

寫入資料庫

如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。

寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。