❶ 如何使用python 開發一個api
使用 Python 和 Flask 設計 RESTful API
近些年來 REST (REpresentational State Transfer) 已經變成了 web services 和 web APIs 的標配。
在本文中我將向你展示如何簡單地使用 Python 和 Flask 框架來創建一個 RESTful 的 web service。
什麼是 REST？
六條設計規范定義了一個 REST 系統的特點:
客戶端-伺服器: 客戶端和伺服器之間隔離，伺服器提供服務，客戶端進行消費。
無狀態: 從客戶端到伺服器的每個請求都必須包含理解請求所必需的信息。換句話說， 伺服器不會存儲客戶端上一次請求的信息用來給下一次使用。
可緩存: 伺服器必須明示客戶端請求能否緩存。
分層系統: 客戶端和伺服器之間的通信應該以一種標準的方式，就是中間層代替伺服器做出響應的時候，客戶端不需要做任何變動。
統一的介面: 伺服器和客戶端的通信方法必須是統一的。
按需編碼: 伺服器可以提供可執行代碼或腳本，為客戶端在它們的環境中執行。這個約束是唯一一個是可選的。
什麼是一個 RESTful 的 web service？
REST 架構的最初目的是適應萬維網的 HTTP 協議。
RESTful web services 概念的核心就是「資源」。 資源可以用URI來表示。客戶端使用 HTTP 協議定義的方法來發送請求到這些 URIs，當然可能會導致這些被訪問的」資源「狀態的改變。
HTTP 標準的方法有如下:
REST 設計不需要特定的數據格式。在請求中數據可以以JSON形式, 或者有時候作為 url 中查詢參數項。
設計一個簡單的 web service
堅持 REST 的准則設計一個 web service 或者 API 的任務就變成一個標識資源被展示出來以及它們是怎樣受不同的請求方法影響的練習。
比如說，我們要編寫一個待辦事項應用程序而且我們想要為它設計一個 web service。要做的第一件事情就是決定用什麼樣的根 URL 來訪問該服務。例如，我們可以通過這個來訪問:
http://[hostname]/todo/api/v1.0/
在這里我已經決定在 URL 中包含應用的名稱以及 API 的版本號。在 URL 中包含應用名稱有助於提供一個命名空間以便區分同一系統上的其它服務。在 URL 中包含版本號能夠幫助以後的更新，如果新版本中存在新的和潛在不兼容的功能，可以不影響依賴於較舊的功能的應用程序。
下一步驟就是選擇將由該服務暴露(展示)的資源。這是一個十分簡單地應用，我們只有任務，因此在我們待辦事項中唯一的資源就是任務。
我們的任務資源將要使用 HTTP 方法如下:
我們定義的任務有如下一些屬性:
id: 任務的唯一標識符。數字類型。
title: 簡短的任務描述。字元串類型。
description: 具體的任務描述。文本類型。
done: 任務完成的狀態。布爾值。
目前為止關於我們的 web service 的設計基本完成。剩下的事情就是實現它！
Flask 框架的簡介
如果你讀過Flask Mega-Tutorial 系列，就會知道 Flask 是一個簡單卻十分強大的 Python web 框架。
在我們深入研究 web services 的細節之前，讓我們回顧一下一個普通的 Flask Web 應用程序的結構。
我會首先假設你知道 Python 在你的平台上工作的基本知識。 我將講解的例子是工作在一個類 Unix 操作系統。簡而言之，這意味著它們能工作在 Linux，Mac OS X 和 Windows(如果你使用Cygwin)。 如果你使用 Windows 上原生的 Python 版本的話，命令會有所不同。
讓我們開始在一個虛擬環境上安裝 Flask。如果你的系統上沒有 virtualenv，你可以從https://pypi.python.org/pypi/virtualenv上下載:
既然已經安裝了 Flask，現在開始創建一個簡單地網頁應用，我們把它放在一個叫 app.py 的文件中:
為了運行這個程序我們必須執行 app.py:
現在你可以啟動你的網頁瀏覽器，輸入http://localhost:5000看看這個小應用程序的效果。
簡單吧？現在我們將這個應用程序轉換成我們的 RESTful service！
使用 Python 和 Flask 實現 RESTful services
使用 Flask 構建 web services 是十分簡單地，比我在Mega-Tutorial中構建的完整的服務端的應用程序要簡單地多。
在 Flask 中有許多擴展來幫助我們構建 RESTful services，但是在我看來這個任務十分簡單，沒有必要使用 Flask 擴展。
我們 web service 的客戶端需要添加、刪除以及修改任務的服務，因此顯然我們需要一種方式來存儲任務。最直接的方式就是建立一個小型的資料庫，但是資料庫並不是本文的主體。學習在 Flask 中使用合適的資料庫，我強烈建議閱讀Mega-Tutorial。
這里我們直接把任務列表存儲在內存中，因此這些任務列表只會在 web 伺服器運行中工作，在結束的時候就失效。 這種方式只是適用我們自己開發的 web 伺服器，不適用於生產環境的 web 伺服器， 這種情況一個合適的資料庫的搭建是必須的。
我們現在來實現 web service 的第一個入口:
正如你所見，沒有多大的變化。我們創建一個任務的內存資料庫，這里無非就是一個字典和數組。數組中的每一個元素都具有上述定義的任務的屬性。
取代了首頁，我們現在擁有一個 get_tasks 的函數，訪問的 URI 為 /todo/api/v1.0/tasks，並且只允許 GET 的 HTTP 方法。
這個函數的響應不是文本，我們使用 JSON 數據格式來響應，Flask 的 jsonify 函數從我們的數據結構中生成。
使用網頁瀏覽器來測試我們的 web service 不是一個最好的注意，因為網頁瀏覽器上不能輕易地模擬所有的 HTTP 請求的方法。相反，我們會使用 curl。如果你還沒有安裝 curl 的話，請立即安裝它。
通過執行 app.py，啟動 web service。接著打開一個新的控制台窗口，運行以下命令:
我們已經成功地調用我們的 RESTful service 的一個函數！
現在我們開始編寫 GET 方法請求我們的任務資源的第二個版本。這是一個用來返回單獨一個任務的函數:
第二個函數有些意思。這里我們得到了 URL 中任務的 id，接著 Flask 把它轉換成 函數中的 task_id 的參數。
我們用這個參數來搜索我們的任務數組。如果我們的資料庫中不存在搜索的 id，我們將會返回一個類似 404 的錯誤，根據 HTTP 規范的意思是 「資源未找到」。
如果我們找到相應的任務，那麼我們只需將它用 jsonify 打包成 JSON 格式並將其發送作為響應，就像我們以前那樣處理整個任務集合。
調用 curl 請求的結果如下:
當我們請求 id #2 的資源時候，我們獲取到了，但是當我們請求 #3 的時候返回了 404 錯誤。有關錯誤奇怪的是返回的是 HTML 信息而不是 JSON，這是因為 Flask 按照默認方式生成 404 響應。由於這是一個 Web service 客戶端希望我們總是以 JSON 格式回應，所以我們需要改善我們的 404 錯誤處理程序:
我們會得到一個友好的錯誤提示:
接下來就是 POST 方法，我們用來在我們的任務資料庫中插入一個新的任務:
添加一個新的任務也是相當容易地。只有當請求以 JSON 格式形式，request.json 才會有請求的數據。如果沒有數據，或者存在數據但是缺少 title 項，我們將會返回 400，這是表示請求無效。
接著我們會創建一個新的任務字典，使用最後一個任務的 id + 1 作為該任務的 id。我們允許 description 欄位缺失，並且假設 done 欄位設置成 False。
我們把新的任務添加到我們的任務數組中，並且把新添加的任務和狀態 201 響應給客戶端。
使用如下的 curl 命令來測試這個新的函數:
注意：如果你在 Windows 上並且運行 Cygwin 版本的 curl，上面的命令不會有任何問題。然而，如果你使用原生的 curl，命令會有些不同:
當然在完成這個請求後，我們可以得到任務的更新列表:
剩下的兩個函數如下所示:
❷ python 執行curl系統命令為什麼會返回進度條
試試用os.popen()來執行。 popen()可以返回執行結果信息。 ret_msg = os.popen(command) 通過python執行系統命令時，最要注意路徑問題。不論是文件還是目錄一定要寫全路徑，不要用相對路徑。
❸ python pycurl有哪些參數
#!/usr/bin/env python2
#encoding=utf8
import pycurl
import StringIO
# 安裝pycurl到http://pycurl.sourceforge.net/這里去找.
# 在windows安裝的話http://pycurl.sourceforge.net/download/ , 看你使用的版本決定下載那個，我在 windows使用的是python2.4, 所以下載 pycurl-ssl-7.15.5.1.win32-py2.4.exe 。
def test(debug_type, debug_msg):
print "debug(%d): %s" % (debug_type, debug_msg)
def postFile(url,post_file):
#print pycurl.version_info()
#這個函數創建一個同 libcurl中的CURL處理器相對應的Curl對象.Curl對象自動的設置CURLOPT_VERBOSE為0, CURLOPT_NOPROGRESS為1,提供一個默認的CURLOPT_USERAGENT和設置CURLOPT_ERRORBUFFER指向一個私有的錯誤緩沖區.
c = pycurl.Curl() #創建一個同libcurl中的CURL處理器相對應的Curl對象
b = StringIO.StringIO()
#c.setopt(c.POST, 1)
c.setopt(pycurl.URL, url) #設置要訪問的網址 url = "http://www.cnn.com"
#寫的回調
c.setopt(pycurl.WRITEFUNCTION, b.write)
c.setopt(pycurl.FOLLOWLOCATION, 1) #參數有1、2
#最大重定向次數,可以預防重定向陷阱
c.setopt(pycurl.MAXREDIRS, 5)
#連接超時設置
c.setopt(pycurl.CONNECTTIMEOUT, 60) #鏈接超時
# c.setopt(pycurl.TIMEOUT, 300) #下載超時
# c.setopt(pycurl.HEADER, True)
# c.setopt(c.HTTPHEADER, ["Content-Type: application/x-www-form-urlencoded","X-Requested-With:XMLHttpRequest","Cookie:"+set_cookie[0]])
#模擬瀏覽器
c.setopt(pycurl.USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)")
# c.setopt(pycurl.AUTOREFERER,1)
# c.setopt(c.REFERER, url)
# cookie設置
# Option -b/--cookie <name=string/file> Cookie string or file to read cookies from
# Note: must be a string, not a file object.
# c.setopt(pycurl.COOKIEFILE, "cookie_file_name")
# Option -c/--cookie-jar Write cookies to this file after operation
# Note: must be a string, not a file object.
# c.setopt(pycurl.COOKIEJAR, "cookie_file_name")
# Option -d/--data HTTP POST data
post_data_dic = {"name":"value"}
c.setopt(c.POSTFIELDS, urllib.urlencode(post_data_dic))
#設置代理
# c.setopt(pycurl.PROXY, 『http://11.11.11.11:8080′)
# c.setopt(pycurl.PROXYUSERPWD, 『aaa:aaa』)
#不明確作用
# c.setopt(pycurl.HTTPPROXYTUNNEL,1) #隧道代理
# c.setopt(pycurl.NOSIGNAL, 1)
#設置post請求， 上傳文件的欄位名 上傳的文件
#post_file = "/home/ubuntu/avatar.jpg"
c.setopt(c.HTTPPOST, [("textname", (c.FORM_FILE, post_file))])
# 調試回調.調試信息類型是一個調試信 息的整數標示類型.在這個回調被調用時VERBOSE選項必須可用
# c.setopt(c.VERBOSE, 1) #verbose 詳細
# c.setopt(c.DEBUGFUNCTION, test)
# f = open("body", "wb")
# c.setopt(c.WRITEDATA, f)
# h = open("header", "wb")
# c.setopt(c.WRITEHEADER, h)
# print "Header is in file 'header', body is in file 'body'"
# f.close()
# h.close()
# c.setopt(c.NOPROGRESS, 0)
# c.setopt(c.PROGRESSFUNCTION, progress)
# c.setopt(c.OPT_FILETIME, 1)
#訪問,阻塞到訪問結束
c.perform() #執行上述訪問網址的操作
print "HTTP-code:", c.getinfo(c.HTTP_CODE) #列印出 200(HTTP狀態碼)
print "Total-time:", c.getinfo(c.TOTAL_TIME)
print "Download speed: %.2f bytes/second" % c.getinfo(c.SPEED_DOWNLOAD)
print "Document size: %d bytes" % c.getinfo(c.SIZE_DOWNLOAD)
print "Effective URL:", c.getinfo(c.EFFECTIVE_URL)
print "Content-type:", c.getinfo(c.CONTENT_TYPE)
print "Namelookup-time:", c.getinfo(c.NAMELOOKUP_TIME)
print "Redirect-time:", c.getinfo(c.REDIRECT_TIME)
print "Redirect-count:", c.getinfo(c.REDIRECT_COUNT)
# epoch = c.getinfo(c.INFO_FILETIME)
#print "Filetime: %d (%s)" % (epoch, time.ctime(epoch))
html = b.getvalue()
print(html)
b.close()
c.close()
❹ java爬蟲代理如何實現
爬蟲離不開的就是代理伺服器了，如果我們不用http來爬蟲，ip不更改的情況下，是很難進行的。當我們在使用爬蟲爬取網站資料，速度快，可以不知疲倦地連續工作。但是由於爬蟲軟體在訪問網站時，行為過於頻繁，遠超人力操作速度，就很容易被網站察覺，而封掉用戶的IP。
所以，使用爬蟲軟體時，為了防止IP被封，或者IP已經被封，還想用自己的IP訪問封了自己IP的網站時，就要用到代理IP了。http能夠對我們的ip地址進行更改，這一操作能夠有效減少了網站的ip限制的影響，對爬蟲是很有幫助的。Ipidea含有240＋國家地區的ip，真實住宅網路高度匿名強力保護本地信息。
❺ 如何利用cURL和python對服務端和web端進行介面測試
工具描述
cURL是利用URL語法在命令行方式下工作的文件傳輸工具，是開源愛好者編寫維護的免費工具，支持包括Windows、Linux、Mac等數十個操作系統，最新版本為7.27.0，但是我推薦大家使用7.26.0，從這里可以下載7.26.0版本。
以下是官方介紹的翻譯： cURL是一個使用URL語法來傳輸數據的命令行工具，支持DICT，FILE，FTP，FTPS，GOPHER，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet和TFTP。 cURL支持SSL證書，HTTP POST，HTTP PUT，FTP上傳，HTTP基礎表單上傳，代理，cookies，用戶+密碼身份驗證（Basic, Digest, NTLM, Negotiate, kerberos...），恢復文件傳輸，隧道代理等等。
Python是一種面向對象、直譯式計算機程序設計語言，由Guido van Rossum於1989年底發明，它的強大和易用就無需多做說明了，在web開發中或者對開發速度要求較高的開發中應用十分廣，不過因為屬於腳本類語言，它的性能始終比不上C++、C等語言。
本文主要利用實例說明這兩款工具的在測試中的部分用途，更多用法留待大家繼續探索。
應用場景
使用cURL模擬客戶端對服務端進行查詢
在進行介面測試時，應該先找開發人員提供介面列表和對應參數，這樣測試的時候就可以驗證測試方法是否正確，不過如果可以用瀏覽器模擬操作的話，也可以自己先試試的，後面的例子會提到。
首先使用客戶端訪問需要測試的服務端介面，用wireshark抓包結果如下：
把查詢字元串以multipart方式post數據到伺服器的file_health_info.php介面。
Tips：
Windows版的cURL不像Linux或者Mac一樣屬於系統自帶工具，需要下載，如果要在命令提示符下使用就需要跳轉到工具所在目錄下才能運行，十分麻煩，我們可以直接把這個工具文件放到Windows目錄下，這樣無論在哪個目錄都可以直接使用「curl」命令運行工具了。
cURL默認就是以post方式發送數據的，所以只需要加入multipart方式就可以了，-F在cURL幫助中的解釋是：
-F, --form CONTENT Specify HTTP multipart POST data (H)
--form-string STRING Specify HTTP multipart POST data (H)
--ftp-account DATA Account data string (F)
--ftp-alternative-to-user COMMAND String to replace "USER [name]" (F)
--ftp-create-dirs Create the remote dirs if not present (F)
--ftp-method [MULTICWD/NOCWD/SINGLECWD] Control CWD usage (F)
--ftp-pasv Use PASV/EPSV instead of PORT (F)
Specify HTTP multipart POST data正好滿足我們的要求，所以模擬的語句是：
curl -F "newmd5=###25016566###d:\test.exe###1###" file_health_info.php
後面的都是參數，測試前就要找開發確認好。
不過因為服務端支持以gzip方式返回數據，所以我們還可以在請求中加入—compressed參數，即是：
curl --compressed -F "newmd5=###25016566###d:\test.exe###1###"file_health_info.php
為了更好判斷服務端介面是否正常，除了對返回數據進行判斷外，我們還需要對服務端返回的數據包頭進行解析，所以還可以在cURL請求中加入-i參數，最終這個測試語句就變為：
curl –i --compressed -F "newmd5=###25016566###d:\test.exe###1###"file_health_info.php
模擬完成後就要考慮判斷返回值的事了，我們首先在命令提示符下運行這個語句，看看返回值。
運行以上命令後，返回的數據如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
HTTP/1.1 100 Continue
HTTP/1.1 200 OK
Date: Fri, 24 Aug 2012 07:47:45 GMT
Content-Type: application/xml
Transfer-Encoding: chunked
Connection: keep-alive
Server: 360 web server
Content-Encoding: gzip
<?xml version="1.0" encoding="GBK" ?>
<ret>
<retinfo code="0" msg="Operation success" total="1" success="1" empty="0"
cost="999.92752075195"/>
<softs>
<soft>
<md5></md5>
<sha1></sha1>
<level>4040</level>
<e_level>40.3</e_level>
<size></size>
<soft_name><![CDATA[]]> </soft_name>
<describ><![CDATA[]]></describ>
<file_desc><![CDATA[]]></file_desc>
<upload>0</upload>
<attr_upload>2</attr_upload>
<class><![CDATA[private]]></class>
<malware><![CDATA[cloud.virus]]></malware>
<is_sys_file>0</is_sys_file>
<is_rep>0</is_rep>
<age>0</age>
<pop>0</pop>
</soft>
</softs>
</ret>
數據包包頭是常見的，一般來說，我們只要判斷包頭中含有「HTTP/1.1 200 OK」就可以確定服務端正常返回了數據。另外從內容可以看到這是一個xml格式的數據包，我們只需要判斷是否存在關鍵的欄位即可，比如<level>，確定這些之後我們就可以在python中添加如下案例代碼了：
首先運行指定的curl命令：
response = os.popen('''curl -i --compressed -F "newmd5=###25016566###d:\test.exe###1###"
然後判斷返回值中是否存在我們想要的欄位：
self.assertNotEqual(response.find('HTTP/1.1 200 OK'),-1)
self.assertNotEqual(response.find('<level>'),-1)
上面的內容看起來差不多可以了，但實際還不夠嚴謹，因為服務端返回的這些數據是從資料庫中獲取的，所以我們還需要查詢資料庫獲取指定值，判斷是否和數據包中的一致，比如<level>：
首先使用python登錄資料庫伺服器：
conn = MySQLdb.connect(host='172.22.54.31', user='user',passwd='test321',db='cloud')
cursor = conn.cursor()
count = cursor.execute('SELECT plevel FROM file where md5=""')
result = cursor.fetchone()
然後判斷返回值中的level是否資料庫中的值：
self.assertNotEqual(response.find('''<level>%s</level>'''%result[0]),-1)
測試時除了使用cURL等工具進行模擬，還可以自己用python或其他語言寫代碼進行post數據，不過當時簡單起見所以就選擇了用cURL測試。
使用cURL模擬控制台登錄
說到模擬登錄或者模擬點擊，很多同學可能直接聯想到QTP等模擬界面操作的工具，事實上這種工具有一個很大的弊端是太依賴控制項，如果界面控制項變了，那麼可能整個腳本就無效了，現在的程序設計都傾向界面邏輯分離，這樣修改界面時就不會動到底下的功能介面，開發人員可以隨時修改界面控制項，如果還是採取QTP等模擬點擊的方法測試，結果可能是事倍功半的，如果測試時直接點用介面就可以避免這種問題。
下面的例子是模擬控制台登錄的，登錄URL為：
index.php?r=site/login ，首先使用瀏覽器登錄一次，看看實際效果如何。
Tips：
測試php或其他web程序時建議使用chrome，因為它自帶的Developer Tools十分好用，當然firefox或者IE9也有類似的工具，看個人習慣吧。按F12打開工具，選擇Network標簽頁，然後輸入用戶名、密碼點擊登錄，這時Network下方會顯示登錄過程中瀏覽器想控制台請求的所有數據，包括請求類型、表單數據等，這些是我們模擬操作的數據來源。
從上圖可以獲取幾個重點信息：請求URL、請求類型、數據類型、數據內容、並且支持gzip壓縮等。我們用curl模擬如下：
curl -i --compressed cloud/index.php?r=site/login -d 「username=admin」 -d 「userpass=admin」
使用-i和—compressed的原因再上一個例子已經說了，這里不再贅述，重點是後面的-d，它在官方幫助的解釋是：
-d, --data DATA HTTP POST data (H)
--data-ascii DATA HTTP POST ASCII data (H)
--data-binary DATA HTTP POST binary data (H)
--data-urlencode DATA HTTP POST data url encoded (H)
--delegation STRING GSS-API delegation permission
--digest Use HTTP Digest Authentication (H)
--disable-eprt Inhibit using EPRT or LPRT (F)
--disable-epsv Inhibit using EPSV (F)
而我們從Developer Tools返回的數據已經知道，返回數據的格式是
「application/x-www-form-urlencoded」，所以很明顯需要使用-d的HTTP POST data url encoded特性。不過格式中還有關鍵字form，莫非也支持-F參數登錄，試試：
curl -i --compressed cloud/index.php?r=site/login -F 「username=admin」 -F 「userpass=admin」，果然成功，呵呵～
也許有同學有疑問，為何不模擬warnsetup、refer，這是因為測試時發現登錄界面只需要用戶名和密碼就夠了，refer 用於記錄來源網頁，在這里用處不大，warnsetup只是用於驗證登錄碼的，這個已經去掉了。
接下來要驗證數據，我們在命令提示符中運行上面的命令，返回結果如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
HTTP/1.1 302 Moved Temporarily
Date: Fri, 24 Aug 2012 08:29:07 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
X-Powered-By: PHP/5.4.3
Set-Cookie: PHPSESSID=; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: PHPSESSID=; path=/
Location: ./index.php
Server: 360 web server
很奇怪吧，乍一看控制台沒有返回任何有用信息，不過裡面那句HTTP/1.1 302 Moved Temporarily是不是特別眼熟？這個特殊的302（表示http重定向）正是我們在Developer Tools看到的狀態值，看到這個已經可以80%確定我們登錄已經成功了，更重要的是返回包中的內容：Location: ./index.php，這說明控制台已經通知請求端跳轉到index.php，如果登錄失敗控制台會繼續停留在當前登錄界面的，我們只需要修改curl語句中的用戶名或者密碼就知道了，這種情況下返回包就是登錄界面的php源碼，這里不再贅述。
使用cURL以get方式測試控制台搜索介面
測試方法同上面差不多，首先使用chrome打開控制台進入對應頁面，在搜索框中輸入「test.exe」，點擊搜索，使用developer tools抓包，內容如下：
cURL模擬get方式發送數據的參數是-G，了解這個後面要模擬就很簡單了：
curl -i --compressed -G 「cloud/index.php?r=file_cloud/api/search&filename=&bg=0&lm=19 」
其中每個參數的含義要分別了解：filename表示輸入的關鍵字，bg表示資料庫第一行，lm表示共顯示19行數據。這個介面返回的數據如下：
{"rows":[{"level":"10","plevel":"10","id":"20","md5":"","soft_name":"","soft_desc":"","file_desc":"","is_sys_file":"127","size":"41984","is_rep":"0","file_name":"apihex86.d
ll","file_version":"6.1.7600.16385","proct_version":"6.1.7600.16385","right":"\u00a9 Microsoft Corporation. All rights reserved.","lang":"0","org_name":"YXBpaGV4ODYuZGxs","sign_name":"TWljcm9zb2Z0IFdpbmRvd3M=","company_name":"Microsof
t Corporation","update_time":"2012-07-31 18:14:27","create_time":"2012-07-31 18:14:27","creator_mid":""}],"count":"1"}
分別是文件屬性和文件信息，這涉及到兩個資料庫表，所以驗證數據需要用python從兩張表中獲取對應信息。
從第一張表獲取文件屬性，比如只獲取plevel：
SELECT plevel FROM `file` where md5=""
從第二張表獲取文件信息，比如只獲取company_name：
SELECT company_name FROM file_info where md5=""
Python代碼如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
conn = MySQLdb.connect(host='%s'% self.host, user='user',passwd='test321',db='cloud')
cursor = conn.cursor()
count = cursor.execute('SELECT plevel FROM `file` where md5=""')
result = cursor.fetchone()
self.assertNotEqual(response.find(str(result[0])),-1)
count = cursor.execute('SELECT company_name FROM file_info where md5=""')
result1 = cursor.fetchone()
self.assertNotEqual(response.find(result1[0]),-1)
當然嚴謹的測試案例是每一個屬性欄位都需要進行查找和匹配，這里就不再贅述了。
後記：這種介面測試用到的無非就是curl、python的unitest而已，可能有的人會疑問，為什麼用curl而不用py自帶的pycurl或者request之類，我覺得只要能滿足需求，能夠用現成的就用現成的，怎麼簡單怎麼來。搞一堆代碼維護起來也麻煩啊，現在qa行業跳槽也比較頻繁，萬一換了個人看不懂你的代碼怎麼辦？呵呵
❻ 樹莓派 python 如何將本地文件上傳到指定的伺服器頁面上
以下是單個文件的，不確定你的文件夾是什麼意思，可以壓縮下再上傳（方法一樣，調用zip命令）
我的實現方法：調用終端的curl，以下為代碼平片段，實現的功能是上傳log文件到伺服器，供參考：
defpost_log(self,post_url,del_source_file=True):
'''
postlogtologserver
'''
ifself.log_path:
command="curl-s-Flog=@{0}{1}".format(self.log_path,post_url)
return_str=os.popen(command).read()
logging.debug(return_str)
#printreturn_str
ifreturn_str=="success":
ifdel_source_file:
del_command="sudorm{0}".format(self.log_path)
os.system(del_command)
returnTrue
else:
returnFalse
returnFalse
❼ 如何利用cURL和python對服務端和web端進行介面測試
工具描述
cURL是利用URL語法在命令行方式下工作的文件傳輸工具，是開源愛好者編寫維護的免費工具，支持包括Windows、Linux、Mac等數十個操作系統，最新版本為7.27.0，但是我推薦大家使用7.26.0，從這里可以下載7.26.0版本。
以下是官方介紹的翻譯：
cURL是一個使用URL語法來傳輸數據的命令行工具，支持
DICT，FILE，FTP，FTPS，GOPHER，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet
和TFTP。 cURL支持SSL證書，HTTP POST，HTTP
PUT，FTP上傳，HTTP基礎表單上傳，代理，cookies，用戶+密碼身份驗證（Basic, Digest, NTLM,
Negotiate, kerberos...），恢復文件傳輸，隧道代理等等。
Python是一種面向對象、直譯式計算機程序設計語言，由Guido van Rossum於1989年底發明，它的強大和易用就無需多做說明了，在web開發中或者對開發速度要求較高的開發中應用十分廣，不過因為屬於腳本類語言，它的性能始終比不上C++、C等語言。
本文主要利用實例說明這兩款工具的在測試中的部分用途，更多用法留待大家繼續探索。
應用場景
使用cURL模擬客戶端對服務端進行查詢
在進行介面測試時，應該先找開發人員提供介面列表和對應參數，這樣測試的時候就可以驗證測試方法是否正確，不過如果可以用瀏覽器模擬操作的話，也可以自己先試試的，後面的例子會提到。
首先使用客戶端訪問需要測試的服務端介面，用wireshark抓包結果如下：
把查詢字元串以multipart方式post數據到伺服器的file_health_info.php介面。
Tips：
Windows版的cURL不像Linux或者Mac一樣屬於系統自帶工具，需要下載，如果要在命令提示符下使用就需要跳轉到工具所在目錄下才能運
行，十分麻煩，我們可以直接把這個工具文件放到Windows目錄下，這樣無論在哪個目錄都可以直接使用「curl」命令運行工具了。
cURL默認就是以post方式發送數據的，所以只需要加入multipart方式就可以了，-F在cURL幫助中的解釋是：
-F, --form CONTENT Specify HTTP multipart POST data (H)
--form-string STRING Specify HTTP multipart POST data (H)
--ftp-account DATA Account data string (F)
--ftp-alternative-to-user COMMAND String to replace "USER [name]" (F)
--ftp-create-dirs Create the remote dirs if not present (F)
--ftp-method [MULTICWD/NOCWD/SINGLECWD] Control CWD usage (F)
--ftp-pasv Use PASV/EPSV instead of PORT (F)
Specify HTTP multipart POST data正好滿足我們的要求，所以模擬的語句是：
curl -F "newmd5=###25016566###d:\test.exe###1###" http://172.22.54.22/file_health_info.php
後面的都是參數，測試前就要找開發確認好。
不過因為服務端支持以gzip方式返回數據，所以我們還可以在請求中加入—compressed參數，即是：
curl --compressed -F "newmd5=###25016566###d:\test.exe###1###" http://172.22.54.22/file_health_info.php
為了更好判斷服務端介面是否正常，除了對返回數據進行判斷外，我們還需要對服務端返回的數據包頭進行解析，所以還可以在cURL請求中加入-i參數，最終這個測試語句就變為：
curl –i --compressed -F "newmd5=###25016566###d:\test.exe###1###" http://172.22.54.22/file_health_info.php
模擬完成後就要考慮判斷返回值的事了，我們首先在命令提示符下運行這個語句，看看返回值。
運行以上命令後，返回的數據如下：
HTTP/1.1 100 Continue
HTTP/1.1 200 OK
Date: Fri, 24 Aug 2012 07:47:45 GMT
Content-Type: application/xml
Transfer-Encoding: chunked
Connection: keep-alive
Server: 360 web server
Content-Encoding: gzip
<?xml version="1.0" encoding="GBK" ?>
<ret>
<retinfo code="0" msg="Operation success" total="1" success="1" empty="0"
cost="999.92752075195"/>
<softs>
<soft>
<md5></md5>
<sha1></sha1>
<level>4040</level>
<e_level>40.3</e_level>
<size></size>
<soft_name><![CDATA[]]> </soft_name>
<describ><![CDATA[]]></describ>
<file_desc><![CDATA[]]></file_desc>
<upload>0</upload>
<attr_upload>2</attr_upload>
<class><![CDATA[private]]></class>
<malware><![CDATA[cloud.virus]]></malware>
<is_sys_file>0</is_sys_file>
<is_rep>0</is_rep>
<age>0</age>
<pop>0</pop>
</soft>
</softs>
</ret>
數據包包頭是常見的，一般來說，我們只要判斷包頭中含有「HTTP/1.1 200
OK」就可以確定服務端正常返回了數據。另外從內容可以看到這是一個xml格式的數據包，我們只需要判斷是否存在關鍵的欄位即可，比
如<level>，確定這些之後我們就可以在python中添加如下案例代碼了：
首先運行指定的curl命令：
response = os.popen(『『『curl -i --compressed -F "newmd5=###25016566###d:\test.exe###1###" http://172.22.54.31/file_health_info.php
然後判斷返回值中是否存在我們想要的欄位：
self.assertNotEqual(response.find(『HTTP/1.1 200 OK『),-1)
self.assertNotEqual(response.find(『<level>『),-1)
上面的內容看起來差不多可以了，但實際還不夠嚴謹，因為服務端返回的這些數據是從資料庫中獲取的，所以我們還需要查詢資料庫獲取指定值，判斷是否和數據包中的一致，比如<level>：
首先使用python登錄資料庫伺服器：
conn = MySQLdb.connect(host=『172.22.54.31『, user=『user『,passwd=『test321『,db=『cloud『)
cursor = conn.cursor()
count = cursor.execute(『SELECT plevel FROM file where md5=""『)
result = cursor.fetchone()
然後判斷返回值中的level是否資料庫中的值：
self.assertNotEqual(response.find(『『『<level>%s</level>『『『%result[0]),-1)
測試時除了使用cURL等工具進行模擬，還可以自己用python或其他語言寫代碼進行post數據，不過當時簡單起見所以就選擇了用cURL測試。
使用cURL模擬控制台登錄
說到模擬登錄或者模擬點擊，很多同學可能直接聯想到QTP等模擬界面操作的工具，事實上這種工具有一個很大的弊端是太依賴控制項，如果界面控制項變了，
那麼可能整個腳本就無效了，現在的程序設計都傾向界面邏輯分離，這樣修改界面時就不會動到底下的功能介面，開發人員可以隨時修改界面控制項，如果還是採取
QTP等模擬點擊的方法測試，結果可能是事倍功半的，如果測試時直接點用介面就可以避免這種問題。
下面的例子是模擬控制台登錄的，登錄URL為：
http://172.22.54.31:8888/cloud/index.php?r=site/login ，首先使用瀏覽器登錄一次，看看實際效果如何。
Tips：
測試php或其他web程序時建議使用chrome，因為它自帶的Developer
Tools十分好用，當然firefox或者IE9也有類似的工具，看個人習慣吧。按F12打開工具，選擇Network標簽頁，然後輸入用戶名、密碼點
擊登錄，這時Network下方會顯示登錄過程中瀏覽器想控制台請求的所有數據，包括請求類型、表單數據等，這些是我們模擬操作的數據來源。
從上圖可以獲取幾個重點信息：請求URL、請求類型、數據類型、數據內容、並且支持gzip壓縮等。我們用curl模擬如下：
curl -i --compressed http://172.22.54.31:8888/cloud/index.php?r=site/login -d 「username=admin」 -d 「userpass=admin」
使用-i和—compressed的原因再上一個例子已經說了，這里不再贅述，重點是後面的-d，它在官方幫助的解釋是：
-d, --data DATA HTTP POST data (H)
--data-ascii DATA HTTP POST ASCII data (H)
--data-binary DATA HTTP POST binary data (H)
--data-urlencode DATA HTTP POST data url encoded (H)
--delegation STRING GSS-API delegation permission
--digest Use HTTP Digest Authentication (H)
--disable-eprt Inhibit using EPRT or LPRT (F)
--disable-epsv Inhibit using EPSV (F)
而我們從Developer Tools返回的數據已經知道，返回數據的格式是
「application/x-www-form-urlencoded」，所以很明顯需要使用-d的HTTP POST data url encoded特性。不過格式中還有關鍵字form，莫非也支持-F參數登錄，試試：
curl -i --compressed http://172.22.54.31:8888/cloud/index.php?r=site/login -F 「username=admin」 -F 「userpass=admin」，果然成功，呵呵～
也許有同學有疑問，為何不模擬warnsetup、refer，這是因為測試時發現登錄界面只需要用戶名和密碼就夠了，refer 用於記錄來源網頁，在這里用處不大，warnsetup只是用於驗證登錄碼的，這個已經去掉了。
接下來要驗證數據，我們在命令提示符中運行上面的命令，返回結果如下：
HTTP/1.1 302 Moved Temporarily
Date: Fri, 24 Aug 2012 08:29:07 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
X-Powered-By: PHP/5.4.3
Set-Cookie: PHPSESSID=; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: PHPSESSID=; path=/
Location: ./index.php
Server: 360 web server
很奇怪吧，乍一看控制台沒有返回任何有用信息，不過裡面那句HTTP/1.1 302 Moved
Temporarily是不是特別眼熟？這個特殊的302（表示http重定向）正是我們在Developer
Tools看到的狀態值，看到這個已經可以80%確定我們登錄已經成功了，更重要的是返回包中的內容：Location:
./index.php，這說明控制台已經通知請求端跳轉到index.php，如果登錄失敗控制台會繼續停留在當前登錄界面的，我們只需要修改curl
語句中的用戶名或者密碼就知道了，這種情況下返回包就是登錄界面的php源碼，這里不再贅述。
使用cURL以get方式測試控制台搜索介面
測試方法同上面差不多，首先使用chrome打開控制台進入對應頁面，在搜索框中輸入「test.exe」，點擊搜索，使用developer tools抓包，內容如下：
cURL模擬get方式發送數據的參數是-G，了解這個後面要模擬就很簡單了：
curl -i --compressed -G 「http://172.22.54.31:8888/cloud/index.php?r=file_cloud/api/search&filename=&bg=0&lm=19
」
其中每個參數的含義要分別了解：filename表示輸入的關鍵字，bg表示資料庫第一行，lm表示共顯示19行數據。這個介面返回的數據如下：
{"rows":[{"level":"10","plevel":"10","id":"20","md5":"","soft_name":"","soft_desc":"","file_desc":"","is_sys_file":"127","size":"41984","is_rep":"0","file_name":"apihex86.d
ll","file_version":"6.1.7600.16385","proct_version":"6.1.7600.16385","right":"\u00a9 Microsoft Corporation. All rights reserved.","lang":"0","org_name":"YXBpaGV4ODYuZGxs","sign_name":"TWljcm9zb2Z0IFdpbmRvd3M=","company_name":"Microsof
t Corporation","update_time":"2012-07-31 18:14:27","create_time":"2012-07-31 18:14:27","creator_mid":""}],"count":"1"}
分別是文件屬性和文件信息，這涉及到兩個資料庫表，所以驗證數據需要用python從兩張表中獲取對應信息。
從第一張表獲取文件屬性，比如只獲取plevel：
SELECT plevel FROM `file` where md5=""
從第二張表獲取文件信息，比如只獲取company_name：
SELECT company_name FROM file_info where md5=""
Python代碼如下：
conn = MySQLdb.connect(host=『%s『% self.host, user=『user『,passwd=『test321『,db=『cloud『)
cursor = conn.cursor()
count = cursor.execute(『SELECT plevel FROM `file` where md5=""『)
result = cursor.fetchone()
self.assertNotEqual(response.find(str(result[0])),-1)
count = cursor.execute(『SELECT company_name FROM file_info where md5=""『)
result1 = cursor.fetchone()
self.assertNotEqual(response.find(result1[0]),-1)
當然嚴謹的測試案例是每一個屬性欄位都需要進行查找和匹配，這里就不再贅述了。
❽ python pycurl怎樣獲取 curl.setopt作用
#!/usr/bin/envpython
#-*-coding:utf-8-*-
'''
CreatedonDec15,2013
@author:Jay
'''
importsys
importpycurl
importtime
classTest:
def__init__(self):
self.contents=''
defbody_callback(self,buf):
self.contents=self.contents+buf
sys.stderr.write("Testing%s "%pycurl.version)
start_time=time.time()
url='
t=Test()
c=pycurl.Curl()
c.setopt(c.URL,url)
c.setopt(c.WRITEFUNCTION,t.body_callback)
c.perform()
end_time=time.time()
ration=end_time-start_time
printc.getinfo(pycurl.HTTP_CODE),c.getinfo(pycurl.EFFECTIVE_URL)
c.close()
print'pycurltakes%ssecondstoget%s'%(ration,url)
print'lenthofthecontentis%d'%len(t.contents)
#print(t.contents)
❾ 怎麼用python實現用curl命令來上傳本地文件到伺服器上而且上傳以後的路徑和文件名都被改了。希望詳細點
上傳就用pycurl，至於你說的上傳後路徑和文件名被改了那是服務端代碼，不知道你什麼意思？
❿ python的pycurl和curl有什麼區別
這兩個沒啥區別，都是php或者python對curl c庫的介面封裝，底層調用的東西是一樣的，唯一說是不一樣的，估計也就是封裝出來的介面參數可能不一樣。
如果解決了您的問題請採納！
如果未解決請繼續追問