㈠ python爬蟲和測試的區別
爬蟲的基本流程
發起請求
通過HTTP庫向目標站點發起請求，也就是發送一個Request，請求可以包含額外的header等信息，等待伺服器響應
獲取響應內容
如果伺服器能正常響應，會得到一個Response，Response的內容便是所要獲取的頁面內容，類型可能是HTML,Json字元串，二進制數據（圖片或者視頻）等類型
解析內容
得到的內容可能是HTML,可以用正則表達式，頁面解析庫進行解析，可能是Json,可以直接轉換為Json對象解析，可能是二進制數據，可以做保存或者進一步的處理
保存數據
保存形式多樣，可以存為文本，也可以保存到資料庫，或者保存特定格式的文件
㈡ python3實現自動化測試 [基於python語言實現自動化測試的研究]
[摘 要]自動化測試近年來的技術已經越來越成熟,在某些方面有著不可替代的作用,例如在性能測試,壓力測試中,自動化測試可以模擬成千上萬個用戶對目標程序進行測試。本文通過對大型實際項目的分析研究,分析針對某一產品的自動化測試框架。然後討論怎樣用python實現自動化測試。
[關鍵詞]測試技術手工測試自動化測試python腳本
[中圖分類號]TP3[文獻標識碼]A[文章編號]1007-9416(2010)03-0088-01
地添加測試用例,為測試用例提供公用函數,執行測試用例,發送測試結果等功能。
1 自動化測試的重要概念
檢查點(CheckPoint):將特定屬性的當前數據與期望數據進行比較的地方,用於判定被測試程序的功能是否正確。
成本收益比:並不是所有的測試都適合自動化測試,衡量一個用例是否適合自動化測試一個很重要的參考是國際上流行的自動化測試成本收益比,即是p=k*n/c1+c2。各個參數的意義下:
K=手工執行自動化測試案例所花費的時間成本。
N=自動化測試案例執行的次數
C1=花費在自動化測試前期的(時間成本+人力成本+金錢成本)
C2=花費在自動化測試後期的(時間成本+人力成本+金錢成本)
二八定律:1897年義大利經濟學家帕列托發現的二八定律在軟體行業同樣適用,而可以給我們很多啟發,指導我們的軟體開發和測試。80%的用戶經常使用的是20%的軟體功能。在軟體測試中,80%的bug是集中在20%的軟體模塊中,對於自動化測試來說,找出這20%的測試用例是至關重要的。
2 自動化測試的執行步驟
每次腳本都是從一個統一的文件開始執行的,就是如上的Start.py。這樣做的好處是可以把每個腳本都需要處理的工作放到一個文件中去執行,例如收集一些配置信息,讀取命令行參數。以這樣統一的處理風格為腳本的可讀性提供了保證,也為簡化了測試腳本的編寫,不用每次都要處理一些基本的事務。
啟動文件Start.py首先會讀取命行參數,如pthon Start.py -s FileMenu.suite -t FileNew
通過python的內置函數sys.argv就可以讀取命令行參數吵肢,非常方便。讀取到命令行參數後,在Start.py內部可以判斷命令行的格式是否符合我們的格式,如測試人員不小心把-s 寫成了-z 這樣就要退出測試執行。
如果輸入的格式是正確的,Start.py 負責在特定的目錄下尋找特定的Suite文件和Testcase。Suite文件和Testcase的格式會在下邊的具體實例中作介紹。
找到特定的Testcase後就可以執行測試用例,根據檢查點的通過或失敗發送測試報告,該報告會以網頁的形式顯示,方便測試人員和開發人員的查找調試。
3 用python實現GUI測試
圖形用戶界面(GUI) 就是使用圖象,輸入的文字,帶圖標的計算機界面,取而代之了許多鍵盤的功能。GUI可以讓用戶通過圖標和滑鼠與計算機進行交互,而不是單調地在命令行中輸入文本進行操作。設計良好的圖形用戶界面可以使用戶從命令中解放出來。
GUI測試主要包括兩個方面:一是純GUI測試,主要關注應用程序上GUI組件是否符合規范或是用戶的使用習慣,二是功能測試,主要是檢驗和驗證系統是否實現了系統的業務需求,旨在驗證系統的業務實現能力。但事實上兩者不是完全獨立的,一方面GUI的測試必定要觸發功能,另一方面,功能測試也一定要通過GUI將搜碰洞事件傳遞給後台服務。
3.1 編寫測試用例
ID 466540 :: Test CaseGeneral UI File Menu
Version 2
世枯PriorityP1
Summary:Verify File New window
Steps
SelectFile -> New
Expected Results
1. The VM creation window should open.
Keywords: i18n
Requirements : None
Created on 09/22/2008 20:58:23by wangw
Last modified on04/17/2009 00:20:53by marian
3.2 測試用例分析
以上是一個完整測試用例, 該測試用例包括:
測試ID 466540 , 有了測試ID就可以在測試人員提交bug後,QA或開發人員通過ID找到這個測試用例。還有一個更大的用處就是,在自動個腳本生成測試報告後,可以根據測試ID把該測試用例顯示在測試報告中,以供測試人員和開發人員調試。
測試名稱,根據測試名稱應該可以很快了解測試用例的內容,所以好的測試名稱也是非常重要的。
測試用例的版本(Version)。
測試優先順序(Priority),測試優先順序也是一個很重要的參數,因為大型項目都要有很多測試用例要執行。只有明確測試優先順序才能確保重要的測試用例得以及時進行,保證軟體質量。
測試用例概述(summary),幫助測試執行人員了解該測試用例的用測的功能。
測試步驟,描述測試人員或是自動化腳本每一步是怎樣操作的,例如本例告訴測試人員選擇菜單Fie,然後選擇菜單項New。
預期結果(Expected Results),說明經過以上測試步驟,期望程序運行出現的結果。
4 結語
本文在明確軟體測試理論的基礎上,對自動化測試做了重點闡述,通過實際項目的自動化測試分析,有些測試用例特別適合用自動化測試。例如GUI測試中,用些是要驗證界面元素是否顯示正常。如果是腳本就可以准確無誤地很快驗證完畢,而用人工驗證不僅容易出錯而且費時間。由於時間和硬體條件有限,本論文規避了許多問題,所以仍有許多工作需要完成。例如:做好腳本的復用,使測試腳本不斷積累。及研究怎樣在測試工具和自己搭建框架中尋找平衡等。
[參考文獻]
[1] 張克東.《軟體工程與軟體測試自動化教程》.北京:電子工業出版社,2002.
[2] 朱菊,王志堅,楊雪.《基於數據驅動的軟體自動化測試框架》[J]計算機技術測試與發展,2006.
[3] 馬瑞芳,王會燃.《計算機軟體測試方法的研究》.小型微型計算機系統,2003.
[4] 朱鴻,金凌紫.《軟體質量保障和測試》[M].北京:電子科學出版社,1997.
本文為全文原貌 未安裝PDF瀏覽器用戶請先下載安裝 原版全文
㈢ python scrapy 利用selenium模擬登錄每個採集一個url都要打開瀏覽器，速度很慢，如何解決
零. 在用scrapy爬取數據中,有寫是通過js返回的數據,如果我們每個都要獲取,那就會相當麻煩,而且查看源碼也看不到數據的,所以能不能像瀏覽器一樣去操作他呢?
所以有了->
Selenium 測試直接在瀏覽器中運行，就像真實用戶所做的一樣。Selenium 測試可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中運行。其他測試工具都不能覆蓋如此多的平台。使用 Selenium 和在瀏覽器中運行測試還有很多其他好處。
㈣ 伺服器如何測試運行速度
不管是虛擬主機還是伺服器，我們都知道，它的穩定性很重要，訪問速度也有著決定性的作用。一般來說，如果訪問速度不好的話，會讓網站載入非常慢。
第一種方法：常見的ping命令。
這個命令與IT打交道的站長並不陌生，一般來說，網站速度不好，或者測試一下是網站問題還是伺服器問題，都會使用這個命令進行測試。那麼具體怎樣檢測租用伺服器的網路是否通暢無延遲呢？
在電腦中點擊開始，運行，然後輸入CMD打開DOS命令窗口。然後輸入網站網址，或者伺服器的IP地址，格式為ping域名，或者pingIP。使用ping命令後，會反饋一個結果，這個昌此結果基本包括了以下幾個信息。
Time，這個是響應時間，時間越小越好，國內伺服器響應時間一般在20-60ms之間。
TTL，這個可以判斷相關的操作系統，TTL=119，則表示是XP系統，不過這個現在一般不準，畢竟伺服器可以修改注冊表TTL類型。
數據包發送信息，這個裡面有個丟纖迅侍包率，數值越小越好，正常都是顯示丟失0。
第二種方法：tracert命令。
測試方法與ping命令類似，只是將ping換成tracert，不過這個命令可以用來檢測終端用戶到伺服器機房的跳數及響應時間，換句話說，就是可以測試出伺服器與全國客戶的連接速度。顯示時間也是以Ms為單位，時間越短越好。
第三種方法：比網站載入速度。
可以利用WhichLoadsFasterFastSoft工具測試一下打開網站速度。基本工作原理是通過連接，在瀏覽器中讓兩個真實的網頁顯示出毀吵來，反應的結果就是兩個網站真實打開速度對比。
第四種方法：網站速度測試工具。
使用GTmetrixgtmetrix有豐富的測量結果，能夠提供相關的網站速度提升建議，站長可以根據這些建議優化站點。然後再逐一找到載入速度變慢的原因。
在選擇服務商時，首先一定要選擇有保障的，方便日常維護。其次就是就要看伺服器的穩定性，伺服器的穩定性對於網站來說非常的重要，因為一點伺服器出現宕機或其他情況，會造成網站的嚴重損失。