python爬蟲設置延時

⑴ 如何使用python爬蟲時增加延時和重試.比如一旦出現500錯誤，就等待1分鍾再重試

def main():
try:
代碼(打開網址的代碼)
except Exception as e:
time模塊延時(自己查一下，我忘了)
main()

⑵ 如何設置python爬蟲的爬取時間

由於項目需求收集並使用過一些爬蟲相關庫，做過一些對比分析。以下是我接觸過的一些庫：

Beautiful Soup。名氣大，整合了一些常用爬蟲需求。缺點：不能載入JS。
Scrapy。看起來很強大的爬蟲框架，可以滿足簡單的頁面爬取（比如可以明確獲知url pattern的情況）。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。

Python基礎教程
mechanize。優點：可以載入JS。缺點：文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
selenium。這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
cola。一個分布式爬蟲框架。項目整體設計有點糟，模塊間耦合度較高，不過值得借鑒。

以下是我的一些實踐經驗：

對於簡單的需求，比如有固定pattern的信息，怎麼搞都是可以的。
對於較為復雜的需求，比如爬取動態頁面、涉及狀態轉換、涉及反爬蟲機制、涉及高並發，這種情況下是很難找到一個契合需求的庫的，很多東西只能自己寫。

至於題主提到的：
還有，採用現有的Python爬蟲框架，相比與直接使用內置庫，優勢在哪？因為Python本身寫爬蟲已經很簡單了。
third party library可以做到built-in library做不到或者做起來很困難的事情，僅此而已。還有就是，爬蟲簡不簡單，完全取決於需求，跟Python是沒什麼關系的。

⑶ 如何優化 Python 爬蟲的速度

1.使用開源的爬蟲庫scrapy，原生支持多線程，還可以設定抓取速率，並發線程數等等參數；除此之外，scrapy對爬蟲提取HTML內容也有良好的支持。
2.優化方法有，開啟gzip，多線程，對於定向採集可以用正則取代xpath，用pycurl代替urlib。

⑷ Python爬蟲，有沒有什麼方法能讓一次請求時間超長後跳過

在body裡面設置一個timeout。然後再包一層try except補獲異常。跳過異常繼續執行代碼，這樣應該可以達到目的

⑸ Python爬蟲異常和超時問題怎麼處理

調用test函數超時監控，使用sleep模擬函數執行超時 2、引入signal模塊，設置handler捕

⑹ python 爬蟲如何設置爬取一定時間停止

fromtimeimportsleep

n=0
whilen<=100:
print(n)#動作
sleep(60)#暫停60秒
n=n+1

⑺ Python爬蟲如何避免爬取網站訪問過於頻繁

一. 關於爬蟲
爬蟲，是一種按照一定的規則自動地抓取互聯網信息的程序。本質是利用程序獲取對我們有利的數據。

反爬蟲，從不是將爬蟲完全杜絕；而是想辦法將爬蟲的訪問量限制在一個可接納的范圍，不要讓它過於頻繁。

二. 提高爬蟲效率的方法
協程。採用協程，讓多個爬蟲一起工作，可以大幅度提高效率。

多進程。使用CPU的多個核，使用幾個核就能提高幾倍。

多線程。將任務分成多個，並發（交替）的執行。

分布式爬蟲。讓多個設備去跑同一個項目，效率也能大幅提升。

打包技術。可以將python文件打包成可執行的exe文件，讓其在後台執行即可。

其他。比如，使用網速好的網路等等。

三. 反爬蟲的措施
限制請求頭，即request header。解決方法：我們可以填寫user-agent聲明自己的身份，有時還要去填寫origin和referer聲明請求的來源。

限制登錄，即不登錄就不能訪問。解決方法：我們可以使用cookies和session的知識去模擬登錄。

復雜的交互，比如設置「驗證碼」來阻攔登錄。這就比較難做，解決方法1：我們用Selenium去手動輸入驗證碼；方法2：我們用一些圖像處理的庫自動識別驗證碼（tesserocr/pytesserart/pillow）。

ip限制。如果這個IP地址，爬取網站頻次太高，那麼伺服器就會暫時封掉來自這個IP地址的請求。 解決方法：使用time.sleep()來對爬蟲的速度進行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。

⑻ 如何實時獲取網站最新消息,python爬蟲,在獲取時時間延遲高嗎

可以自己買個VPS掛爬蟲每隔一定時間獲取，是個思路

⑼ python爬蟲遇到有等待響應的網站怎麼爬取

設置一個
import time

略…
# 做個睡眠時間
t = time.sleep(要睡眠的時間，如05,1,2,)
# 在想寫入文件做個判斷
with open("文件路徑","wb")as f:
f.write(網址,conten)
if == t:
break