python爬蟲怎麼定時爬

Ⅰ 如何用python爬蟲定時抓取並生成適合百度和谷歌的網站地圖文件

找到一篇文章講怎麼抓取有動態生成內容的網頁源碼。
http://wenzhang..com/share/article/view?key=957ae0a22a4a40e7-1422332465&uk=2720947696
可以試一試。

Ⅱ python爬蟲怎麼做

Ⅲ 有朋友寫過用python定時頂貼的爬蟲嗎

如果你熟悉python的話，你可以自己編爬蟲來抓取評價；如果覺得時間成本高，可以用採集工具，市面上採集功能有幾個，比如集搜客、網路礦工、狂采等，可以用集搜客
因為是免費的，在官網可以下現成的規則，淘寶天貓搜索列表、商品詳細等；再簡單一點，付費定製數據了。

Ⅳ python中，進行爬蟲抓取怎麼樣能夠使用代理IP

在python中用爬蟲再用到代理伺服器，有兩個辦法，①直接在布署該python爬蟲的電腦上設置代理伺服器，這樣從該電腦上出站的信息就只能由代理伺服器處理了，爬蟲的也不例外，可以搜"windows設置代理伺服器"、"linux設置代理伺服器"。通常是」設置->網路->連接->代理「。
②若想讓python單獨使用這個代理伺服器，可以搜一下"python proxy config"，"python配置代理伺服器"，有一些庫支持簡單的BM代理伺服器連接。

Ⅳ 如何設置python爬蟲的爬取時間

由於項目需求收集並使用過一些爬蟲相關庫，做過一些對比分析。以下是我接觸過的一些庫：

Beautiful Soup。名氣大，整合了一些常用爬蟲需求。缺點：不能載入JS。
Scrapy。看起來很強大的爬蟲框架，可以滿足簡單的頁面爬取（比如可以明確獲知url pattern的情況）。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。

Python基礎教程
mechanize。優點：可以載入JS。缺點：文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
selenium。這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
cola。一個分布式爬蟲框架。項目整體設計有點糟，模塊間耦合度較高，不過值得借鑒。

以下是我的一些實踐經驗：

對於簡單的需求，比如有固定pattern的信息，怎麼搞都是可以的。
對於較為復雜的需求，比如爬取動態頁面、涉及狀態轉換、涉及反爬蟲機制、涉及高並發，這種情況下是很難找到一個契合需求的庫的，很多東西只能自己寫。

至於題主提到的：
還有，採用現有的Python爬蟲框架，相比與直接使用內置庫，優勢在哪？因為Python本身寫爬蟲已經很簡單了。
third party library可以做到built-in library做不到或者做起來很困難的事情，僅此而已。還有就是，爬蟲簡不簡單，完全取決於需求，跟Python是沒什麼關系的。

Ⅵ python 爬蟲如何設置爬取一定時間停止

fromtimeimportsleep

n=0
whilen<=100:
print(n)#動作
sleep(60)#暫停60秒
n=n+1

Ⅶ python爬蟲要自動運行有什麼辦法

爬蟲自己本地就可以啊，不一定要放到伺服器上，弄個台式機，晚上關了顯示器，讓程序自己去運行唄。
當然你也可以試試阿里雲，我在上面部署的scrapy跑的很不錯。

如果解決了您的問題請採納！
如果未解決請繼續追問

Ⅷ python 如何實現web.py定時更新數據

1.1. 需求背景。

每天抓取的是同一份商品的數據，用來做趨勢分析。
要求每天都需要抓一份，也僅限抓取一份數據。
但是整個爬取數據的過程在時間上並不確定，受本地網路，代理速度，抓取數據量有關，一般情況下在20小時左右，極少情況下會超過24小時。
1.2. 實現功能。

通過以下三步，保證爬蟲能自動隔天抓取數據：
每天凌晨00：01啟動監控腳本，監控爬蟲的運行狀態，一旦爬蟲進入空閑狀態，啟動爬蟲。一旦爬蟲執行完畢，自動退出腳本，結束今天的任務。一旦腳本距離啟動時間超過24小時，自動退出腳本，等待第二天的監控腳本啟動，重復這三步。
小編是一名python開發工程師，這里有我自己整理了一套最新的python系統學習教程，包括從基礎的python腳本到web開發、爬蟲、數據分析、數據可視化、機器學習等。想要這些資料的可以關注小編，並在後台私信小編：「01」即可領取
2. 環境。

python 3.6.1
系統：win7
IDE：pycharm
安裝過scrapy
3. 設計思路。

3.1. 前提：目前爬蟲是通過scrapy模塊自帶的cmdline.execute來啟動的。

from scrapy import cmdline
cmdline.execute('scrapy crawl mySpider'.split())12
3.2. 將自動執行腳本做到scrapy爬蟲的外部

（1）每天凌晨00：01啟動腳本（控制腳本的存活時間為24小時），監測爬蟲的運行狀態（需要用一個標記信息來表示爬蟲的狀態：運行還是停止）。
如果爬蟲處於運行狀態（前一天爬取數據尚未結束），進入第（2）步；如果爬蟲處於非運行狀態（前一天的爬取任務已完成，今天的尚未開始），進入第（3）步；
（2）腳本進入等待階段，每隔10分鍾，檢查一下爬蟲的運行狀態，如（1）。但是一旦發現，腳本的等待時間超過了24小時，則自動退出腳本，因為第二天的監測腳本已經開始運行了，接替了它的任務。
（3）做一些爬蟲啟動前的准備工作（刪除用來續爬的文件，防止爬蟲不運行了），啟動爬蟲爬取數據，待爬蟲正常結束後，退出腳本，完成當天的爬取任務。
4. 准備工作。

4.1. 標記爬蟲的運行狀態。

通過判斷文件是否存在的方式來判斷爬蟲是否處於運行狀態：

在爬蟲啟動時，創建一個isRunning.txt文件。
在爬蟲結束時，刪除這個isRunning.txt文件。
那麼isRunning.txt存在，就說明爬蟲正在運行；文件不存在，就說明爬蟲不在運行。

# 文件pipelines.py
# 爬蟲啟動時
checkFile = "isRunning.txt"
class myPipeline:
def open_spider(self, spider):
self.client = MongoClient('localhost:27017') # 連接Mongodb
self.db = self.client['mydata'] # 待存儲數據的資料庫mydata
f = open(checkFile, "w") # 創建一個文件，代表爬蟲在運行中
f.close()123456789
# 文件pipelines.py
# 爬蟲正常結束時
checkFile = "isRunning.txt"
class myPipeline:
def close_spider(self, spider):
self.client.close()
isFileExsit = os.path.isfile(checkFile)
if isFileExsit:
os.remove(checkFile)123456789
4.2. 爬蟲支持續爬，能隨時暫停，方便調試。

# 在scrapy項目中添加start.py文件，用於啟動爬蟲
from scrapy import cmdline
# 在爬蟲運行過程中，會自動將狀態信息存儲在crawls/storeMyRequest目錄下，支持續爬
cmdline.execute('scrapy crawl mySpider -s JOBDIR=crawls/storeMyRequest'.split())
# Note:若想支持續爬，在ctrl+c終止爬蟲時，只能按一次，爬蟲在終止時需要進行善後工作，切勿連續多次按ctrl+c12345

4.3. Log按照每天的日期命名，方便查看和調試

設置Log等級：
# 文件mySpider.py
class mySpider(CrawlSpider):
name = "mySpider"
allowed_domains = ['http://photo.poco.cn/']
custom_settings = {
'LOG_LEVEL':'INFO', # 減少Log輸出量，僅保留必要的信息
# ...... 在爬蟲內部用custom_setting可以讓這個配置信息僅對這一個爬蟲生效
}12345678
以日期為Log文件命名
# 文件settings.py
import datetime
BOT_NAME = 'mySpider'
ROBOTSTXT_OBEY = False
startDate = datetime.datetime.now().strftime('%Y%m%d')
LOG_FILE=f"mySpiderlog{startDate}.txt"123456
4.4. 為數據按日期存儲到不同的表（mongodb的集合）中

# 文件pipelines.py
import datetime
GALANCE=f'galance{datetime.datetime.now().strftime("%Y%m%d")}' # 表名123
class myPipeline:
def open_spider(self, spider):
self.client = MongoClient('localhost:27017') # 連接Mongodb
self.db = self.client['mydata'] # 待存儲數據的資料庫mydata1234
self.db[GALANCE].insert(dict(item))1

4.5. 編寫批處理文件啟動爬蟲

# 文件run.bat
cd /d F:/newClawer20170831/mySpider
call python main.py
pause1234

5. 實現代碼

5.1. 編寫python腳本

# 文件timerStartDaily.py
from scrapy import cmdline
import datetime
import time
import shutil
import os

recoderDir = r"crawls" # 這是為了爬蟲能夠續爬而創建的目錄，存儲續爬需要的數據
checkFile = "isRunning.txt" # 爬蟲是否在運行的標志

startTime = datetime.datetime.now()
print(f"startTime = {startTime}")

i = 0
miniter = 0
while True:
isRunning = os.path.isfile(checkFile)
if not isRunning: # 爬蟲不在執行，開始啟動爬蟲
# 在爬蟲啟動之前處理一些事情，清掉JOBDIR = crawls
isExsit = os.path.isdir(recoderDir) # 檢查JOBDIR目錄crawls是否存在
print(f"mySpider not running, ready to start. isExsit:{isExsit}")
if isExsit:
removeRes = shutil.rmtree(recoderDir) # 刪除續爬目錄crawls及目錄下所有文件
print(f"At time:{datetime.datetime.now()}, delete res:{removeRes}")
else:
print(f"At time:{datetime.datetime.now()}, Dir:{recoderDir} is not exsit.")
time.sleep(20)
clawerTime = datetime.datetime.now()
waitTime = clawerTime - startTime
print(f"At time:{clawerTime}, start clawer: mySpider !!!, waitTime:{waitTime}")
cmdline.execute('scrapy crawl mySpider -s JOBDIR=crawls/storeMyRequest'.split())
break #爬蟲結束之後，退出腳本
else:
print(f"At time:{datetime.datetime.now()}, mySpider is running, sleep to wait.")
i += 1
time.sleep(600) # 每10分鍾檢查一次
miniter += 10
if miniter >= 1440: # 等待滿24小時，自動退出監控腳本
3839
5.2. 編寫bat批處理文件

# 文件runTimerRunDaily.bat
cd /d F:/newClawer20170831/mySpider
call python timerStartDaily.py
pause1234
6. 部署。

6.1. 添加計劃任務。

參考以下這篇博客部署windows計劃任務：

http://blog.csdn.net/zwq912318834/article/details/77280573
有關windows計劃任務相關設置的詳細說明如下：

https://technet.microsoft.com/zh-cn/library/cc722178.aspx
6.2. 注意事項。

（1）在添加計劃任務時，要按照如下圖進行勾選（只在用戶登錄時運行），才能彈出下面的cmd任務界面，方便觀察和調試。
（2）由於爬蟲運行時間很長，如果按照默認設置，在凌晨運行實例時，上一次啟動尚未結束，會導致這次啟動失敗，所以要更改默認設置為（如果此任務已經運行：並行運行新實例。保護機制在於每個啟動腳本在等待24小時候會自動退出，來保證不會重復啟動）。
（3）如果想支持續傳，只能按一次 ctrl + c 來停止爬蟲運行。因為終止爬蟲時，爬蟲需要做一些善後工作，如果連續按多次ctrl + c來停止爬蟲，爬蟲將來不及善後，會導致無法續爬。

Ⅸ Python爬蟲是什麼

為自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁。

網路爬蟲為一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。

將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。

(9)python爬蟲怎麼定時爬擴展閱讀：

網路爬蟲的相關要求規定：

1、由Python標准庫提供了系統管理、網路通信、文本處理、資料庫介面、圖形系統、XML處理等額外的功能。

2、按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢後，爬蟲再深入下一層繼續爬行。

3、文本處理，包含文本格式化、正則表達式匹配、文本差異計算與合並、Unicode支持，二進制數據處理等功能。

Ⅹ Python scrapy爬蟲以scrapyd部署到伺服器上運行，現在想做一個定時爬取任務該怎樣做，scrapyd不支持。

可以用linux 自帶定時任務執行 py 程序就可以了實現的。