經過前面四章的學習，我們已經可以使用Requests庫、Beautiful Soup庫和Re庫，編寫基本的Python爬蟲程序了。那麼這一章就來學習一個專業的網路爬蟲框架--Scrapy。沒錯，是框架，而不是像前面介紹的函數功能庫。
Scrapy是一個快速、功能強大的網路爬蟲框架。
可能大家還不太了解什麼是框架，爬蟲框架其實是實現爬蟲功能的一個軟體結構和功能組件的集合。
簡而言之， Scrapy就是一個爬蟲程序的半成品，可以幫助用戶實現專業的網路爬蟲。
使用Scrapy框架，不需要你編寫大量的代碼，Scrapy已經把大部分工作都做好了，允許你調用幾句代碼便自動生成爬蟲程序，可以節省大量的時間。
當然，框架所生成的代碼基本是一致的，如果遇到一些特定的爬蟲任務時，就不如自己使用Requests庫搭建來的方便了。
PyCharm安裝
測試安裝：
出現框架版本說明安裝成功。
掌握Scrapy爬蟲框架的結構是使用好Scrapy的重中之重！
先上圖：
整個結構可以簡單地概括為： 「5+2」結構和3條數據流
5個主要模塊（及功能）：
（1）控制所有模塊之間的數據流。
（2）可以根據條件觸發事件。
（1）根據請求下載網頁。
（1）對所有爬取請求進行調度管理。
（1）解析DOWNLOADER返回的響應--response。
（2）產生爬取項--scraped item。
（3）產生額外的爬取請求--request。
（1）以流水線方式處理SPIDER產生的爬取項。
（2）由一組操作順序組成，類似流水線，每個操作是一個ITEM PIPELINES類型。
（3）清理、檢查和查重爬取項中的HTML數據並將數據存儲到資料庫中。
2個中間鍵：
（1）對Engine、Scheler、Downloader之間進行用戶可配置的控制。
（2）修改、丟棄、新增請求或響應。
（1）對請求和爬取項進行再處理。
（2）修改、丟棄、新增請求或爬取項。
3條數據流：
（1）：圖中數字 1-2
1：Engine從Spider處獲得爬取請求--request。
2：Engine將爬取請求轉發給Scheler，用於調度。
（2）：圖中數字 3-4-5-6
3：Engine從Scheler處獲得下一個要爬取的請求。
4：Engine將爬取請求通過中間件發送給Downloader。
5：爬取網頁後，Downloader形成響應--response，通過中間件發送給Engine。
6：Engine將收到的響應通過中間件發送給Spider處理。
（3）：圖中數字 7-8-9
7：Spider處理響應後產生爬取項--scraped item。
8：Engine將爬取項發送給Item Pipelines。
9：Engine將爬取請求發送給Scheler。
任務處理流程：從Spider的初始爬取請求開始爬取，Engine控制各模塊數據流，不間斷從Scheler處獲得爬取請求，直至請求為空，最後到Item Pipelines存儲數據結束。
作為用戶，只需配置好Scrapy框架的Spider和Item Pipelines，也就是數據流的入口與出口，便可完成一個爬蟲程序的搭建。Scrapy提供了簡單的爬蟲命令語句，幫助用戶一鍵配置剩餘文件，那我們便來看看有哪些好用的命令吧。
Scrapy採用命令行創建和運行爬蟲
PyCharm打開Terminal，啟動Scrapy：
Scrapy基本命令行格式：
具體常用命令如下：
下面用一個例子來學習一下命令的使用：
1.建立一個Scrapy爬蟲工程，在已啟動的Scrapy中繼續輸入：
執行該命令，系統會在PyCharm的工程文件中自動創建一個工程，命名為pythonDemo。
2.產生一個Scrapy爬蟲，以教育部網站為例http://www.moe.gov.cn：
命令生成了一個名為demo的spider，並在Spiders目錄下生成文件demo.py。
命令僅用於生成demo.py文件，該文件也可以手動生成。
觀察一下demo.py文件：
3.配置產生的spider爬蟲，也就是demo.py文件：
4.運行爬蟲，爬取網頁：
如果爬取成功，會發現在pythonDemo下多了一個t20210816_551472.html的文件，我們所爬取的網頁內容都已經寫入該文件了。
以上就是Scrapy框架的簡單使用了。
Request對象表示一個HTTP請求，由Spider生成，由Downloader執行。
Response對象表示一個HTTP響應，由Downloader生成，有Spider處理。
Item對象表示一個從HTML頁面中提取的信息內容，由Spider生成，由Item Pipelines處理。Item類似於字典類型，可以按照字典類型來操作。
2. 如何在scrapy框架下，用python實現爬蟲自動跳轉頁面來抓去網頁內容
Scrapy是一個用Python寫的Crawler Framework，簡單輕巧，並且非常方便。Scrapy使用Twisted這個非同步網路庫來處理網路通信，架構清晰，並且包含了各種中間件介面，可以靈活地完成各種需求。Scrapy整體架構如下圖所示：
根據架構圖介紹一下Scrapy中的各大組件及其功能：
Scrapy引擎（Engine）：負責控制數據流在系統的所有組建中流動，並在相應動作發生觸發事件。
調度器（Scheler）：從引擎接收Request並將它們入隊，以便之後引擎請求request時提供給引擎。
下載器（Downloader）：負責獲取頁面數據並提供給引擎，而後提供給Spider。
Spider：Scrapy用戶編寫用於分析Response並提取Item（即獲取到的Item）或額外跟進的URL的類。每個Spider負責處理一個特定（或一些網站）。
Item Pipeline：負責處理被Spider提取出來的Item。典型的處理有清理驗證及持久化（例如存儲到資料庫中，這部分後面會介紹存儲到MySQL中，其他的資料庫類似）。
下載器中間件（Downloader middlewares）：是在引擎即下載器之間的特定鉤子（special hook），處理Downloader傳遞給引擎的Response。其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能（後面會介紹配置一些中間並激活，用以應對反爬蟲）。
Spider中間件（Spider middlewares）：是在引擎及Spider之間的特定鉤子（special hook），處理Spider的輸入（response）和輸出（Items即Requests）。其提供了一個簡便的機制，通過插入自定義的代碼來擴展Scrapy功能。
3. python scrapy 怎麼將爬取的內容寫出
首先，安裝Python，坑太多了，一個個爬。由於我是windows環境，沒錢買mac, 在安裝的時候遇到各種各樣的問題，確實各種各樣的依賴。安裝教程不再贅述。如果在安裝的過程中遇到 ERROR：需要windows c/c++問題，一般是由於缺少windows開發編譯環境，晚上大多數教程是安裝一個VisualStudio，太不靠譜了，事實上只要安裝一個WindowsSDK就可以了。下面貼上我的爬蟲代碼：
爬蟲主程序：
[python]view plain
#-*-coding:utf-8-*-
importscrapy
fromscrapy.httpimportRequest
fromzjf.FsmzItemsimportFsmzItem
fromscrapy.selectorimportSelector
#圈圈：情感生活
classMySpider(scrapy.Spider):
#爬蟲名
name="MySpider"
#設定域名
allowed_domains=["nvsheng.com"]
#爬取地址
start_urls=[]
#flag
x=0
#爬取方法
defparse(self,response):
item=FsmzItem()
sel=Selector(response)
item['title']=sel.xpath('//h1/text()').extract()
item['text']=sel.xpath('//*[@class="content"]/p/text()').extract()
item['imags']=sel.xpath('//div[@id="content"]/p/a/img/@src|//div[@id="content"]/p/img/@src').extract()
ifMySpider.x==0:
page_list=MySpider.getUrl(self,response)
forpage_singleinpage_list:
yieldRequest(page_single)
MySpider.x+=1
yielditem
#init:動態傳入參數
#命令行傳參寫法：scrapycrawlMySpider-astart_url="e_url"
def__init__(self,*args,**kwargs):
super(MySpider,self).__init__(*args,**kwargs)
self.start_urls=[kwargs.get('start_url')]
defgetUrl(self,response):
url_list=[]
select=Selector(response)
page_list_tmp=select.xpath('//div[@class="viewnewpages"]/a[not(@class="next")]/@href').extract()
forpage_tmpinpage_list_tmp:
ifpage_tmpnotinurl_list:
url_list.append("px/"+page_tmp)
returnurl_list
[python]view plain
#-*-coding:utf-8-*-
#Defineyouritempipelineshere
#
#Don'_PIPELINESsetting
fromzjfimportsettings
importjson,os,re,random
importurllib.request
importrequests,json
fromrequests_toolbelt.multipart.encoderimportMultipartEncoder
classMyPipeline(object):
flag=1
post_title=''
post_text=[]
post_text_imageUrl_list=[]
cs=[]
user_id=''
def__init__(self):
MyPipeline.user_id=MyPipeline.getRandomUser('37619,18441390,18441391')
#processthedata
defprocess_item(self,item,spider):
#獲取隨機user_id，模擬發帖
user_id=MyPipeline.user_id
#獲取正文text_str_tmp
text=item['text']
text_str_tmp=""
forstrintext:
text_str_tmp=text_str_tmp+str
#print(text_str_tmp)
#獲取標題
ifMyPipeline.flag==1:
title=item['title']
MyPipeline.post_title=MyPipeline.post_title+title[0]
#保存並上傳圖片
text_insert_pic=''
text_insert_pic_w=''
text_insert_pic_h=''
forimag_urlinitem['imags']:
img_name=imag_url.replace('/','').replace('.','').replace('|','').replace(':','')
pic_dir=settings.IMAGES_STORE+'%s.jpg'%(img_name)
urllib.request.urlretrieve(imag_url,pic_dir)
#圖片上傳，返回json
upload_img_result=MyPipeline.uploadImage(pic_dir,'image/jpeg')
#獲取json中保存圖片路徑
text_insert_pic=upload_img_result['result']['image_url']
text_insert_pic_w=upload_img_result['result']['w']
text_insert_pic_h=upload_img_result['result']['h']
#拼接json
ifMyPipeline.flag==1:
cs_json={"c":text_str_tmp,"i":"","w":text_insert_pic_w,"h":text_insert_pic_h}
else:
cs_json={"c":text_str_tmp,"i":text_insert_pic,"w":text_insert_pic_w,"h":text_insert_pic_h}
MyPipeline.cs.append(cs_json)
MyPipeline.flag+=1
returnitem
#spider開啟時被調用
defopen_spider(self,spider):
pass
#sipder關閉時被調用
defclose_spider(self,spider):
strcs=json.mps(MyPipeline.cs)
jsonData={"apisign":"","user_id":MyPipeline.user_id,"gid":30,"t":MyPipeline.post_title,"cs":strcs}
MyPipeline.uploadPost(jsonData)
#上傳圖片
defuploadImage(img_path,content_type):
"uploadImagefunctions"
#UPLOAD_IMG_URL="dpostimage"
UPLOAD_IMG_URL="oadpostimage"
#傳圖片
#imgPath='D:picshttp___img_nvsheng_com_uploads_allimg_170119_18-1f1191g440_jpg.jpg'
m=MultipartEncoder(
#fields={'user_id':'192323',
#'images':('filename',open(imgPath,'rb'),'image/JPEG')}
fields={'user_id':MyPipeline.user_id,
'apisign':'',
'image':('filename',open(img_path,'rb'),'image/jpeg')}
)
r=requests.post(UPLOAD_IMG_URL,data=m,headers={'Content-Type':m.content_type})
returnr.json()
defuploadPost(jsonData):
CREATE_POST_URL="hmagespost"
[python]view plain
reqPost=requests.post(CREATE_POST_URL,data=jsonData)
[python]view plain
defgetRandomUser(userStr):
user_list=[]
user_chooesd=''
foruser_idinstr(userStr).split(','):
user_list.append(user_id)
userId_idx=random.randint(1,len(user_list))
user_chooesd=user_list[userId_idx-1]
returnuser_chooesd
[python]view plain
#-*-coding:utf-8-*-
#
#
#Seedocumentationin:
importscrapy
classFsmzItem(scrapy.Item):
#:
#name=scrapy.Field()
title=scrapy.Field()
#tutor=scrapy.Field()
#strongText=scrapy.Field()
text=scrapy.Field()
imags=scrapy.Field()
這樣就可以爬取aaa.com下的內容了
4. python中的scrapy是什麼意思a
Scrapy英文意思是刮擦
被用來命名爬蟲界知名的框架。
使用這個框架可以輕易實現常規網頁採集。也支持大型架構。升級後redis更是支持分布式。利用scrapyd更是可以發布服務。
從事爬蟲方向必學！
5. python爬蟲怎麼做
大到各類搜索引擎，小到日常數據採集，都離不開網路爬蟲。爬蟲的基本原理很簡單，遍歷網路中網頁，抓取感興趣的數據內容。這篇文章會從零開始介紹如何編寫一個網路爬蟲抓取數據做告宏，然後會一步步逐漸完善爬蟲的抓取功能。
工具安裝
我們需要安裝python，python的requests和BeautifulSoup庫。我們用Requests庫用抓取網頁的內容，使用BeautifulSoup庫來從網頁中提取數據。
安裝python
運行pipinstallrequests
運行pipinstallBeautifulSoup
抓取網頁
完成必要工具安裝後，我們正式開始編寫我們的爬蟲。我們的第一個任務是要抓取所有豆瓣上的圖書信息。我們以/subject/26986954/為例，首先看看開如何抓取網頁的內容。
使用python的requests提供的get()方法我們可以非常簡單的獲取的指定網頁的內純冊容,代碼如下：
提取內容
抓取到網頁的內容後，我們要做的就是提取出我們想要的內容。在我們的第一個例子中，我們只需要提取書名。首先我們導入BeautifulSoup庫，使用BeautifulSoup我們可以非常簡單的提取網頁的特定內容。
連續抓取網頁
到目前為止，我們已經可以抓取單個網頁的內容了，現在讓我們看看如何抓取整個網站的內容。我們知道網頁之間是通過超鏈接互相連接在一起的，通過鏈接我們可以訪問整個網路。所以我們可以從每個頁面提取出包含指向其它網頁的鏈接，然後重復的對新鏈接進行抓取。
通過以上幾步我們就可以寫出一個最原始的爬蟲。在理解了爬蟲原理的基礎上，我們可以進一步對爬蟲進行完善。
寫過一個系列關於爬蟲的文章：/i6567289381185389064/。感興趣的可以前往查看。
Python基本環境的搭建，爬蟲的基本原理以及爬蟲的原型
Python爬蟲入門(第1部分)
如何使用BeautifulSoup對網頁內容進行提取
Python爬蟲入門(第2部分)
爬蟲運行時數據的存儲數據，以SQLite和MySQL作為示例
Python爬蟲入門(第3部分)
使用seleniumwebdriver對動態網頁進行抓取
Python爬蟲入門(第4部分)
討論了如何處理網站的反爬蟲策略
Python爬友如蟲入門(第5部分)
對Python的Scrapy爬蟲框架做了介紹，並簡單的演示了如何在Scrapy下進行開發
Python爬蟲入門(第6部分)
6. scrapy和python有什麼關系
Scrapy是Python開發的一個快速、高層次的web數據抓取框架，用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途廣泛，可以用於數據挖掘和監測。
Scrapy吸引人的地方在於它是一個框架，任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等。
Scrapy算得上是Python世界中最常用的爬蟲框架了，同時它也是我掌握的幾種流行語言中最好的爬蟲框架，沒有之一！我認為它也是最難學習的框架，同樣沒有之一。很多初學Scarpy的經常向我抱怨完全不清楚Scrapy該怎樣入手，即使看的是中文的文檔，也感到很難理解。我當初接觸Scrapy時也有這樣的感覺。之所以感到Scrapy難學，究其原因，是其官方文檔實在太過凌亂，又缺少實用的代碼例子，讓人看得雲里霧里，不知其所已然。雖然其文檔不良，但卻沒有遮擋住它的光輝，它依然是Python世界中目前最好用的爬蟲框架。其架構的思路、蜘蛛執行的效能，還有可擴展的能力都非常出眾，再配以Python語言的簡潔輕巧，使得爬蟲的開發事半功倍。
相關推薦：《Python基礎教程》
Scrapy的優點：
（1）提供了內置的HTTP緩存，以加速本地開發。
（2）提供了自動節演調節機制，而且具有遵守robots.txt的設置的能力。
（3）可以定義爬行深度的限制，以避免爬蟲進入死循環鏈接。
（4）會自動保留會話。
（5）執行自動HTTP基本認證。不需要明確保存狀態。
（6）可以自動填寫登錄表單。
（7）Scrapy有一個內置的中間件，可以自動設置請求中的引用(referrer)頭。
（8）支持通過3xx響應重定向，也可以通過HTML元刷新。
（9）避免被網站使用的meta重定向困住，以檢測沒有JS支持的頁面。
（10）默認使用CSS選擇器或XPath編寫解析器。
（11）可以通過Splash或任何其他技術(如Selenium)呈現JavaScript頁面。
（12）擁有強大的社區支持和豐富的插件和擴展來擴展其功能。
（13）提供了通用的蜘蛛來抓取常見的格式：站點地圖、CSV和XML。
（14）內置支持以多種格式(JSON、CSV、XML、JSON-lines)導出收集的數據並將其存在多個後端(FTP、S3、本地文件系統)中。
Scrapy框架原理
Scrapy Engine(引擎)：負責Spider、ItemPipeline、Downloader、Scheler中間的通訊，信號、數據傳遞等。
Scheler(調度器)：負責接收引擎發送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
Downloader(下載器)：負責下載Scrapy Engine(引擎)發送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
Spider（爬蟲）：負責處理所有Responses,從中分析提取數據，獲取Item欄位需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheler(調度器)，
Item Pipeline(管道)：負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、存儲等）的地方.
Downloader Middlewares(下載中間件)：你可以當作是一個可以自定義擴展下載功能的組件。
Spider Middlewares(Spider中間件)：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）
Scrapy各個組件介紹
·Scrapy Engine：
引擎負責控制數據流在系統中所有組件中流動,並在相應動作發生時觸發事件。它也是程序的入口,可以通過scrapy指令方式在命令行啟動,或普通編程方式實例化後調用start方法啟動。
·調度器(Scheler)
調度器從引擎接收爬取請求(Request)並將它們入隊,以便之後引擎請求它們時提供給引擎。一般來說,我們並不需要直接對調度器進行編程,它是由Scrapy主進程進行自動控制的。
·下載器(Down-loader)
下載器負責獲取頁面數據並提供給引擎,而後將網站的響應結果對象提供給蜘蛛(Spider)。具體點說,下載器負責處理產生最終發出的請求對象 Request 並將返回的響應生成 Response對象傳遞給蜘蛛。
·蜘蛛——Spiders
Spider是用戶編寫用於分析響應(Response)結果並從中提取Item(即獲取的Item)或額外跟進的URL的類。每個Spider負責處理一個特定(或一些)網站。
·數據管道——Item Pipeline
Item Pipeline 負責處理被 Spider 提取出來的 Item。 典型的處理有清理、驗證及持久化(例如,存取到資料庫中)。
·下載器中間件(Downloader middle-wares)
下載器中間件是在引擎及下載器之間的特定鉤子(specific hook),處理Downloader傳遞給引擎的Response。其提供了一個簡便的機制,通過插入自定義代碼來擴展Scrapy的功能。
·Spider中間件(Spider middle-wares)
Spider 中間件是在引擎及 Spider 之間的特定鉤子(specific hook),處理 Spider 的輸入(Response)和輸出(Items及Requests)。其提供了一個簡便的機制,通過插入自定義代碼來擴展Scrapy的功能。
從Scrapy的系統架構可見,它將整個爬網過程進行了非常具體的細分,並接管了絕大多數復雜的工作,例如,產生請求和響應對象、控制爬蟲的並發等。