『壹』 如何在scrapy框架下，用python實現爬蟲自動跳轉頁面來抓去網頁內容
Scrapy是一個用Python寫的Crawler Framework，簡單輕巧，並且非常方便。Scrapy使用Twisted這個非同步網路庫來處理網路通信，架構清晰，並且包含了各種中間件介面，可以靈活地完成各種需求。Scrapy整體架構如下圖所示：
根據架構圖介紹一下Scrapy中的各大組件及其功能：
Scrapy引擎（Engine）：負責控制數據流在系統的所有組建中流動，並在相應動作發生觸發事件。
調度器（Scheler）：從引擎接收Request並將它們入隊，以便之後引擎請求request時提供給引擎。
下載器（Downloader）：負責獲取頁面數據並提供給引擎，而後提供給Spider。
Spider：Scrapy用戶編寫用於分析Response並提取Item（即獲取到的Item）或額外跟進的URL的類。每個Spider負責處理一個特定（或一些網站）。
Item Pipeline：負責處理被Spider提取出來的Item。典型的處理有清理驗證及持久化（例如存儲到資料庫中，這部分後面會介紹存儲到MySQL中，其他的資料庫類似）。
下載器中間件（Downloader middlewares）：是在引擎即下載器之間的特定鉤子（special hook），處理Downloader傳遞給引擎的Response。其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能（後面會介紹配置一些中間並激活，用以應對反爬蟲）。
Spider中間件（Spider middlewares）：是在引擎及Spider之間的特定鉤子（special hook），處理Spider的輸入（response）和輸出（Items即Requests）。其提供了一個簡便的機制，通過插入自定義的代碼來擴展Scrapy功能。
『貳』 python用scrapy框架列印網頁源碼報錯
終於解決了，是控制台編碼的問題，默認是gbk編碼，改成utf8編碼就行，不用在pycharm裡面改編碼。
控制台使用命令：chcp 65001
『叄』 新手python抓取網頁源碼處理
先用id定位，定位到了在用getatribute來獲取value
『肆』 怎麼抓取源碼
用軟體就可以!
webp網頁抓取工具
http://www.tzkk.net/Soft/wl/gj/200504/187.html
『伍』 scrapy和python有什麼關系
有些人問，開發網路爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector還是其他的？這里按照我的經驗隨便扯淡一下：上面說的爬蟲，基本可以分3類：1.分布式爬蟲：Nutch2.JAVA單機爬蟲：Crawler4j、WebMagic、WebCollector3.非JAVA單機爬蟲：scrapy第一類:分布式爬蟲爬蟲使用分布式，主要是解決兩個問題：1)海量URL管理2)網速現在比較流行的分布式爬蟲，是Apache的Nutch。但是對於大多數用戶來說，Nutch是這幾類爬蟲里，最不好的選擇，理由如下：1)Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說，用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新寫一個分布式爬蟲框架了。2)Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲快。3)Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。而且Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在「頁面解析」(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text文本)。4)用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。5)很多人說Nutch2有gora，可以持久化數據到avro文件、hbase、mysql等。很多人其實理解錯了，這里說的持久化數據，是指將URL信息（URL管理所需要的數據）存放到avro、hbase、mysql。並不是你要抽取的結構化數據。其實對大多數人來說，URL信息存在哪裡無所謂。6)Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。如果想用hbase配合nutch（大多數人用nutch2就是為了用hbase)，只能使用0.90版本左右的hbase，相應的就要將hadoop版本降到hadoop0.2左右。而且nutch2的官方教程比較有誤導作用，Nutch2的教程有兩個，分別是Nutch1.x和Nutch2.x，這個Nutch2.x官網上寫的是可以支持到hbase0.94。但是實際上，這個Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之後的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。所以，如果你不是要做搜索引擎，盡量不要選擇Nutch作為爬蟲。有些團隊就喜歡跟風，非要選擇Nutch來開發精抽取的爬蟲，其實是沖著Nutch的名氣（Nutch作者是DougCutting），當然最後的結果往往是項目延期完成。如果你是要做搜索引擎，Nutch1.x是一個非常好的選擇。Nutch1.x和solr或者es配合，就可以構成一套非常強大的搜索引擎了。如果非要用Nutch2的話，建議等到Nutch2.3發布再看。目前的Nutch2是一個非常不穩定的版本。
『陸』 求幫忙解釋一下下面兩段Python代碼的基於scrapy的網路爬蟲框架
簡單的理解就是：
第一段解析網頁內容，並提取需要的數據（這里涉及到很多python的基礎知識）；
第二段是將提取到的數據保存到文件。
『柒』 scrapy源碼的入口是哪個
當你運行 scrapy command arg 這樣的命令時,這里的 scrapy 實質是一個 python 腳本，它接受參數，首先調用 scrapy/cmdline.py 中的 execute() 函數. 在 scrapy 安裝目錄下的 cmdline.py 文件中:
...
def execute(argv=None, settings=None):
if argv is None:
argv = sys.argv
...
if settings is None:
settings = get_project_settings()
check_deprecated_settings(settings)
...
inproject = inside_project()
cmds = _get_commands_dict(settings, inproject)
...
cmd.crawler_process = CrawlerProcess(settings)
...
...
if __name__ == '__main__':
execute()
上面的代碼主要做了這么幾件事:
讀取scrapy.cfg配置文件
讀取settings設置文件
導入相應的mole爬蟲模塊（inside_project）
解析命令行參數(cmds：為相應的Scrapy Command對象列表)
作為整個程序的入口，其主要做的事情是解析用戶爬蟲的配置屬性，根據傳遞的命令行參數，調用對應的代碼來執行相應的任務.
scrapy command arg 中 command 可以為 crawl / startproject / genspider / runspider / deploy / …等命令,每一個命令在 scrapy/commands 文件夾下都有對應 command類.
對於 scrapy crawl test ,就會調用 commands/crawl.py 中的方法去執行相應的爬蟲任務
作者：yg myth
『捌』 為什麼用scrapy的print（response.text）爬出來的網頁源代碼和f12不一致
你老師的代碼在你手裡嗎，現在運行你老師的代碼和你的代碼效果不一樣，那你就比較寫法不一樣啊
如果你說的老師的代碼是視頻里的，那有可能網站本身更新了
『玖』 scrapy如何做到界面管理
沒有，（原來找過，但在scrapy的源碼中沒有找到這玩意兒）。但scrapy開放了源碼，如果想要在web界面上顯示，可以自行修改源碼。或是搭建一個伺服器，然後調用scrapy程序，並將結果顯示到Web UI上。