scrapy命令

『壹』 scrapy的extract命令有何作用

大概意思就是你用css選擇器選擇了一個標簽里的一個元素，用了extract()方法，返回的結果是那整個標簽，用列表的方法返回

『貳』 在pycharm中編寫python爬蟲怎麼解決scrapy沒有crawl命令問題

答案很簡單，四步：
新建項目 (Project)：新建一個新的爬蟲項目
明確目標（Items）：明確你想要抓取的目標
製作爬蟲（Spider）：製作爬蟲開始爬取網頁
存儲內容（Pipeline）：設計管道存儲爬取內容

『叄』 請簡述scrapy創建項目的流程以及相應語句,對相關參數進行解釋

摘要 一.創建項目

『肆』 同時裝有python2.7 python3.5 scrapy命令怎麼在python2.7上面運行

終端scrapy命令實際上是調用了python安裝文件夾的子文件夾Scripts里的scrapy.exe(windows系統)或者scrapy.sh(linux系統)

所以如果你在終端鍵入scrapy執行的是python3.5的, 說明你的默認python是3.5

這個時候要想執行python2.7的,有幾個方法:

1. 改變path環境變數, 設置python2.7為默認python(這個太麻煩, 不推薦)

2. 執行scrapy命令(假設要執行scrapy startproject projectname)的時候不直接鍵入scrapy, 而是加上scrapy的絕對路徑,

   windows上: C:InstallAnaconda2Scriptsscrapy startproject projectname

   linux 同理

3. 把python2.7的scrapy.exe所在的文件夾(我這里是C:InstallAnaconda2Scripts)添加到環境變數Path里, 將scrapy.exe重命名為scrapy2.exe(linux同理)

   然後終端運行的時候就輸入 scrapy2 startproject projectname 即可

4. 用virtualenv創建兩個隔離的虛擬python環境, 分別執行

『伍』 究竟在哪裡打開Scrapy 命令行，當我不是在scrapy的安裝目錄下打開命令行運算符時，scrapy為什麼就用不了

因為沒有把路徑添加到 PATH 環境變數 中，所以，當前路徑不是安裝目錄時，打不開的。。。。。。。。。。。。。。

『陸』 Python中Scrapy框架中寫運行命令，為啥我這沒有結果，去掉nolog有運行結果，加上啥都沒

-nolog的意思就是不顯示運行相關的信息。但是程序已經執行了，主要是網路訪問的信息很多，為了避免看不過來所以加這個選項的。

『柒』 scrapy命令是否必須在cmd狀態下才能用

關於如何查看埠是否被佔用，可以根據以下步驟來操作：1、開始---->運行---->cmd，或者是window+R組合鍵，調出命令窗口；2、輸入命令：netstat-ano，列出所有埠的情況。在列表中觀察被佔用的埠，比如是49157，首先找到它。3、查看被佔用埠對應的PID，輸入命令：netstat-aon|findstr"49157"，回車，記下最後一位數字，即PID,這里是2720。4、繼續輸入tasklist|findstr"2720"，回車，查看是哪個進程或者程序佔用了2720埠，結果是：svchost.exe5、或者是打開任務管理器，切換到進程選項卡，在PID一列查看2720對應的進程是誰，如果看不到PID這一列,如下圖：6、則點擊查看--->選擇列，將PID(進程標示符)前面的勾打上，點擊確定。7、這樣就看到了PID這一列標識，看一下2720對應的進程是誰，如果沒有，把下面的顯示所有用戶的進程前面的勾打上，就可以看到了，映像名稱是svchost.exe，描述是，Windows的主進程,與上面命令查看的完全一致。8、結束該進程：在任務管理器中選中該進程點擊」結束進程「按鈕，或者是在cmd的命令窗口中輸入：taskkill/f/t/imTencentdl.exe。

『捌』 寫個shell腳本要啟動scrapy框架!現在情況是啟動會列印第三橫的內容,第二句scrapy crawl命令並不會執行

用$把命令括起來:$((scrapy crawl ch))

『玖』 如何在eclipse中使用scrapy

步驟如下：

一、創建項目

如果安裝了最新的pydev，創建一個新項目會有三個選項，這里直接選擇一個普通的python項目即可，此時查看項目目錄，目錄項只有兩個工程文件。

配置完成，點擊Debug按鈕，如果能正常顯示類似於下面的信息則說明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:

至此eclipse + pydev開發環境debug Scrapy就全部完成了。

『拾』 scrapy 怎樣添加命令行參數

在scrapy使用過程中，很多情況下需要根據實際需求定製自己的擴展，小到實現自己的pipelines，大到用新的scheler替換默認的scheler。

擴展可以按照是否需要讀取crawler大致分為兩種，對於不需要讀取的，比如pipelines的編寫，只需要實現默認的方法porcess_item。需要讀取的，如scheler的編寫又存在另外的方式。

1.第一種
這種處理起來比較簡單，一般是根據scrapy的signals實現相應的處理。具體實現可見文檔pipelines的編寫方法。

2.第二種
（1）區別：
這種方式和第一種的主要區別是需要使用crawler內部信息，比如接收內部信號，如signals.spider_opened等。還體現在對設置setting.py的是否需要讀取上。

（2）實現：
i)讀取設置一般通過from_settings函數實現。一下是scrapy-redis中scheler的from_settings的實現方法：

def from_settings(cls, settings):
persist = settings.get('SCHEDULER_PERSIST', SCHEDULER_PERSIST)
queue_key = settings.get('SCHEDULER_QUEUE_KEY', QUEUE_KEY)
queue_cls = load_object(settings.get('SCHEDULER_QUEUE_CLASS', QUEUE_CLASS))
pefilter_key = settings.get('DUPEFILTER_KEY', DUPEFILTER_KEY)
idle_before_close = settings.get('SCHEDULER_IDLE_BEFORE_CLOSE', IDLE_BEFORE_CLOSE)
server = connection.from_settings(settings)
return cls(server, persist, queue_key, queue_cls, pefilter_key, idle_before_close)
ii)from_crawler()

Scrapy API的主要入口是 Crawler 的實例對象， 通過類方法 from_crawler 將它傳遞給擴展(extensions)。 該對象提供對所有Scrapy核心組件的訪問， 也是擴展訪問Scrapy核心組件和掛載功能到Scrapy的唯一途徑。

實現例子如下：

def from_crawler(cls, crawler):
instance = cls.from_settings(crawler.settings)
return instance
iii)其它函數

想pipelines中的process_item一樣，有些函數是此類型組建所必需的，整個框架在執行時會使用到次函數，所以必須加以實現。如scheler中的enqueue_request、next_request等函數。

最難處理的也是第iii種，這需要全局了解scrapy運行邏輯，函數調用關系等。比較簡單的方式是按照原組件的函數功能，函數返回值等根據自己編寫的擴展的功能重新實現。就是照葫蘆畫瓢。

scrapy內data stream在其文檔的架構上已經說明，但是轉化到代碼上好難找啊。