1. python中的爬蟲框架有哪些呢
實現爬蟲技術的編程環境有很多種，java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，Python爬蟲一般用什麼框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用Python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個Python爬蟲框架。
1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。
2. 除了python可以爬蟲還有哪些編程語言可以爬蟲
能夠做網路爬蟲的編程語言很多，包括PHP、Java、C/C++、Python等都能做爬蟲，都能達到抓取想要的數據資源。針對不同的環境，我們需要了解他們做爬蟲的優缺點，才能選出合適的開發環境。
（一）PHP
網路爬蟲需要快速的從伺服器中抓取需要的數據，有時數據量較大時需要進行多線程抓取。PHP雖然是世界上最好的語言，但是PHP對多線程、非同步支持不足，並發不足，而爬蟲程序對速度和效率要求極高，所以說PHP天生不是做爬蟲的。
（二）C/C++
C語言是一門面向過程、抽象化的通用程序設計語言，廣泛應用於底層開發，運行效率和性能是最強大的，但是它的學習成本非常高，需要有很好地編程知識基礎，對於初學者或者編程知識不是很好地程序員來說，不是一個很好的選擇。當然，能夠用C/C++編寫爬蟲程序，足以說明能力很強，但是絕不是最正確的選擇。
（三）Java
在網路爬蟲方面，作為Python最大的對手Java，擁有強大的生態圈。但是Java本身很笨重，代碼量大。由於爬蟲與反爬蟲的較量是持久的，也是頻繁的，剛寫好的爬蟲程序很可能就不能用了。爬蟲程序需要經常性的修改部分代碼。而Java的重構成本比較高，任何修改都會導致大量代碼的變動。
（四）Python
Python在設計上堅持了清晰劃一的風格，易讀、易維護，語法優美、代碼簡潔、開發效率高、第三方模塊多。並且擁有強大的爬蟲Scrapy，以及成熟高效的scrapy-redis分布式策略。實現同樣的爬蟲功能，代碼量少，而且維護方便，開發效率高。
3. 爬蟲怎麼用
網路爬蟲軟體怎麼使用 5分
搜索引擎使用網路爬蟲尋找網路內容，網路上的HTML文檔使用超鏈接連接了起來，就像功成了一張網，網路爬蟲也叫網路蜘蛛，順著這張網爬行，每到一個網頁就用抓取程序將這個網頁純塌抓下來，將內容抽取出來，同時抽取超鏈接，作為進一步爬行的線索。網路爬蟲總是要從某個起點開始爬，這個起點叫做種子，你可以告訴它，也可以到一些網址列表網站上獲取
網頁抓取/數據抽取/信息提取軟體工具包MetaSeeker是一套完整的解決方案，裡面有定題網路爬蟲，也叫聚焦網路爬蟲，這種爬蟲抓取下來一個頁面後並不抽取所有的超鏈接，而是只找主題相關的鏈接，籠統的說就是爬行的范圍是受控的。網路爬蟲實現代碼主要集中在MetaSeeker工具包中的DataScraper工具。可以從 gooseeker網站下載下來看
請詳細解釋什麼事網路爬蟲，有什麼作用
說通俗一點就是一段程序，這段程序可以在互聯網上自動查詢更新的網站
網站剛建好，沒有信息，聽說有個什麼爬蟲，可以自動抓取，怎麼用？
你說的是自動採集的功能，這個需要插件支持自動採集並且你的空間也要支持自動採集...如果你的空間不許你使用採集功能是會把你的網站刪掉的.因為採集佔用的伺服器資源很高，幾乎沒有空間支持採集功能...你告訴我你使用的是什麼建站系統，我可以給你參考參考...如果你需要採集功能可以採用狂人採集器，和很多建站程序都有介面的！
另外搞採集一般都是搞垃圾站的...呵呵....
網路爬蟲是什麼，有很大的作用嗎?
【網路爬蟲】又被稱為網頁蜘蛛，聚焦爬蟲，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻做碧圓、自動索引、模擬程序或者蠕蟲。
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從慧悔萬維網上下載網頁，是搜索引擎的重要組成搐傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
如何利用python寫爬蟲程序
這里有比較詳細的介紹
blog.csdn/column/details/why-bug
java 網路爬蟲怎麼實現
代碼如下:package webspider;import java.util.HashSet;import java.util.PriorityQueue;import java.util.Set;import java.util.Queue;public class LinkQueue { 已訪問的 url *** private static Set visitedUrl = new HashSet(); 待訪問的 url *** private static Queue unVisitedUrl = new PriorityQueue(); 獲得URL隊列 public static Queue getUnVisitedUrl() { return unVisitedUrl; } 添加到訪問過的URL隊列中 public static void addVisitedUrl(String url) { visitedUrl.add(url); } 移除訪問過的URL public static void removeVisitedUrl(String url) { visitedUrl.remove(url); } 未訪問的URL出隊列 public static Object unVisitedUrlDeQueue() { return unVisitedUrl.poll(); } 保證每個 url 只被訪問一次 public static void addUnvisitedUrl(String url) { if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) && !unVisitedUrl.contains(url)) unVisitedUrl.add(url); } 獲得已經訪問的URL數目 public static int getVisitedUrlNum() { return visitedUrl.size(); } 判斷未訪問的URL隊列中是否為空 public static boolean unVisitedUrlsEmpty() { return unVisitedUrl.isEmpty(); }}
如何用Java寫一個爬蟲
import java.io.File;import java.URL;import java.URLConnection;import java.nio.file.Files;import java.nio.file.Paths;import java.util.Scanner;import java.util.UUID;import java.util.regex.Matcher;import java.util.regex.Pattern; public class DownMM { public static void main(String[] args) throws Exception { out為輸出的路徑,注意要以\\結尾 String out = "D:\\JSP\\pic\\java\\"; try{ File f = new File(out); if(! f.exists()) { f.mkdirs(); } }catch(Exception e){ System.out.println("no"); } String url = "mzitu/share/ment-page-"; Pattern reg = Patternpile(">
網路爬蟲軟體怎麼使用？急！！！！！！！！！！
每個人寫的程序用法都不一樣，你自己再看下文檔吧，裡面應該有格式！別這么浪費分！
為什麼寫爬蟲都喜歡用python
有更加成熟的一種爬蟲腳本語言，而非框架。是通用的爬蟲軟體ForeSpider，內部自帶了一套爬蟲腳本語言。
從一個專業C++程序猿的角度說，網上流傳的各種Java爬蟲，Python爬蟲，Java需要運行於C++開發的虛擬機上，Python只是腳本語言，採集效率和性能如何能與強大的C++相提並論？C++直接控制系統的底層，對內存空間的控制和節省都是其他語言無法競爭的。首先，forespider的開發語言是C++，而且C++幾乎沒有現成的框架可以用，而火車採集器是用的C#。先從業界水平和良心來說，這個軟體可以做到從底層到上層都是他們的技術人員自己寫的，而非運用現成的框架結構。
其次，因為抓取金融行業的數據，數據量大，動態性強，而採集對象一般反爬蟲策略又很嚴格。所以，專門建立團隊開發不現實。請外包人員開發太貴。買現成的軟體，要考慮性價比。因為很多數據需要登錄，需要驗證碼，是JS生成的數據，是ajax，是協議，有加密的key，有層層的驗證機制等等，分析市面上所有找得到的爬蟲軟體，沒有找到其他一家可以完全把我們列表上的網站採集下來的軟體。forespider功能強大，這是很重要的一點。
第三，forespider在台式機上運行一天可以采400萬條數據，在伺服器上一天可以采8000萬條數據。這樣一來，數據更新速度明顯比以前快了幾十倍。從前抓一個7500萬的網站需要好幾個月，等抓完數據早都變化的不成樣子了，這是很多爬蟲的痛處。但是現在的更新速度只有兩三天。forespider的性能強大，這也是非常好的一點。
第四，其實完全可視化的採集也不需要計算機專業的。大致學習了之後就可以上手采。而且forespider關於數據的管理做的很好。一是軟體可以集成資料庫，在採集之前就可以建表。二是數據可以自動排重，對於金融這樣數據更新要求很高的行業，就特別合適。
第五，是關於免費的問題，我覺得免費的東西同時還能兼顧好用，只能是中國的盜版軟體和手機APP。大概是大家都習慣了在軟體上不花錢，所以都想找到免費的。forespider有免費版的，功能倒是不限制，但是採集數目每天有限制。
最好用的免費爬蟲工具是什麼?
如果說好用的爬蟲軟體，那確實很多，不過首推造數。
造數雲爬蟲，界面簡潔，操作超級簡便免下載。
現在我們有商務定製需求也會找造數的客服解決。效率很高，不錯。