㈠ java適合寫爬蟲嗎
JAVA也可以實現爬蟲，比如jsoup包，一個非常方便解析html的工具呢。
不過相對來說，java語言笨重，稍微有些麻煩。
㈡ java jsoup怎樣爬取特定網頁內的數據
1、Jsoup簡述
Java中支持的爬蟲框架有很多，比如WebMagic、Spider、Jsoup等。
Jsoup擁有十分方便的api來處理html文檔，比如參考了DOM對象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁面數據的技巧。
2、快速開始
1)分析HTML頁面，明確哪些數據是需要抓取的
2)使用HttpClient讀取HTML頁面
HttpClient是一個處理Http協議數據的工具，使用它可以將HTML頁面作為輸入流讀進java程序中.
3)使用Jsoup解析html字元串
通過引入Jsoup工具，直接調用parse方法來解析一個描述html頁面內容的字元串來獲得一個Document對象。該Document對象以操作DOM樹的方式來獲得html頁面上指定的內容。
3、保存爬取的頁面數據
1)保存普通數據到資料庫中
將爬取的數據封裝進實體Bean中，並存到資料庫內。
2)保存圖片到伺服器上
直接通過下載圖片的方式將圖片保存到伺服器本地。
㈢ 菜鳥求教 java爬蟲 Jsoup 查找元素 求教如何select出來這四個數據，謝謝！
Elements elestb = Jsoup.select("table");
Elelments elestr = elestb.get(0).select("tr");
Elements eles= elestr.get(1).select("a");
//第一個
String a1 = elestd.get(0).text();
//第二個
String a2 = elestd.get(1).text();
Elements elestd = elestr.get(1).select("td");
//第三個
String td1 = elestd.get(2).text();
//第四個
String td2 = elestd.get(3).text();
㈣ java jsoup 爬蟲 怎麼防止重復爬取
正好最近在學習這方面的內容。
兩種思路：
可以將當前爬取的url存在一個list中作登記，在下一次開始爬子鏈接的時候進行比對，如果已經存在在list中則跳過，如果不存在那麼繼續爬
可以將所有的url網路先遍歷一遍存在list中，然後根據list而不是再次訪問子鏈接url進行爬取，在url存入list的過程中進行查重處理
順便為了方便控制。建議設置爬取深度，在一定深度內進行爬取。
㈤ Java里，jsoup爬蟲問題，求解
首先IP是不能偽造的，因為涉及到tcp/ip的通信問題。除非你根本不想要返回結果，那就成了DDOS攻擊了，最常見的是更換代理。使用代理訪問。
既然是過於頻繁就把調用時間弄長點。這樣估計就可以了。
㈥ （java爬蟲）jsoup為什麼兩個標簽之間的文本不顯示
這是開發者工具解析到的一個論壇頁面結構。。
可以看到每一個a標簽和br標簽之間總會夾著一個text,,也就是密碼文本。而我根據網上的
API教程：
siblingA ~ siblingX: 查找A元素之前的同級X元素，比如：h1 ~ p
寫成這樣
Elements links_1 = tdsm.select("#postmessage_24532691>br~text");
然後列印_links_1.size為0.也就是並沒有匹配到一個元素
特此求正確寫法
1、用找的標簽調用一下text（）這個方法就可以得到兩個標簽之間的內容了
2、Element對象的textNodes()或ownText()方法。
㈦ 詳解如何基於Java用Jsoup爬蟲HTML數據
1、要爬蟲一個html數據在之前可以使用HtmlParser，見鏈接http://www.cnblogs.com/loveyakamoz/archive/2011/07/27/2118937.html 但自從jsoup誕生後，使用比HtmlParser更方面。此處就是利用jsoup解析html的，需要載入lib文件夾下的jsoup-1.7.2.jar、jsoup-1.7.2-sources.jar，自己add to build path即可。
後者是源碼，可以查看，真正的包就第一個。
2、jsoup可以直接打開一個網頁url，此處為了方便已經寫了從url獲取string類型的html代碼了。所以可以直接利用Document doc = Jsoup.parse(htmlStr); 得到Document類。