Ⅰ 如何爬取移動互聯網上的數據
移動端的數據也是可以爬取的，只不過要是網頁顯示的內容才可以，APP的不可以的。
Ⅱ 如何通過手機app獲取伺服器資料庫數據
首先不要管安卓端還是蘋果端，現在一般都是響應式的app，你放到安卓或者蘋果或者pc或者平板都是沒有問題的。一般採用的是http介面通訊，或者socket連接。具體你要去查資料找Demo了。而且現在主流是採用html5開發或者混合開發了。所以最好是伺服器提供appAPI介面，通過http訪問伺服器，獲取數據，數據一般是json，或者xml，拿到後解析數據就可以了，然後再用UI框架或者其他框架或者自定義的UI封裝下格式很漂亮了，至於cookie和session等，看你的習慣，網路驗證和簽名那些也自己看習慣，如果涉及到大數據，還需要引入第三方框架的，直接引入就可以了，不過推薦自己寫，防止侵權。都是很通用的。
Ⅲ 如何爬取網站上的某一信息
兩類網站可以用不同的方法去爬取
一、開放API的網站
一個網站如果開放了API，那麼就可以直接GET到它的json數據。有三種方法可以判斷一個網站是否開放了API。
1、在站內尋找API入口；
2、用搜索引擎搜索「某網站API」；
3、抓包。有的網站雖然用到了ajax，但是通過抓包還是能夠獲取XHR里的json數據的（可用抓包工具抓包，也可以通過瀏覽器按F12抓包：F12-Network-F5刷新）。
二、不開放API的網站
1、如果網站是靜態頁面，那麼可以用requests庫發送請求，再通過HTML解析庫（lxml、parsel等）來解析響應的text；解析庫強烈推薦parsel，不僅語法和css選擇器類似，而且速度也挺快，Scrapy用的就是它。
2、如果網站是動態頁面，可以先用selenium來渲染JS，再用HTML解析庫來解析driver的page_source。
Ⅳ 如何爬蟲網頁數據
爬取網頁數據原理如下：
如果把互聯網比作蜘蛛網，爬蟲就是蜘蛛網上爬行的蜘蛛，網路節點則代表網頁。當通過客戶端發出任務需求命令時，ip將通過互聯網到達終端伺服器，找到客戶端交代的任務。一個節點是一個網頁。蜘蛛通過一個節點後，可以沿著幾點連線繼續爬行到達下一個節點。
簡而言之，爬蟲首先需要獲得終端伺服器的網頁，從那裡獲得網頁的源代碼，若是源代碼中有有用的信息，就在源代碼中提取任務所需的信息。然後ip就會將獲得的有用信息送回客戶端存儲，然後再返回，反復頻繁訪問網頁獲取信息，直到任務完成。
Ⅳ 如何繞開網站防護抓取數據
控制下載頻率大規模集中訪問對伺服器的影響較大，爬蟲可以短時間增大伺服器負載。這里需要注意的是：設定下載等待時間的范圍控制，等待時間過長，不能滿足短時間大規模抓取的要求，等待時間過短則很有可能被拒絕訪問。在之前「從url獲取HTML」的方法里，對於httpGet的配置設置了socket超時和連接connect超時，其實這里的時長不是絕對的，主要取決於目標網站對爬蟲的控制。
另外，在scrapy爬蟲框架里，專有參數可以設置下載等待時間download_delay，這個參數可以設置在setting.py里，也可以設置在spider里。
IP的訪問頻率被限制，一些平台為了防止多次訪問網站，會在某個同一個IP在單元時間內超過一定的次數的時候，將禁止這個IP繼續訪問。對於這個限制IP訪問效率，可以使用代理IP的方法來解決問題比如使用IPIDEA。
採用分布式爬取分布式爬取的也有很多Githubrepo。原理主要是維護一個所有集群機器能夠有效分享的分布式隊列。使用分布式爬取還有另外一個目的：大規模抓取，單台機器的負荷很大，況且速度很慢，多台機器可以設置一個master管理多台slave去同時爬取。
修改User-Agent最常見的就是偽裝瀏覽器，修改User-Agent(用戶代理)。User-Agent是指包含瀏覽器信息、操作系統信息等的一個字元串，也稱之為一種特殊的網路協議。伺服器通過它判斷當前訪問對象是瀏覽器、郵件客戶端還是網路爬蟲。在request.headers里可以查看user-agent，關於怎麼分析數據包、查看其User-Agent等信息，這個在前面的文章里提到過。
具體方法可以把User-Agent的值改為瀏覽器的方式，甚至可以設置一個User-Agent池(list，數組，字典都可以)，存放多個「瀏覽器」，每次爬取的時候隨機取一個來設置request的User-Agent，這樣User-Agent會一直在變化，防止被牆。
綜上所述，爬蟲怎麼突破反爬蟲的方法比較多，上文從更換IP、控制下載頻率、分布式爬取、修改User-Agent這四個方面介紹了突破反爬蟲機制的方法，從而實現數據的爬取。
Ⅵ java jsoup怎樣爬取特定網頁內的數據
1、Jsoup簡述
Java中支持的爬蟲框架有很多，比如WebMagic、Spider、Jsoup等。
Jsoup擁有十分方便的api來處理html文檔，比如參考了DOM對象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁面數據的技巧。
2、快速開始
1)分析HTML頁面，明確哪些數據是需要抓取的
2)使用HttpClient讀取HTML頁面
HttpClient是一個處理Http協議數據的工具，使用它可以將HTML頁面作為輸入流讀進java程序中.
3)使用Jsoup解析html字元串
通過引入Jsoup工具，直接調用parse方法來解析一個描述html頁面內容的字元串來獲得一個Document對象。該Document對象以操作DOM樹的方式來獲得html頁面上指定的內容。
3、保存爬取的頁面數據
1)保存普通數據到資料庫中
將爬取的數據封裝進實體Bean中，並存到資料庫內。
2)保存圖片到伺服器上
直接通過下載圖片的方式將圖片保存到伺服器本地。
Ⅶ 如何「爬數據」
簡單籠統的說，爬數據搞定以下幾個部分，就可以小打小鬧一下了。
一、指定URL的模式，比如知乎問題的URL為http://hu.com/question/xxxx，然後抓取html的內容就可以了。用的工具，如果你正則很好，可以用正則，覺得正則費腦子的，可以用html解析DOM節點來處理內容。如果你抓取的內容有其固有特點，如新聞內容，可以用正文抓取演算法，其實就是找html中最長的幾行字元串。
二、用javascript動態生成內容的抓取，不建議使用headless，效率比較低下，建議使用一些開源的庫去直接執行js代碼，獲得你想要的結果。
了解頁面里的程序邏輯是很重要的，知道動態內容是怎麼生成的，使用一定的方法，一樣會像拿html一樣，很容易的拿到你想要的結果。動態生成要麼是本地執行計算，要麼是從伺服器另發起請求獲得一定的結果，顯示或再進行本地計算。對前者，你要找到他本地執行的那段代碼，原樣拿過來，在javascript環境執行一遍拿到結果。對後者，找到那個請求，獲得對應的結果，一般這個結果也會是javascript代碼或者json格式的字元串，重新解析即可。
三、登錄，有很多數據你是需要登錄後才能查看的。如果對方使用https，基本就無解了。好在很多國內標榜全站使用https的網站都是偽https，抓包一樣全都可以抓到，比較復雜的會將用戶名或密碼進行二次加密，並且和時間相關，直接提交用戶名密碼是無效的，必須同時提交以當前時間為參數進行二次加密後的結果，還是那句話，了解頁面里的程序邏輯是很重要的。
四、驗證碼，你抓取過多過快時，網站一般會要求你輸入驗證碼證明你不是程序，是人工在操作，似乎國內有幫你輸入驗證碼的雲服務，來搞定這部分，或者用程序解析驗證碼，但錯誤率太高。還有一種比較無賴的方法就是使用多條ADSL或VPN，來回切換IP，不斷換IP進行抓取，把單IP抓取速度控制在網站允許的范圍內，另外什麼換header頭里的agent啥的比較簡單，就不多說了。
五、內容圖片化，一些敏感信息，如商城裡的價格，分類網站里的用戶手機號，會被網站直接用圖片的方式進行顯示。這里你使用雲服務成本太高，使用程序解析圖片，如果出錯，這條信息基本就沒用了，切換IP也一樣是圖片，所以基本也是無解的。
六、補充，爬蟲還有很多細節和針對性的處理方法，出於學習的目的，要多思考，比如移動互聯網這么火熱，很多網站，有點實力的都會出移動客戶端，在移動客戶端內，他還是使用圖片顯示嗎？現在html5出來了，很多移動客戶端都是html+js進行再封裝處理的。
Ⅷ 如何抓取指定網站後台伺服器數據
先打開wireshark監聽指定的網卡就是上網的那一張網卡，開始抓包，然後使用瀏覽器訪問你想要的網站，當瀏覽器顯示網站數據傳輸完畢，停止抓包，將所抓的數據保存下來即可
Ⅸ 我現在有一套在網站上爬取數據的程序(用python寫的)如何在伺服器運行
用xshell之類的軟體連接到伺服器上，然後用其帶的比如xftp工具將代碼傳上去，在伺服器上安裝python之後再去跑代碼就行了
Ⅹ 如何用爬蟲爬網路代理伺服器地址
網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。
1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。
2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。
3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。
4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。