① 如何用爬蟲爬網路代理伺服器地址
網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。
1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。
2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。
3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。
4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。
② 如何使用Fiddler抓取移動端https協議包
第一步，客戶端發起明文請求：將自己支持的一套加密規則、以及一個隨機數（Random_C）發送給伺服器。
第二步，伺服器初步響應：伺服器根據自己支持的加密規則，從客戶端發來的請求中選出一組加密演算法與HASH演算法，生成隨機數，並將自己的身份信息以證書（CA）的形式發回給瀏覽器。CA證書裡麵包含了伺服器地址，加密公鑰，以及證書的頒發機構等信息。這時伺服器給客戶端的包括選擇使用的加密規則、CA證書、一個隨機數（Random_S）。
第三步，客戶端接到伺服器的初步響應後做四件事情：
（1）證書校驗： 驗證證書的合法性（頒發證書的機構是否合法，證書中包含的網站地址是否與正在訪問的地址一致等）。
（2）生成密碼：瀏覽器會生成一串隨機數的密碼（Pre_master），並用CA證書里的公鑰加密(enc_pre_master)，用於傳給伺服器。
（3）計算協商密鑰：此時客戶端已經獲取全部的計算協商密鑰需要的信息：兩個明文隨機數 Random_C 和 Random_S 與自己計算產生的 Pre-master，計算得到協商密鑰enc_key。
enc_key=Fuc(random_C, random_S, Pre-Master)
（4）生成握手信息：使用約定好的HASH計算握手消息，並使用協商密鑰enc_key及約定好的演算法對消息進行加密。
第四步，客戶端將第三步產生的數據發給伺服器：
這里要發送的數據有三條：
（1）用公鑰加密過的伺服器隨機數密碼enc_pre_master
（2）客戶端發給伺服器的通知，」以後我們都要用約定好的演算法和協商密鑰進行通信的哦」。
（3）客戶端加密生成的握手信息。
③ 我是網路方面的新手，希望請教各位一個問題：如何抓取機內的數據包 就是說我的資料庫伺服器在自己的機器
一般來說抓包都是用軟體，抓包軟體是抓去進，出設備的數據包。所以如果數據沒有流動那就抓不到。不知道你想要查看些什麼內容，如果你想看數據伺服器與其他設備都傳遞些什麼數據包那就得把數據伺服器和另一個設備連在一起，讓他們處於信息交互的狀態，這樣才能抓包。
比較有名的抓包工具有sniffer，etherpeak，wireshake（可能拼寫有誤，網路會為你糾正^_^)
而個人pc抓包一般都是抓取網卡上的數據,一般抓包軟體會讓你選擇抓哪個網卡的數據，那就選你連接伺服器和另一設備的那張網卡就行了。
抓取的包是所有通過網卡的數據，所以准確的篩選就要看你自己的知識夠不夠了。
④ 如何繞開網站防護抓取數據
控制下載頻率大規模集中訪問對伺服器的影響較大，爬蟲可以短時間增大伺服器負載。這里需要注意的是：設定下載等待時間的范圍控制，等待時間過長，不能滿足短時間大規模抓取的要求，等待時間過短則很有可能被拒絕訪問。在之前「從url獲取HTML」的方法里，對於httpGet的配置設置了socket超時和連接connect超時，其實這里的時長不是絕對的，主要取決於目標網站對爬蟲的控制。
另外，在scrapy爬蟲框架里，專有參數可以設置下載等待時間download_delay，這個參數可以設置在setting.py里，也可以設置在spider里。
IP的訪問頻率被限制，一些平台為了防止多次訪問網站，會在某個同一個IP在單元時間內超過一定的次數的時候，將禁止這個IP繼續訪問。對於這個限制IP訪問效率，可以使用代理IP的方法來解決問題比如使用IPIDEA。
採用分布式爬取分布式爬取的也有很多Githubrepo。原理主要是維護一個所有集群機器能夠有效分享的分布式隊列。使用分布式爬取還有另外一個目的：大規模抓取，單台機器的負荷很大，況且速度很慢，多台機器可以設置一個master管理多台slave去同時爬取。
修改User-Agent最常見的就是偽裝瀏覽器，修改User-Agent(用戶代理)。User-Agent是指包含瀏覽器信息、操作系統信息等的一個字元串，也稱之為一種特殊的網路協議。伺服器通過它判斷當前訪問對象是瀏覽器、郵件客戶端還是網路爬蟲。在request.headers里可以查看user-agent，關於怎麼分析數據包、查看其User-Agent等信息，這個在前面的文章里提到過。
具體方法可以把User-Agent的值改為瀏覽器的方式，甚至可以設置一個User-Agent池(list，數組，字典都可以)，存放多個「瀏覽器」，每次爬取的時候隨機取一個來設置request的User-Agent，這樣User-Agent會一直在變化，防止被牆。
綜上所述，爬蟲怎麼突破反爬蟲的方法比較多，上文從更換IP、控制下載頻率、分布式爬取、修改User-Agent這四個方面介紹了突破反爬蟲機制的方法，從而實現數據的爬取。
⑤ 如何進行抓取區域網中的所有包
可以使用兩個方法：
1、找到那個伺服器的交換機埠，做一個埠鏡像。
2、那個伺服器前面串一個HUB，老式的廣播HUB，然後你的wireshark和伺服器一起接到HUB上。
工具：Wireshark、Ethereal、Sniffer等。
如果你下面那個可以使用個，你就都加上代理就是了，應該是有的網站限制了爬蟲的頭部數據。 雖然你可以通過urlopen返回的數據判斷，但是不建議做，增加成本。 如果解決了您的問題請採納！ 如果未解決請繼續追問
⑦ 如何在linux下編程實現抓取DHCP伺服器與客服端通信的報文
到網上下載網抓包工具就行了。
⑧ fiddler怎麼抓取路由器上的數據
第一步：去網路搜索Fiddler
第二步：去到Download找到圖中的軟體安裝
第三步：打開軟體，在工具欄，找到Tools-》 Fiddler Options
第四步：在HTTs選項卡中選中decrypt https traffic和ignore server certificate errors兩項
第五步：在connections選項卡中，選擇選中allow remote computers to connect，默認監聽埠為8888，記住默認埠如果被佔用就要改一個。還有設置好了記住，一定要重啟軟體
第六步：查閱自己電腦的IP地址，在命令行中輸入：ipconfig，然後要記住自己的IP地址。
第七步：打開手機找到手機wifi網路，並修改該wifi網路詳情(長按wifi選擇->修改網路)->顯示高級選項
第八步：代替選擇手動，用前面在電腦記下來的ip地址輸進去，和那個埠地址8888
第九步：手機訪問網頁，手機打開網路
第十步：在電腦端可以看到訪問數據，右邊是數據包申請GET的地址。就到這里了啦，
⑨ 如何在遠程伺服器上抓包
你的意思是說在windows上運行sniffer程序抓linux伺服器上的包？ 這個功能不是wireshark這類sniffer能做到的，首先要保證你linux伺服器上的包能同時發到windows的機器上，可以通過在交換機上設置來實現。如果對實時性要求不是那麼高的話，也可以在linux上用tcpmp將流量保存到本地文件，再拿到windows上分析。
⑩ 如何抓取指定網站後台伺服器數據
先打開wireshark監聽指定的網卡就是上網的那一張網卡，開始抓包，然後使用瀏覽器訪問你想要的網站，當瀏覽器顯示網站數據傳輸完畢，停止抓包，將所抓的數據保存下來即可