爬蟲伺服器地址被拉黑了咋辦

㈠ 學習python爬蟲IP被限制怎麼辦

解決爬蟲ip限制問題，可以使用芝麻代理ip來突破ip限制。

㈡ 如何處理python爬蟲ip被封

1、放慢爬取速度，減小對於目標網站造成的壓力。但是這樣會減少單位時間類的爬取量。
第二種方法是通過設置IP等手段，突破反爬蟲機制繼續高頻率爬取。網站的反爬機制會檢查來訪的IP地址，為了防止IP被封，這時就可以使用HTTP，來切換不同的IP爬取內容。使用代理IP簡單的來講就是讓代理伺服器去幫我們得到網頁內容，然後再轉發回我們的電腦。要選擇高匿的ip，IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。
2、這樣目標網站既不知道我們使用代理，更不會知道我們真實的IP地址。
3、建立IP池，池子盡可能的大，且不同IP均勻輪換。
如果你需要大量爬去數據，建議你使用HTTP代理IP，在IP被封掉之前或者封掉之後迅速換掉該IP，這里有個使用的技巧是循環使用，在一個IP沒有被封之前，就換掉，過一會再換回來。這樣就可以使用相對較少的IP進行大量訪問。以上就是關於爬蟲IP地址受限問題的相關介紹。

㈢ 利用網路爬蟲抓取數據的時候，被屏蔽掉了，有什麼好的解決辦法嘛

/// <summary>
/// 獲取指定頁面的源代碼
/// </summary>
/// <param name="PageURL"></param>
/// <returns></returns>
public String GetPageCode(string PageURL)
{
string Charset = "gb2312";
try
{
//存放目標網頁的html
String strHtml = "";
//連接到目標網頁
HttpWebRequest wreq = (HttpWebRequest)WebRequest.Create(PageURL);
wreq.Headers.Add("X_FORWARDED_FOR", "101.0.0.11"); //發送X_FORWARDED_FOR頭(若是用取源IP的方式，可以用這個來造假IP,對日誌的記錄無效)

wreq.Method = "Get";
wreq.KeepAlive = true;
wreq.ContentType = "application/x-www-form-urlencoded";
wreq.AllowAutoRedirect = true;
wreq.Accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*";
wreq.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)";

CookieContainer cookieCon = new CookieContainer();
wreq.CookieContainer = cookieCon;

HttpWebResponse wresp = (HttpWebResponse)wreq.GetResponse();

//採用流讀取，並確定編碼方式
Stream s = wresp.GetResponseStream();
StreamReader objReader = new StreamReader(s, System.Text.Encoding.GetEncoding(Charset));

string strLine = "";
//讀取
while (strLine != null)
{
strLine = objReader.ReadLine();
if (strLine != null)
{
strHtml += strLine.Trim();
}
}
strHtml = strHtml.Replace("<br />", "\r\n");

return strHtml;
}
catch (Exception n) //遇到錯誤，列印錯誤
{
return n.Message;
}
}

你可以試試 但不保證成功

㈣ 爬蟲過程中ip被封,怎麼解決

找代理解決問題。出現這個現象的原因是因為網站採取了一些反爬中措施，如：伺服器檢測IP在單位時間內請求次數超過某個閥值導致，稱為封IP。為了解決此類問題，代理就派上了用場，如：代理軟體、付費代理、ADSL撥號代理，以幫助爬蟲脫離封IP的苦海。

使用爬蟲時ip限制問題的六種方法。

方法1

1、IP必須需要，如果有條件，建議一定要使用代理IP。

2、在有外網IP的機器上，部署爬蟲代理伺服器。

3、你的程序，使用輪訓替換代理伺服器來訪問想要採集的網站。

好處：

1、程序邏輯變化小，只需要代理功能。

2、根據對方網站屏蔽規則不同，你只需要添加更多的代理就行了。

3、就算具體IP被屏蔽了，你可以直接把代理伺服器下線就OK，程序邏輯不需要變化。

方法2

1、ADSL+腳本，監測是否被封，然後不斷切換ip。

2、設置查詢頻率限制正統的做法是調用該網站提供的服務介面。

方法3

1、useragent偽裝和輪換。

2、使用雷電ip代理。

3、cookies的處理，有的網站對登陸用戶政策寬鬆些。

方法4

盡可能的模擬用戶行為：

1、UserAgent經常換一換。

2、訪問時間間隔設長一點，訪問時間設置為隨機數。

3、訪問頁面的順序也可以隨機著來。

方法5

網站封的依據一般是單位時間內特定IP的訪問次數。將採集的任務按目標站點的IP進行分組通過控制每個IP在單位時間內發出任務的個數,來避免被封。當然,這個前題採集很多網站。如果只是採集一個網站,那麼只能通過多外部IP的方式來實現了。

方法6

對爬蟲抓取進行壓力控制；可以考慮使用代理的方式訪問目標站點。

1、降低抓取頻率，時間設置長一些，訪問時間採用隨機數。

2、頻繁切換UserAgent（模擬瀏覽器訪問）。

3、多頁面數據，隨機訪問然後抓取數據。

4、更換用戶IP，這是最直接有效的方法。

㈤ 如何解決爬蟲ip被封的問題

面對這個問題，網路爬蟲一般是怎麼處理的呢？無外乎是兩種方法，第一降低訪問速度，第二切換IP訪問。
爬蟲降低訪問速度
由於上文所說的訪問速度過快會引起IP被封，那麼最直觀的辦法便是降低訪問速度，如此就能防止了我們的IP被封的問題。但呢，降低速度，爬蟲的效率就降低，關鍵還是要降低到什麼程度？
在這一點上，我們首先要測試出網站設置的限制速度閾值，如此我們才能設置合理的訪問速度，建議不要設固定的訪問速度，能夠設置在一個范圍之內，防止過於規律而被系統檢測到，從而導致IP被封。
爬蟲切換IP訪問
降低了訪問速度，難以避免的影響到了爬取的抓取效率，不能高效地抓取，如此的抓取速度與人工抓取有何區別呢？都沒有了使用爬蟲抓取的優勢了。
既然單個爬蟲被控制了速度，但我們可以使用多個爬蟲同時去抓取啊！是的，我們可以使用多線程，多進程，這里要配合使用代理，不同的線程使用不同的IP地址，就像是同時有不同的用戶在訪問，如此就能極大地提高爬蟲的爬取效率了。

㈥ ip地址被列為黑名單怎麼弄回去

spamhaus是目前世界上影響最大反垃圾郵件組織，只要被它列入黑名單，你的郵件伺服器就算癱瘓了，因為據說全球80%以上的伺服器會拒收從你的郵件伺服器發去郵件．他們提供四種類型XBL，SBL，PBL，ROKSO．國內有很多IP被列為了spamhaus這幾類RBL當中．今天我們來說說如何對列為PBL的IP進行申訴．

工具/原料
Exchange郵件伺服器一台

Exchange實施工程師

方法/步驟
1.首先到spamhaus官網的Look Up中對你郵件伺服器使用的IP進行查詢

2．然後將得到查詢的結果，告知被列的情況，如下圖，可以看出我們的IP被PBL列入．

3．點擊相關的記錄，可以看到詳細情況，如果需要申訴請點擊"Remove an IP from PBL"

4．進入自我移除的頁面，當你做好相應的設定，並確定伺服器不是開放中繼，請點擊"Remove an IP Address"繼續．

5．在提交表單填入你需要申訴的ip地址，你的郵件地址（注意一定要可以正常收到郵件，因為它將收到5位數的驗證碼）及驗證碼，

6．請登錄你剛輸入的郵箱，你將收到一封由spamhaus發出的郵件，復制郵件中的五位數的驗證碼．

7．將五位數的驗證碼填入下圖中：

8．這要就完成了移除申訴的過程．如下圖所述，如果正常在30分種後將自動更新移除你的ip.

9．當你再查詢時，你將發現你的IP不在PBL所列．

END
注意事項
spamhaus申訴生效一般是半個小時，但是不排除會繼續拉黑你。
IP被拉入黑名單問題不僅僅是申訴就能解決的，更多的是要注意伺服器安全

㈦ 如何解決爬蟲的IP地址受限問題

1、放慢爬取速度，減小對於目標網站造成的壓力。但是這樣會減少單位時間類的爬取量。
第二種方法是通過設置IP等手段，突破反爬蟲機制繼續高頻率爬取。網站的反爬機制會檢查來訪的IP地址，為了防止IP被封，這時就可以使用HTTP，來切換不同的IP爬取內容。使用代理IP簡單的來講就是讓代理伺服器去幫我們得到網頁內容，然後再轉發回我們的電腦。要選擇高匿的ip，IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。
2、這樣目標網站既不知道我們使用代理，更不會知道我們真實的IP地址。

3、建立IP池，池子盡可能的大，且不同IP均勻輪換。
如果你需要大量爬去數據，建議你使用HTTP代理IP，在IP被封掉之前或者封掉之後迅速換掉該IP，這里有個使用的技巧是循環使用，在一個IP沒有被封之前，就換掉，過一會再換回來。這樣就可以使用相對較少的IP進行大量訪問。

㈧ 伺服器IP被網站封怎麼辦

違反機房規定的行為
租用伺服器時，客戶需要遵守與服務商的協定，避免放置違反機房規定、違反地區相關法律法規的內容(例如色情、暴力、博彩、群發垃圾郵件等)。正規的服務商一般會不定期檢查用戶網站，一旦發現此類違規網站，將直接封停ip，並勒令整改。
DDoS攻擊導致流量過高
這是當前導致伺服器ip被封的最常見原因。DDoS攻擊，會對你的伺服器突發性地輸入/輸出大量無效或慢速的訪問請求，導致伺服器流量需求激增，導致帶寬超限、伺服器卡死，ip下的所有網站無法訪問。DDoS攻擊不但會造成目標伺服器癱瘓，還會影響機房內網正常運作。機房防火牆檢測到這種情況，將直接封停伺服器IP。
黑客入侵控制伺服器進行違法操作
伺服器須做好安全防護，一旦被黑客攻破，可能將你的伺服器作為肉雞，掃描、攻擊其他伺服器。一旦被機房防禦系統發現、識別，將自動攔截，並自動封停伺服器ip。
伺服器流量超載過多
如果你的伺服器流入/流出的數據過多，遠超出已訂購的伺服器帶寬資源，那麼服務商將有權封停你的伺服器IP。在你加大帶寬，處理好相關問題後再行解封。這種情況，在伺服器租用過程中較為少見，多見於VPS、雲伺服器中。

㈨ python 爬蟲ip被封鎖怎麼辦

同時，華益雲還有非常便宜的物理機伺服器可以租用，爬蟲程序可以直接放到伺服器上運行，一個月費用跟我們自己家裡電腦平時運行所需費用差不多。一大亮點就是他們的物理機伺服器支持系統自帶的3389遠程桌面鏈接方式，這種遠程鏈接方式用過的小夥伴都知道非常流暢，撥號換IP也不會斷開遠程，直接可以復制文件進去很方便。

產品使用期間遇到任何問題，他們都有24小時值班客服在線解答，客服也非常的有耐心。

內容製作不易，喜歡的小夥伴可以幫忙點個贊吧感謝！

㈩ 爬蟲因為ip地址被封了怎麼辦

使用代理ip可以解決ip被封的問題，但是使用代理ip也被封的危險，以下就是可能被限制的原因、
一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP會暴露本機真實IP，普匿代理IP會暴露正在使用代理IP，這兩者都是會暴露，非常容易被限制，唯有高匿代理IP才是爬蟲代理IP的最好的選擇。
二、代理IP一手率較低
代理IP池用的人越多，一手率就越低，就可能會出現這樣的情況：同一個代理IP，有很多人用來訪問同一個網站，這種就非常容易被限制,因此使用純凈率高的代理至關重要。
三、請求頻率過高
爬蟲任務通常比較大，為了按時完成任務，單位時間內的請求頻率過高，會給目標網站伺服器帶來巨大的壓力，非常容易被限制。
四、有規律地請求
有些爬蟲程序沒有考慮到這一點，每個請求花費的時間都是一樣的，非常的有規律，這種也很容易被限制，聰明的人通常都是會在請求完成後進行隨機時間休眠。
以上就是使用代理ip被限制的原因，避免這些問題的發生就會減少ip被限制。