爬虫服务器地址被拉黑了咋办

㈠ 学习python爬虫IP被限制怎么办

解决爬虫ip限制问题，可以使用芝麻代理ip来突破ip限制。

㈡ 如何处理python爬虫ip被封

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。
3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬去数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。以上就是关于爬虫IP地址受限问题的相关介绍。

㈢ 利用网络爬虫抓取数据的时候，被屏蔽掉了，有什么好的解决办法嘛

/// <summary>
/// 获取指定页面的源代码
/// </summary>
/// <param name="PageURL"></param>
/// <returns></returns>
public String GetPageCode(string PageURL)
{
string Charset = "gb2312";
try
{
//存放目标网页的html
String strHtml = "";
//连接到目标网页
HttpWebRequest wreq = (HttpWebRequest)WebRequest.Create(PageURL);
wreq.Headers.Add("X_FORWARDED_FOR", "101.0.0.11"); //发送X_FORWARDED_FOR头(若是用取源IP的方式，可以用这个来造假IP,对日志的记录无效)

wreq.Method = "Get";
wreq.KeepAlive = true;
wreq.ContentType = "application/x-www-form-urlencoded";
wreq.AllowAutoRedirect = true;
wreq.Accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*";
wreq.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)";

CookieContainer cookieCon = new CookieContainer();
wreq.CookieContainer = cookieCon;

HttpWebResponse wresp = (HttpWebResponse)wreq.GetResponse();

//采用流读取，并确定编码方式
Stream s = wresp.GetResponseStream();
StreamReader objReader = new StreamReader(s, System.Text.Encoding.GetEncoding(Charset));

string strLine = "";
//读取
while (strLine != null)
{
strLine = objReader.ReadLine();
if (strLine != null)
{
strHtml += strLine.Trim();
}
}
strHtml = strHtml.Replace("<br />", "\r\n");

return strHtml;
}
catch (Exception n) //遇到错误，打印错误
{
return n.Message;
}
}

你可以试试 但不保证成功

㈣ 爬虫过程中ip被封,怎么解决

找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。

使用爬虫时ip限制问题的六种方法。

方法1

1、IP必须需要，如果有条件，建议一定要使用代理IP。

2、在有外网IP的机器上，部署爬虫代理服务器。

3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。

好处：

1、程序逻辑变化小，只需要代理功能。

2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。

3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。

方法2

1、ADSL+脚本，监测是否被封，然后不断切换ip。

2、设置查询频率限制正统的做法是调用该网站提供的服务接口。

方法3

1、useragent伪装和轮换。

2、使用雷电ip代理。

3、cookies的处理，有的网站对登陆用户政策宽松些。

方法4

尽可能的模拟用户行为：

1、UserAgent经常换一换。

2、访问时间间隔设长一点，访问时间设置为随机数。

3、访问页面的顺序也可以随机着来。

方法5

网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。

方法6

对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。

1、降低抓取频率，时间设置长一些，访问时间采用随机数。

2、频繁切换UserAgent（模拟浏览器访问）。

3、多页面数据，随机访问然后抓取数据。

4、更换用户IP，这是最直接有效的方法。

㈤ 如何解决爬虫ip被封的问题

面对这个问题，网络爬虫一般是怎么处理的呢？无外乎是两种方法，第一降低访问速度，第二切换IP访问。
爬虫降低访问速度
由于上文所说的访问速度过快会引起IP被封，那么最直观的办法便是降低访问速度，如此就能防止了我们的IP被封的问题。但呢，降低速度，爬虫的效率就降低，关键还是要降低到什么程度？
在这一点上，我们首先要测试出网站设置的限制速度阈值，如此我们才能设置合理的访问速度，建议不要设固定的访问速度，能够设置在一个范围之内，防止过于规律而被系统检测到，从而导致IP被封。
爬虫切换IP访问
降低了访问速度，难以避免的影响到了爬取的抓取效率，不能高效地抓取，如此的抓取速度与人工抓取有何区别呢？都没有了使用爬虫抓取的优势了。
既然单个爬虫被控制了速度，但我们可以使用多个爬虫同时去抓取啊！是的，我们可以使用多线程，多进程，这里要配合使用代理，不同的线程使用不同的IP地址，就像是同时有不同的用户在访问，如此就能极大地提高爬虫的爬取效率了。

㈥ ip地址被列为黑名单怎么弄回去

spamhaus是目前世界上影响最大反垃圾邮件组织，只要被它列入黑名单，你的邮件服务器就算瘫痪了，因为据说全球80%以上的服务器会拒收从你的邮件服务器发去邮件．他们提供四种类型XBL，SBL，PBL，ROKSO．国内有很多IP被列为了spamhaus这几类RBL当中．今天我们来说说如何对列为PBL的IP进行申诉．

工具/原料
Exchange邮件服务器一台

Exchange实施工程师

方法/步骤
1.首先到spamhaus官网的Look Up中对你邮件服务器使用的IP进行查询

2．然后将得到查询的结果，告知被列的情况，如下图，可以看出我们的IP被PBL列入．

3．点击相关的记录，可以看到详细情况，如果需要申诉请点击"Remove an IP from PBL"

4．进入自我移除的页面，当你做好相应的设定，并确定服务器不是开放中继，请点击"Remove an IP Address"继续．

5．在提交表单填入你需要申诉的ip地址，你的邮件地址（注意一定要可以正常收到邮件，因为它将收到5位数的验证码）及验证码，

6．请登录你刚输入的邮箱，你将收到一封由spamhaus发出的邮件，复制邮件中的五位数的验证码．

7．将五位数的验证码填入下图中：

8．这要就完成了移除申诉的过程．如下图所述，如果正常在30分种后将自动更新移除你的ip.

9．当你再查询时，你将发现你的IP不在PBL所列．

END
注意事项
spamhaus申诉生效一般是半个小时，但是不排除会继续拉黑你。
IP被拉入黑名单问题不仅仅是申诉就能解决的，更多的是要注意服务器安全

㈦ 如何解决爬虫的IP地址受限问题

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。

3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬去数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。

㈧ 服务器IP被网站封怎么办

违反机房规定的行为
租用服务器时，客户需要遵守与服务商的协定，避免放置违反机房规定、违反地区相关法律法规的内容(例如色情、暴力、博彩、群发垃圾邮件等)。正规的服务商一般会不定期检查用户网站，一旦发现此类违规网站，将直接封停ip，并勒令整改。
DDoS攻击导致流量过高
这是当前导致服务器ip被封的最常见原因。DDoS攻击，会对你的服务器突发性地输入/输出大量无效或慢速的访问请求，导致服务器流量需求激增，导致带宽超限、服务器卡死，ip下的所有网站无法访问。DDoS攻击不但会造成目标服务器瘫痪，还会影响机房内网正常运作。机房防火墙检测到这种情况，将直接封停服务器IP。
黑客入侵控制服务器进行违法操作
服务器须做好安全防护，一旦被黑客攻破，可能将你的服务器作为肉鸡，扫描、攻击其他服务器。一旦被机房防御系统发现、识别，将自动拦截，并自动封停服务器ip。
服务器流量超载过多
如果你的服务器流入/流出的数据过多，远超出已订购的服务器带宽资源，那么服务商将有权封停你的服务器IP。在你加大带宽，处理好相关问题后再行解封。这种情况，在服务器租用过程中较为少见，多见于VPS、云服务器中。

㈨ python 爬虫ip被封锁怎么办

同时，华益云还有非常便宜的物理机服务器可以租用，爬虫程序可以直接放到服务器上运行，一个月费用跟我们自己家里电脑平时运行所需费用差不多。一大亮点就是他们的物理机服务器支持系统自带的3389远程桌面链接方式，这种远程链接方式用过的小伙伴都知道非常流畅，拨号换IP也不会断开远程，直接可以复制文件进去很方便。

产品使用期间遇到任何问题，他们都有24小时值班客服在线解答，客服也非常的有耐心。

内容制作不易，喜欢的小伙伴可以帮忙点个赞吧感谢！

㈩ 爬虫因为ip地址被封了怎么办

使用代理ip可以解决ip被封的问题，但是使用代理ip也被封的危险，以下就是可能被限制的原因、
一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP会暴露本机真实IP，普匿代理IP会暴露正在使用代理IP，这两者都是会暴露，非常容易被限制，唯有高匿代理IP才是爬虫代理IP的最好的选择。
二、代理IP一手率较低
代理IP池用的人越多，一手率就越低，就可能会出现这样的情况：同一个代理IP，有很多人用来访问同一个网站，这种就非常容易被限制,因此使用纯净率高的代理至关重要。
三、请求频率过高
爬虫任务通常比较大，为了按时完成任务，单位时间内的请求频率过高，会给目标网站服务器带来巨大的压力，非常容易被限制。
四、有规律地请求
有些爬虫程序没有考虑到这一点，每个请求花费的时间都是一样的，非常的有规律，这种也很容易被限制，聪明的人通常都是会在请求完成后进行随机时间休眠。
以上就是使用代理ip被限制的原因，避免这些问题的发生就会减少ip被限制。