python代理ip

① python 如何编写代理服务器

frombottleimportrun,route,request,response
fromurllib.requestimporturlopen
@route('<url:re:.*>')
defget_method(url):
data=urlopen(url)
returndata.read()
run(host='0.0.0.0',port=3456,debug=True)

我简单写一个，使用bottle框架，注意不要该ie的代理，使用别的浏览器如firefox代理到

127.0.0.1:3456

② 如何使用Python实现爬虫代理IP池

第一步：找IP资源

IP资源并不丰富，换句话说是供不应求的，因此一般是使用动态IP。

免费方法，直接在网络上找，在搜索引擎中一搜索特别多能够提供IP资源的网站，进行采集即可。

付费方法，通过购买芝麻ip上的IP资源，并进行提取，搭建IP池。

③ python selenium phantomjs怎么加代理ip

网上抓取和解析html的框架一抓一大把，各种工具直接拿来用就行了，比较省心。
首先速度/效率很成问题，有一次下载电影海报的时候，由于是crontab定期执行，也没做优化，开的php进程太多，直接把内存撑爆了。

④ python中，进行爬虫抓取怎么样能够使用代理IP

在python中用爬虫再用到代理服务器，有两个办法，①直接在布署该python爬虫的电脑上设置代理服务器，这样从该电脑上出站的信息就只能由代理服务器处理了，爬虫的也不例外，可以搜"windows设置代理服务器"、"Linux设置代理服务器"。通常是”设置->网络->连接->代理“。
②若想让python单独使用这个代理服务器，可以搜一下"python proxy config"，"python配置代理服务器"，有一些库支持简单的BM代理服务器连接。

⑤ python随便给了个代理IP居然也能正常访问，这是为啥

不同的状态码代表着不同含义。
200并不代表正常访问并获取到返回值。只是表明正确处理了请求而已。
你随便设置的代理ip有可能真的存在这是一方面，另一方面代理只是链接与转发功能。200的状态码也并不能表示代理成功让你访问到了目标网址并获取到了正确的返回信息。

常见的状态码有很多，404、400、500等等。
以下资料摘自（csdn博客：https://blog.csdn.net/xiaoxiaode_shu/article/details/80700801）
1开头的http状态码
表示临时响应并需要请求者继续执行操作的状态代码。

100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。
101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。

2开头的http状态码
表示请求成功

200 成功处理了请求，一般情况下都是返回此状态码；
201 请求成功并且服务器创建了新的资源。
202 接受请求但没创建资源；
203 返回另一资源的请求；
204 服务器成功处理了请求，但没有返回任何内容；
205 服务器成功处理了请求，但没有返回任何内容；
206 处理部分请求；

3xx （重定向）
重定向代码，也是常见的代码

300 （多种选择） 针对请求，服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。
301 （永久移动） 请求的网页已永久移动到新位置。 服务器返回此响应（对 GET 或 HEAD 请求的响应）时，会自动将请求者转到新位置。
302 （临时移动） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。
303 （查看其他位置） 请求者应当对不同的位置使用单独的 GET 请求来检索响应时，服务器返回此代码。
304 （未修改） 自从上次请求后，请求的网页未修改过。 服务器返回此响应时，不会返回网页内容。
305 （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。
307 （临时重定向） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。

4开头的http状态码表示请求出错

400 服务器不理解请求的语法。
401 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。
403 服务器拒绝请求。
404 服务器找不到请求的网页。
405 禁用请求中指定的方法。
406 无法使用请求的内容特性响应请求的网页。
407 此状态代码与 401类似，但指定请求者应当授权使用代理。
408 服务器等候请求时发生超时。
409 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。
410 如果请求的资源已永久删除，服务器就会返回此响应。
411 服务器不接受不含有效内容长度标头字段的请求。
412 服务器未满足请求者在请求中设置的其中一个前提条件。
413 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。
414 请求的 URI（通常为网址）过长，服务器无法处理。
415 请求的格式不受请求页面的支持。
416 如果页面无法提供请求的范围，则服务器会返回此状态代码。
417 服务器未满足”期望”请求标头字段的要求。

5开头状态码并不常见，但是我们应该知道

500 （服务器内部错误） 服务器遇到错误，无法完成请求。
501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。
503 （服务不可用） 服务器目前无法使用（由于超载或停机维护）。 通常，这只是暂时状态。
504 （网关超时） 服务器作为网关或代理，但是没有及时从上游服务器收到请求。
505 （HTTP 版本不受支持） 服务器不支持请求中所用的 HTTP 协议版本。

⑥ python下 selenium与chrome结合进行网页爬取，怎么设置代理IP

设置代理的话，可以使用这种方式，代码是我刚才测试过的，亲测可用from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://171.37.135.94:8123')
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/ip')
print(chrome.page_source)
chrome.quit()
不过话说回来，本来用selenium的话抓取速度就很慢了，加上代理的话（如果代理不稳定）可能还会慢出一大截。

⑦ python如何通过代理服务器连接mysql

你的虚拟服务器不是在aws么，你的mysql应该在aws服务器上吧，那么连接mysql就不需要使用代理服务器，直接使用本地连接就是了。

如果解决了您的问题请采纳！
如果未解决请继续追问

⑧ python scrapy ip代理访问http网址出错但是https的就可以

http代理和https代理是不一样的，他们相互之间也不能用来代理访问，你的网站是http就得用http代理，https同理。很多免费代理用起来很难用，一会就失效。

⑨ 代理IP对于Python爬虫有多重要

额~我使用代理IP做爬虫这么久，还没遇到这个问题哎，是不是因为你使用的代理IP可用率不太高导致的啊，或者是你的代理IP实际上并不是高匿的啊，网站根据某些规律找到你的本机IP了。我一直用的是 618IP代理 HTTP，没遇到什么问题，觉得爬取速度很快，也很稳定。建议你用排除法去排除可能导致的原因，快点解决问题

⑩ 怎么快速验证代理IP是否可用 只能使用VBA或者python3.7

不知道协议、账号和密码的情况下，只能测试连接是否可用了。

fromconcurrent.,as_completed
importsocket

deftry_connection(ip_port):
s=socket.socket()
s.settimeout(5)
try:
s.connect(ip_port)
exceptsocket.timeoutase:
info=ip_port[0]+':'+str(ip_port[1])+'超时'
exceptsocket.errorase:
info=ip_port[0]+':'+str(ip_port[1])+''+str(e)
else:
info=ip_port[0]+':'+str(ip_port[1])+'可用'
finally:
s.close()
returninfo

executor=ThreadPoolExecutor(max_workers=10)
withopen('server.txt','r')asfin,open('connection.txt','w')asfout:
servers=[]
foraddrinfin:
ip,port=addr.split(':')
port=int(port)
servers.append((ip,port))
forresultinexecutor.map(try_connection,servers):
print(result)
fout.write(result+'
')