A. python爬虫 如何自己用云服务器上搭建代理服务器 并使用requests测试代理
1、简介
使用同一个ip频繁爬取一个网站,久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站
可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址
2、应用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www..com")
print(len(data))
B. 阿里云代理:阿里云主机linux服务器配置详细步骤
下面是阿里云主机Linux服务器配置详细步骤,如果你正在使用阿里云主机可进入参考一下配置步骤。
一提到云主机,大家肯定熟知国内最知名品牌——阿里云了,后来居上的它受到不少的站长所追捧,它的稳定与服务让它的性价比直线上升,现在阿里云的最低端配置云主机年费只需要550元了,在同类产品中可谓最有性价了。如果想做个小站,又想速度上去,阿里云也是一个不错的选择。用过阿里云的站长都知道,阿里云主机是需要自己动手配置的,一些站长就有夸大其词说“没有一定的技术,最好不要用阿里云”。其实,配置阿里云主机也不是很难,只要按照本文的方法一步一步去做就可以了。
第一步:远程连接阿里云主机。 下载xshell和xftp并安装。这2个软件可以到网站下载。xshell是一个强大的安全终端模拟软件,它支持SSH1,SSH2,以及MicrosoftWindows平台的TELNET协议,可以方便地远程登录阿里云主机。Xftp是一个基于MSwindows平台的功能强大的SFTP、FTP文件传输软件,可以通过它来上传文件到主机。 这2个软件的安装这里就不说了。下面来看看怎么使用这两个软件。 一、打开xshell 二、设置云服务器登录信息,点击认证(新版本可能是“用户身份验证”)。填写阿里云主机用户名和密码。 三、设置服务器帐号密码。再点击“连接”,填写在“主机”处填写你购买的阿里云主机的IP地址。 四、设置字符集编码。点击”终端“,然后在“编码”选项选择“UTF-8″。然后按确定保存配置。接着就开始连接主机了。 五、连接后的阿里云主机的庐山正面目。 到这里,我们远程连接上了阿里云主机。阿里云服务器是纯净态的,所以只有看见这样黑黑的面板,软件都是需要自己来安装。
第二步:使用阿里云自带的分区工具auto_fdisk.sh给数据盘分区并格式化、挂载。 这个工具默认自带的,不需要下载安装。它的功能是“自动检测是否有尚未分区的数据盘,格式化新的数据盘并自动挂载。” 连接上了主机,我们可以在上图中输入ll这2个字母,就会看到如下图: 我们可以从上图中看到auto_fdisk.sh,下面我们就要用这个工具给数据盘分区和格式化,它是全自动的。(当然,你也可以不用这个工具来分区,如果你是linux高手的话,可以直接通过命令符来进行分区) 接下来,我们输入:bashauto_fdisk.sh然后就开始分区并格式化。分区成功后,你再输入:fdisk-l就可以看到新分区,如下图 下一节,我们将进行系统配置
第三步:配置系统——Linux一键安装web环境全攻略。 一键安装包下载
C. 云服务器应该建立什么代理服务才能使家庭宽带下的游戏服务器相当于拥有了云服务器的公网ip
首先回答第一个问题,如果游戏本a设置全局代理到拥有公网IP的云服务器b,并在b上建立代理服务,则a的游戏服务器可以裂册通过b的公网IP地址访问。但是,这并不意味着a的游戏服务器拥有公网IP地址。如果要让a的游戏服务器拥有公网IP地址,需要在云服务器b上建立端口映射或NAT转发等服务,将b的公网IP映射到a的游戏服务器上。
其次回答第二个问题,要让a的游戏服务器出现在steam服务器列表中,需要使用Steamworks SDK并在a的游戏服务器上实现相关功能。具体来说,需要在游戏服务器上使用Steamworks SDK提供的API,将a的游戏服务器注册到Steam服务器列表中。需要注意的是,Steamworks SDK只能用于Steam游戏。
关于第三个问题,如果使用樱花frp的TCP/UDP隧道,需要建立的隧道端口应该包括a的游戏服务器端口以及frp客户端与服务端通信所使用的端口。具体来说,需要在游戏本a上运行frp客户端,并通过frp客户端将a的游戏服务器端口映射到云服务器b上。同时,需要在云服务器b上运行frp服务端,并将b的公网IP地址与frp服务端通信肆扮宏所使用的端口映射到frp客户端所使用的端口上。这样,通过b的公网IP地址加上映射的端口即可访问到a的游戏服务器。
最后,如果不使用樱花frp而是在云服务器b上建立其他服务,可以考虑使用缺察端口映射或NAT转发等服务,将b的公网IP映射到a的游戏服务器上。具体来说,可以在云服务器b上运行端口映射或NAT转发软件,将b的公网IP地址与a的游戏服务器端口进行映射。这样,通过b的公网IP地址加上映射的端口即可访问到a的游戏服务器。需要注意的是,端口映射或NAT转发可能会对网络安全造成一定的影响,需要谨慎使用。