① scrapy怎么在服务器上跑起来
scrapy在服务器上跑起来的方法如下：启动scrapyd；配置项目下的scrapy.cfg；deploy设置；就可以了。scrapyd 是由scrapy 官方提供的爬虫管理工具，它可以管理多个项目，每个项目可以上传多个版本，但默认使用最新版。
② python scrapy爬虫以scrapyd部署到服务器上运行，现在想做一个定时爬取任务该怎样做，scrapyd不支持。
可以用linux 自带定时任务执行 py 程序就可以了实现的。
③ 如何将python程序放在服务器上运行如sae那些
第一种，如何你有控制权的服务器，直接ssh访问，上传python代码。第二种，虚拟主机的，用Django等，看Django配置
④ python爬虫 如何自己用云服务器上搭建代理服务器 并使用requests测试代理
1、简介
使用同一个ip频繁爬取一个网站，久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站
可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址
2、应用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www..com")
print(len(data))
⑤ pycharm 怎样远程调试放在服务器的 爬虫
仅仅是想开启远程python爬虫的话，可以用ssh或者putty（windows下）远程连接到服务器，通过python命令直接运行；
调试，修改代码的话建议用vim；
putty长时间操作（数分钟）会失去服务器连接，导致python程序中断，建议用screen命令来避免这个问题；
pycharm不熟悉，没有什么建议；
⑥ 爬虫代理服务器怎么用
我们都知道数据信息是很重要的，当我们进行数据采集的时候直接去别人的网站住区数据的话，是会被网站的反爬虫限制，如果我们是不使用代理ip，在数据采集的时候可能就不能顺利地完成工作。代理ip可以帮助我们隐藏真实的ip地址，我们就像一个真实的用户在浏览网页。可以放心的进行数据抓取。
因为互联网的发展很多的HTTP代理开始出现，很多的人不知道选择什么用哪个代理商。我们在选择的时候要看自己从事的什么业务，不能随便的选择。我自己使用过的HTTP代理有极光HTTP，稳定性比较高。操作也很简单。
1、使用HTTP代理-登录注册
2、提取代理ip-生成生成API链接生-打开链接
3、可以使用打开360安全浏览器，并点击【打开菜单-工具-代理服务器-代理服务器设置】
4、粘贴提取的代理IP地址至代理服务器列表，即完成设置
⑦ 如何将爬虫托管在服务器上
爬虫的话，因为比较占用资源，如果是VPS的话，可能会别IDC删除。服务器的话，因为是独立资源，IDC不管，最多也就是限制一下你的网络而已。 所以，用服务器好安全一点。
⑧ 如何用爬虫爬网络代理服务器地址
网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。
1.利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。
2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。
3.把有效的ip写入ip代理池的配置文件，重新加载配置文件。
4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。
⑨ python爬虫怎么设置HTTP代理服务器
解决的方法很简单，就是使用代理服务器。
使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。并且在Python爬虫中，使用代理服务器设置起来也很简单。
⑩ 我现在有一套在网站上爬取数据的程序(用python写的)如何在服务器运行
用xshell之类的软件连接到服务器上，然后用其带的比如xftp工具将代码传上去，在服务器上安装python之后再去跑代码就行了