你需要登录云服务器管理控制台，记录被我打马赛克位置的公网ip。
登录服务器
windows推荐下putty进行连接远程服务器，linux和macos不需要那么麻烦，ssl就行了。
putty
在下图的host name中输入你的公网IP，点击open。
putty界面
输入密码，看不见输入不要慌，linux就是这样保护安全的。
Paste_Image.png
登录成功界面见下图，然后想怎么操作就怎么操作了。
登陆成功界面
运行我的python文件
推荐FileZilla进行文件传输（不具体说明了），我上传了我的flask网站项目
我的项目
记住服务器同时有Python2和Python3,
python
运行的时候记得使用合适的版本，我用的是虚拟环境（自行网络如何创建虚拟环境）
在运行python之前先安装一个screen，他可以将一个程序在后台运行
sudo apt-get install screen
运行python文件，成功后按下ctrl+A和ctrl+D可以隐藏。隐藏后可以输入screen -r 恢复。
运行成功
2. Python scrapy爬虫以scrapyd部署到服务器上运行，现在想做一个定时爬取任务该怎样做，scrapyd不支持。
可以用linux 自带定时任务执行 py 程序就可以了实现的。
3. 如何在服务器上部署Django项目并使其在后台一直运行
前几天老师让我把一个Django项目（爬虫网页）放到校园内网上，但是我想先用自己的服务器来尝试一下。之前刚好有在Digital Ocean上买过服务器用来运行ss脚本，平时服务器一直放着没啥用，所以就拿它来试验一下。
废话不多说，第一步通过WinSCP软件把Django文件传到服务器上。
在服务器中安装Django需要的环境和我所需要的Python第三方库。
以上所有步骤完成后，还需要进行一步操作，这是我经历的一个 坑 。 打开Django文件目录中的 settings.py ，把 ALLOWED_HOSTS=[] 改为 ALLOWED_HOSTS=["*"] 。
在服务器中打开到 manage.py 所在的目录，输入命令：
python3 manage.py runserver 0.0.0.0:8000
然后按下回车，在浏览器中输入： 该服务器IP地址:8000 ，大功告成！
Attention:
1. python3 不是特定的，是根据你的Django项目所需要的环境指定的。
2. 8000 是端口号，可以修改。
如果想要Django项目一直运行，关闭终端后还在运行，即需要运行如下命令， nohup command & ， command 即位上文所说的 python3 manage.py runserver 0.0.0.0:8000 。
4. 怎么把python部署到服务器
使用pip或easy_install可以管理和安装python的package包，实际上它们都是从pypi服务器中搜索和下载package的。目前在pypi服务器上，有超过三万多个package，同时还允许我们将自己的代码也上传发布到服务器上。这样，世界上的所有人都能使用pip或easy_install来下载使用我们的代码了。
具体步骤如下：
首先创建项目文件和setup文件。
目录文件结构如下：
project/
simpletest/
__init__.py
test.py
setup.py
假设项目文件只有一个simpletest包，里面有一个test.py文件。
创建的setup.py文件格式大致如下，其中，install_requires字段可以列出依赖的包信息，用户使用pip或easy_install安装时会自动下载依赖的包。详细的格式参考文档。
from setuptools import setup, find_packages
setup(
name = 'simpletest',
version = '0.0.1',
keywords = ('simple', 'test'),
description = 'just a simple test',
license = 'MIT License',
install_requires = ['simplejson>=1.1'],
author = 'yjx',
author_email = '[email protected]',
packages = find_packages(),
platforms = 'any',
)
然后将代码打包。
打包只需要执行python
setup.py xxx命令即可，其中xxx是打包格式的选项，如下：
# 以下所有生成文件将在当前路径下 dist 目录中
python setup.py bdist_egg # 生成easy_install支持的格式
python setup.py sdist # 生成pip支持的格式，下文以此为例
发布到pypi。
发布到pypi首先需要注册一个账号，然后进行如下两步：
注册package。输入python setup.py register。
上传文件。输入python setup.py sdist upload。
安装测试
上传成功后，就可以使用pip来下载安装了。
另外，pypi还有一个测试服务器，可以在这个测试服务器上做测试，测试的时候需要给命令指定额外的"-r"或"-i"选项，如python
setup.py register -r "",python
setup.py sdist upload -r "",pip
install -i "" simpletest。
发布到测试服务器的时候，建议在linux或cygwin中发布，如果是在windows中，参考文档，需要生成.pypirc文件
5. 如何用爬虫爬网络代理服务器地址
网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。
1.利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。
2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。
3.把有效的ip写入ip代理池的配置文件，重新加载配置文件。
4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。
6. 爬虫代理服务器怎么用
打开火狐浏览器右上角的设置选项，选择“选项”
爬虫代理服务器怎么用？
选择左边选项栏中最下方的“高级”选项
爬虫代理服务器怎么用？
“高级”选项下拉菜单“网络”。
连接配置 Firefox 如何连接至国际互联网，右侧的“设置网络”
爬虫代理服务器怎么用？
在菜单中选择“手动选择配置代理”
爬虫代理服务器怎么用？
将您的http代理IP地址填写在IP地址栏内，端口代码写在相应的位置。
其他的代理SSL代理、FTP代理、socks主机都类似。
爬虫代理服务器怎么用？
END
注意事项
其他浏览器的处理方法差不多，选择代理IP一定要选择高质量的代理IP，否则就是在浪费时间。
诸如讯代理、蚂蚁代理、快代理这些网站所提供的代理IP的质量都还不错。每个代理提供商有自己的特色，可以多加尝试！
7. scrapy怎么在服务器上跑起来
scrapy在服务器上跑起来的方法如下：启动scrapyd；配置项目下的scrapy.cfg；deploy设置；就可以了。scrapyd 是由scrapy 官方提供的爬虫管理工具，它可以管理多个项目，每个项目可以上传多个版本，但默认使用最新版。
8. 如何将爬虫托管在服务器上
爬虫的话，因为比较占用资源，如果是VPS的话，可能会别IDC删除。服务器的话，因为是独立资源，IDC不管，最多也就是限制一下你的网络而已。 所以，用服务器好安全一点。
9. 精通Python网络爬虫之网络爬虫学习路线
欲精通Python网络爬虫，必先了解网络爬虫学习路线，本篇经验主要解决这个问题。部分内容参考自书籍《精通Python网络爬虫》。
作者：韦玮
转载请注明出处
随着大数据时代的到来，人们对数据资源的需求越来越多，而爬虫是一种很好的自动采集数据的手段。
那么，如何才能精通Python网络爬虫呢？学习Python网络爬虫的路线应该如何进行呢？在此为大家具体进行介绍。
1、选择一款合适的编程语言
事实上，Python、PHP、JAVA等常见的语言都可以用于编写网络爬虫，你首先需要选择一款合适的编程语言，这些编程语言各有优势，可以根据习惯进行选择。在此笔者推荐使用Python进行爬虫项目的编写，其优点是：简洁、掌握难度低。
2、掌握Python的一些基础爬虫模块
当然，在进行这一步之前，你应当先掌握Python的一些简单语法基础，然后才可以使用Python语言进行爬虫项目的开发。
在掌握了Python的语法基础之后，你需要重点掌握一个Python的关于爬虫开发的基础模块。这些模块有很多可以供你选择，比如urllib、requests等等，只需要精通一个基础模块即可，不必要都精通，因为都是大同小异的，在此推荐的是掌握urllib，当然你可以根据你的习惯进行选择。
3、深入掌握一款合适的表达式
学会了如何爬取网页内容之后，你还需要学会进行信息的提取。事实上，信息的提取你可以通过表达式进行实现，同样，有很多表达式可以供你选择使用，常见的有正则表达式、XPath表达式、BeautifulSoup等，这些表达式你没有必要都精通，同样，精通1-2个，其他的掌握即可，在此建议精通掌握正则表达式以及XPath表达式，其他的了解掌握即可。正则表达式可以处理的数据的范围比较大，简言之，就是能力比较强，XPath只能处理XML格式的数据，有些形式的数据不能处理，但XPath处理数据会比较快。
4、深入掌握抓包分析技术
事实上，很多网站都会做一些反爬措施，即不想让你爬到他的数据。最常见的反爬手段就是对数据进行隐藏处理，这个时候，你就无法直接爬取相关的数据了。作为爬虫方，如果需要在这种情况下获取数据，那么你需要对相应的数据进行抓包分析，然后再根据分析结果进行处理。一般推荐掌握的抓包分析工具是Fiddler，当然你也可以用其他的抓包分析工具，没有特别的要求。
5、精通一款爬虫框架
事实上，当你学习到这一步的时候，你已经入门了。
这个时候，你可能需要深入掌握一款爬虫框架，因为采用框架开发爬虫项目，效率会更加高，并且项目也会更加完善。
同样，你可以有很多爬虫框架进行选择，比如Scrapy、pySpider等等，一样的，你没必要每一种框架都精通，只需要精通一种框架即可，其他框架都是大同小异的，当你深入精通一款框架的时候，其他的框架了解一下事实上你便能轻松使用，在此推荐掌握Scrapy框架，当然你可以根据习惯进行选择。
6、掌握常见的反爬策略与反爬处理策略
反爬，是相对于网站方来说的，对方不想给你爬他站点的数据，所以进行了一些限制，这就是反爬。
反爬处理，是相对于爬虫方来说的，在对方进行了反爬策略之后，你还想爬相应的数据，就需要有相应的攻克手段，这个时候，就需要进行反爬处理。
事实上，反爬以及反爬处理都有一些基本的套路，万变不离其宗，这些后面作者会具体提到，感兴趣的可以关注。
常见的反爬策略主要有：
IP限制
UA限制
Cookie限制
资源随机化存储
动态加载技术
……
对应的反爬处理手段主要有：
IP代理池技术
用户代理池技术
Cookie保存与处理
自动触发技术
抓包分析技术+自动触发技术
……
这些大家在此先有一个基本的思路印象即可，后面都会具体通过实战案例去介绍。
7、掌握PhantomJS、Selenium等工具的使用
有一些站点，通过常规的爬虫很难去进行爬取，这个时候，你需要借助一些工具模块进行，比如PhantomJS、Selenium等，所以，你还需要掌握PhantomJS、Selenium等工具的常规使用方法。
8、掌握分布式爬虫技术与数据去重技术
如果你已经学习或者研究到到了这里，那么恭喜你，相信现在你爬任何网站都已经不是问题了，反爬对你来说也只是一道形同虚设的墙而已了。
但是，如果要爬取的资源非常非常多，靠一个单机爬虫去跑，仍然无法达到你的目的，因为太慢了。
所以，这个时候，你还应当掌握一种技术，就是分布式爬虫技术，分布式爬虫的架构手段有很多，你可以依据真实的服务器集群进行，也可以依据虚拟化的多台服务器进行，你可以采用urllib+redis分布式架构手段，也可以采用Scrapy+redis架构手段，都没关系，关键是，你可以将爬虫任务部署到多台服务器中就OK。
至于数据去重技术，简单来说，目的就是要去除重复数据，如果数据量小，直接采用数据库的数据约束进行实现，如果数据量很大，建议采用布隆过滤器实现数据去重即可，布隆过滤器的实现在Python中也是不难的。
以上是如果你想精通Python网络爬虫的学习研究路线，按照这些步骤学习下去，可以让你的爬虫技术得到非常大的提升。
至于有些朋友问到，使用Windows系统还是Linux系统，其实，没关系的，一般建议学习的时候使用Windows系统进行就行，比较考虑到大部分朋友对该系统比较数据，但是在实际运行爬虫任务的时候，把爬虫部署到Linux系统中运行，这样效率比较高。由于Python的可移植性非常好，所以你在不同的平台中运行一个爬虫，代码基本上不用进行什么修改，只需要学会部署到Linux中即可。所以，这也是为什么说使用Windows系统还是Linux系统进行学习都没多大影响的原因之一。
本篇文章主要是为那些想学习Python网络爬虫，但是又不知道从何学起，怎么学下去的朋友而写的。希望通过本篇文章，可以让你对Python网络爬虫的研究路线有一个清晰的了解，这样，本篇文章的目的就达到了，加油！
本文章由作者韦玮原创，转载请注明出处。
10. 使用树莓派搭建爬虫服务器
先安装散热片
在固定到底板上，一共有四个螺丝
查SD卡的那一侧先不安装
固定好风扇
完成！