你需要登錄雲伺服器管理控制台，記錄被我打馬賽克位置的公網ip。
登錄伺服器
windows推薦下putty進行連接遠程伺服器，linux和macos不需要那麼麻煩，ssl就行了。
putty
在下圖的host name中輸入你的公網IP，點擊open。
putty界面
輸入密碼，看不見輸入不要慌，linux就是這樣保護安全的。
Paste_Image.png
登錄成功界面見下圖，然後想怎麼操作就怎麼操作了。
登陸成功界面
運行我的python文件
推薦FileZilla進行文件傳輸（不具體說明了），我上傳了我的flask網站項目
我的項目
記住伺服器同時有Python2和Python3,
python
運行的時候記得使用合適的版本，我用的是虛擬環境（自行網路如何創建虛擬環境）
在運行python之前先安裝一個screen，他可以將一個程序在後台運行
sudo apt-get install screen
運行python文件，成功後按下ctrl+A和ctrl+D可以隱藏。隱藏後可以輸入screen -r 恢復。
運行成功
2. Python scrapy爬蟲以scrapyd部署到伺服器上運行，現在想做一個定時爬取任務該怎樣做，scrapyd不支持。
可以用linux 自帶定時任務執行 py 程序就可以了實現的。
3. 如何在伺服器上部署Django項目並使其在後台一直運行
前幾天老師讓我把一個Django項目（爬蟲網頁）放到校園內網上，但是我想先用自己的伺服器來嘗試一下。之前剛好有在Digital Ocean上買過伺服器用來運行ss腳本，平時伺服器一直放著沒啥用，所以就拿它來試驗一下。
廢話不多說，第一步通過WinSCP軟體把Django文件傳到伺服器上。
在伺服器中安裝Django需要的環境和我所需要的Python第三方庫。
以上所有步驟完成後，還需要進行一步操作，這是我經歷的一個 坑 。 打開Django文件目錄中的 settings.py ，把 ALLOWED_HOSTS=[] 改為 ALLOWED_HOSTS=["*"] 。
在伺服器中打開到 manage.py 所在的目錄，輸入命令：
python3 manage.py runserver 0.0.0.0:8000
然後按下回車，在瀏覽器中輸入： 該伺服器IP地址:8000 ，大功告成！
Attention:
1. python3 不是特定的，是根據你的Django項目所需要的環境指定的。
2. 8000 是埠號，可以修改。
如果想要Django項目一直運行，關閉終端後還在運行，即需要運行如下命令， nohup command & ， command 即位上文所說的 python3 manage.py runserver 0.0.0.0:8000 。
4. 怎麼把python部署到伺服器
使用pip或easy_install可以管理和安裝python的package包，實際上它們都是從pypi伺服器中搜索和下載package的。目前在pypi伺服器上，有超過三萬多個package，同時還允許我們將自己的代碼也上傳發布到伺服器上。這樣，世界上的所有人都能使用pip或easy_install來下載使用我們的代碼了。
具體步驟如下：
首先創建項目文件和setup文件。
目錄文件結構如下：
project/
simpletest/
__init__.py
test.py
setup.py
假設項目文件只有一個simpletest包，裡面有一個test.py文件。
創建的setup.py文件格式大致如下，其中，install_requires欄位可以列出依賴的包信息，用戶使用pip或easy_install安裝時會自動下載依賴的包。詳細的格式參考文檔。
from setuptools import setup, find_packages
setup(
name = 'simpletest',
version = '0.0.1',
keywords = ('simple', 'test'),
description = 'just a simple test',
license = 'MIT License',
install_requires = ['simplejson>=1.1'],
author = 'yjx',
author_email = '[email protected]',
packages = find_packages(),
platforms = 'any',
)
然後將代碼打包。
打包只需要執行python
setup.py xxx命令即可，其中xxx是打包格式的選項，如下：
# 以下所有生成文件將在當前路徑下 dist 目錄中
python setup.py bdist_egg # 生成easy_install支持的格式
python setup.py sdist # 生成pip支持的格式，下文以此為例
發布到pypi。
發布到pypi首先需要注冊一個賬號，然後進行如下兩步：
注冊package。輸入python setup.py register。
上傳文件。輸入python setup.py sdist upload。
安裝測試
上傳成功後，就可以使用pip來下載安裝了。
另外，pypi還有一個測試伺服器，可以在這個測試伺服器上做測試，測試的時候需要給命令指定額外的"-r"或"-i"選項，如python
setup.py register -r "",python
setup.py sdist upload -r "",pip
install -i "" simpletest。
發布到測試伺服器的時候，建議在linux或cygwin中發布，如果是在windows中，參考文檔，需要生成.pypirc文件
5. 如何用爬蟲爬網路代理伺服器地址
網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。
1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。
2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。
3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。
4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。
6. 爬蟲代理伺服器怎麼用
打開火狐瀏覽器右上角的設置選項，選擇「選項」
爬蟲代理伺服器怎麼用？
選擇左邊選項欄中最下方的「高級」選項
爬蟲代理伺服器怎麼用？
「高級」選項下拉菜單「網路」。
連接配置 Firefox 如何連接至國際互聯網，右側的「設置網路」
爬蟲代理伺服器怎麼用？
在菜單中選擇「手動選擇配置代理」
爬蟲代理伺服器怎麼用？
將您的http代理IP地址填寫在IP地址欄內，埠代碼寫在相應的位置。
其他的代理SSL代理、FTP代理、socks主機都類似。
爬蟲代理伺服器怎麼用？
END
注意事項
其他瀏覽器的處理方法差不多，選擇代理IP一定要選擇高質量的代理IP，否則就是在浪費時間。
諸如訊代理、螞蟻代理、快代理這些網站所提供的代理IP的質量都還不錯。每個代理提供商有自己的特色，可以多加嘗試！
7. scrapy怎麼在伺服器上跑起來
scrapy在伺服器上跑起來的方法如下：啟動scrapyd；配置項目下的scrapy.cfg；deploy設置；就可以了。scrapyd 是由scrapy 官方提供的爬蟲管理工具，它可以管理多個項目，每個項目可以上傳多個版本，但默認使用最新版。
8. 如何將爬蟲託管在伺服器上
爬蟲的話，因為比較佔用資源，如果是VPS的話，可能會別IDC刪除。伺服器的話，因為是獨立資源，IDC不管，最多也就是限制一下你的網路而已。 所以，用伺服器好安全一點。
9. 精通Python網路爬蟲之網路爬蟲學習路線
欲精通Python網路爬蟲，必先了解網路爬蟲學習路線，本篇經驗主要解決這個問題。部分內容參考自書籍《精通Python網路爬蟲》。
作者：韋瑋
轉載請註明出處
隨著大數據時代的到來，人們對數據資源的需求越來越多，而爬蟲是一種很好的自動採集數據的手段。
那麼，如何才能精通Python網路爬蟲呢？學習Python網路爬蟲的路線應該如何進行呢？在此為大傢具體進行介紹。
1、選擇一款合適的編程語言
事實上，Python、PHP、JAVA等常見的語言都可以用於編寫網路爬蟲，你首先需要選擇一款合適的編程語言，這些編程語言各有優勢，可以根據習慣進行選擇。在此筆者推薦使用Python進行爬蟲項目的編寫，其優點是：簡潔、掌握難度低。
2、掌握Python的一些基礎爬蟲模塊
當然，在進行這一步之前，你應當先掌握Python的一些簡單語法基礎，然後才可以使用Python語言進行爬蟲項目的開發。
在掌握了Python的語法基礎之後，你需要重點掌握一個Python的關於爬蟲開發的基礎模塊。這些模塊有很多可以供你選擇，比如urllib、requests等等，只需要精通一個基礎模塊即可，不必要都精通，因為都是大同小異的，在此推薦的是掌握urllib，當然你可以根據你的習慣進行選擇。
3、深入掌握一款合適的表達式
學會了如何爬取網頁內容之後，你還需要學會進行信息的提取。事實上，信息的提取你可以通過表達式進行實現，同樣，有很多表達式可以供你選擇使用，常見的有正則表達式、XPath表達式、BeautifulSoup等，這些表達式你沒有必要都精通，同樣，精通1-2個，其他的掌握即可，在此建議精通掌握正則表達式以及XPath表達式，其他的了解掌握即可。正則表達式可以處理的數據的范圍比較大，簡言之，就是能力比較強，XPath只能處理XML格式的數據，有些形式的數據不能處理，但XPath處理數據會比較快。
4、深入掌握抓包分析技術
事實上，很多網站都會做一些反爬措施，即不想讓你爬到他的數據。最常見的反爬手段就是對數據進行隱藏處理，這個時候，你就無法直接爬取相關的數據了。作為爬蟲方，如果需要在這種情況下獲取數據，那麼你需要對相應的數據進行抓包分析，然後再根據分析結果進行處理。一般推薦掌握的抓包分析工具是Fiddler，當然你也可以用其他的抓包分析工具，沒有特別的要求。
5、精通一款爬蟲框架
事實上，當你學習到這一步的時候，你已經入門了。
這個時候，你可能需要深入掌握一款爬蟲框架，因為採用框架開發爬蟲項目，效率會更加高，並且項目也會更加完善。
同樣，你可以有很多爬蟲框架進行選擇，比如Scrapy、pySpider等等，一樣的，你沒必要每一種框架都精通，只需要精通一種框架即可，其他框架都是大同小異的，當你深入精通一款框架的時候，其他的框架了解一下事實上你便能輕松使用，在此推薦掌握Scrapy框架，當然你可以根據習慣進行選擇。
6、掌握常見的反爬策略與反爬處理策略
反爬，是相對於網站方來說的，對方不想給你爬他站點的數據，所以進行了一些限制，這就是反爬。
反爬處理，是相對於爬蟲方來說的，在對方進行了反爬策略之後，你還想爬相應的數據，就需要有相應的攻克手段，這個時候，就需要進行反爬處理。
事實上，反爬以及反爬處理都有一些基本的套路，萬變不離其宗，這些後面作者會具體提到，感興趣的可以關注。
常見的反爬策略主要有：
IP限制
UA限制
Cookie限制
資源隨機化存儲
動態載入技術
……
對應的反爬處理手段主要有：
IP代理池技術
用戶代理池技術
Cookie保存與處理
自動觸發技術
抓包分析技術+自動觸發技術
……
這些大家在此先有一個基本的思路印象即可，後面都會具體通過實戰案例去介紹。
7、掌握PhantomJS、Selenium等工具的使用
有一些站點，通過常規的爬蟲很難去進行爬取，這個時候，你需要藉助一些工具模塊進行，比如PhantomJS、Selenium等，所以，你還需要掌握PhantomJS、Selenium等工具的常規使用方法。
8、掌握分布式爬蟲技術與數據去重技術
如果你已經學習或者研究到到了這里，那麼恭喜你，相信現在你爬任何網站都已經不是問題了，反爬對你來說也只是一道形同虛設的牆而已了。
但是，如果要爬取的資源非常非常多，靠一個單機爬蟲去跑，仍然無法達到你的目的，因為太慢了。
所以，這個時候，你還應當掌握一種技術，就是分布式爬蟲技術，分布式爬蟲的架構手段有很多，你可以依據真實的伺服器集群進行，也可以依據虛擬化的多台伺服器進行，你可以採用urllib+redis分布式架構手段，也可以採用Scrapy+redis架構手段，都沒關系，關鍵是，你可以將爬蟲任務部署到多台伺服器中就OK。
至於數據去重技術，簡單來說，目的就是要去除重復數據，如果數據量小，直接採用資料庫的數據約束進行實現，如果數據量很大，建議採用布隆過濾器實現數據去重即可，布隆過濾器的實現在Python中也是不難的。
以上是如果你想精通Python網路爬蟲的學習研究路線，按照這些步驟學習下去，可以讓你的爬蟲技術得到非常大的提升。
至於有些朋友問到，使用Windows系統還是Linux系統，其實，沒關系的，一般建議學習的時候使用Windows系統進行就行，比較考慮到大部分朋友對該系統比較數據，但是在實際運行爬蟲任務的時候，把爬蟲部署到Linux系統中運行，這樣效率比較高。由於Python的可移植性非常好，所以你在不同的平台中運行一個爬蟲，代碼基本上不用進行什麼修改，只需要學會部署到Linux中即可。所以，這也是為什麼說使用Windows系統還是Linux系統進行學習都沒多大影響的原因之一。
本篇文章主要是為那些想學習Python網路爬蟲，但是又不知道從何學起，怎麼學下去的朋友而寫的。希望通過本篇文章，可以讓你對Python網路爬蟲的研究路線有一個清晰的了解，這樣，本篇文章的目的就達到了，加油！
本文章由作者韋瑋原創，轉載請註明出處。
10. 使用樹莓派搭建爬蟲伺服器
先安裝散熱片
在固定到底板上，一共有四個螺絲
查SD卡的那一側先不安裝
固定好風扇
完成！