① scrapy怎麼在伺服器上跑起來
scrapy在伺服器上跑起來的方法如下：啟動scrapyd；配置項目下的scrapy.cfg；deploy設置；就可以了。scrapyd 是由scrapy 官方提供的爬蟲管理工具，它可以管理多個項目，每個項目可以上傳多個版本，但默認使用最新版。
② python scrapy爬蟲以scrapyd部署到伺服器上運行，現在想做一個定時爬取任務該怎樣做，scrapyd不支持。
可以用linux 自帶定時任務執行 py 程序就可以了實現的。
③ 如何將python程序放在伺服器上運行如sae那些
第一種，如何你有控制權的伺服器，直接ssh訪問，上傳python代碼。第二種，虛擬主機的，用Django等，看Django配置
④ python爬蟲 如何自己用雲伺服器上搭建代理伺服器 並使用requests測試代理
1、簡介
使用同一個ip頻繁爬取一個網站，久了之後會被該網站的伺服器屏蔽。所以這個時候需要使用代理伺服器。通過ip欺騙的方式去爬取網站
可以使用http://yum.iqianyue.com.com/proxy中找到很多伺服器代理地址
2、應用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www..com")
print(len(data))
⑤ pycharm 怎樣遠程調試放在伺服器的 爬蟲
僅僅是想開啟遠程python爬蟲的話，可以用ssh或者putty（windows下）遠程連接到伺服器，通過python命令直接運行；
調試，修改代碼的話建議用vim；
putty長時間操作（數分鍾）會失去伺服器連接，導致python程序中斷，建議用screen命令來避免這個問題；
pycharm不熟悉，沒有什麼建議；
⑥ 爬蟲代理伺服器怎麼用
我們都知道數據信息是很重要的，當我們進行數據採集的時候直接去別人的網站住區數據的話，是會被網站的反爬蟲限制，如果我們是不使用代理ip，在數據採集的時候可能就不能順利地完成工作。代理ip可以幫助我們隱藏真實的ip地址，我們就像一個真實的用戶在瀏覽網頁。可以放心的進行數據抓取。
因為互聯網的發展很多的HTTP代理開始出現，很多的人不知道選擇什麼用哪個代理商。我們在選擇的時候要看自己從事的什麼業務，不能隨便的選擇。我自己使用過的HTTP代理有極光HTTP，穩定性比較高。操作也很簡單。
1、使用HTTP代理-登錄注冊
2、提取代理ip-生成生成API鏈接生-打開鏈接
3、可以使用打開360安全瀏覽器，並點擊【打開菜單-工具-代理伺服器-代理伺服器設置】
4、粘貼提取的代理IP地址至代理伺服器列表，即完成設置
⑦ 如何將爬蟲託管在伺服器上
爬蟲的話，因為比較佔用資源，如果是VPS的話，可能會別IDC刪除。伺服器的話，因為是獨立資源，IDC不管，最多也就是限制一下你的網路而已。 所以，用伺服器好安全一點。
⑧ 如何用爬蟲爬網路代理伺服器地址
網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。
1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。
2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。
3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。
4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。
⑨ python爬蟲怎麼設置HTTP代理伺服器
解決的方法很簡單，就是使用代理伺服器。
使用代理伺服器去爬取某個網站的內容的時候，在對方的網站上，顯示的不是我們真實的IP地址，而是代理伺服器的IP地址。並且在Python爬蟲中，使用代理伺服器設置起來也很簡單。
⑩ 我現在有一套在網站上爬取數據的程序(用python寫的)如何在伺服器運行
用xshell之類的軟體連接到伺服器上，然後用其帶的比如xftp工具將代碼傳上去，在伺服器上安裝python之後再去跑代碼就行了