1. python爬蟲怎麼賺錢 知乎
第一種。找爬蟲外包工作
網路爬蟲最通常的掙錢方式通過外包網站，做中小規模的爬蟲項目，向甲方提供數據抓取，數據結構化，數據清洗等服務。新入行的程序員大多數都會先嘗試這個方向，直接靠技術手段掙錢，也是技術人員最擅長的方式，但是由於競爭人員太多，價格可能不是很貴，白菜價。
第二種。抓取數據做網站
可以通過Python爬蟲抓取數據，來做網站掙錢，每個月有小幾千塊錢，雖然掙得不多，但是做成之後不需要怎麼維護，也算是有被動收入了。
第三種。在職大學生
如果你是在職大學生，數學或者計算機相關專業的人員，編程能力還可以的話，可以稍微看一下編程知識，比如爬蟲庫、HTML解析、內容存儲等，復雜還需要了解URL排重、模擬登錄、驗證碼識別、多線程等，這部分人員工程經驗比較少，想要通過爬蟲賺錢的話，可以找一些少量數據抓取的項目，一點點積累經驗，後期可以嘗試接一些監控類的項目或者大規模抓取的項目。
第四種。在職人員
如果你本身就從事Python網路爬蟲工作，掙錢是非常簡單的。在職人員比較熟悉項目開發流程，工程經驗豐富，能對一個任務的難度、時間、花費進行合理評估，可以嘗試去找一些大規模抓取任務、監控任務、移動端模擬登錄並抓取任務等，收益是非常可觀的。
第五種。運營自媒體
如果你技術好，經驗豐富，可以自己嘗試運營公眾號、自媒體、博客等，現在學習Python寫爬蟲的人越來越多，很多都是非科班出身，需求量大增，你可以利用自己的技術多寫一些教程和學習經驗總結，運營效果不錯的話，也可以獲得可觀的收入。
2. python爬蟲登錄知乎後怎樣爬取數據
模擬登錄
很多網站，比如知乎、微博、豆瓣，都需要登錄之後，才能瀏覽某些內容。所以想要爬取這類網站，必須先模擬登錄。比較簡單的方式是利用這個網站的 cookie。cookie 相當於是一個密碼箱，裡面儲存了用戶在該網站的基本信息。在一次登錄之後，網站會記住你的信息，把它放到cookie里，方便下次自動登錄。所以，要爬取這類網站的策略是：先進行一次手動登錄，獲取cookie，然後再次登錄時，調用上一次登錄得到的cookie，實現自動登錄。
動態爬取
在爬取知乎某個問題的時候，需要將滑動滑鼠滾輪到底部，以顯示新的回答。靜態的爬取方法無法做到這一點，可以引入selenium庫來解決這一問題。selenium庫模擬人瀏覽網站、進行操作，簡單易懂。
3. 怎樣用Python設計一個爬蟲模擬登陸知乎
先來說一下，爬蟲模擬登陸的基本原理吧，我也是剛開始接觸對於一些深層次的東西也不是掌握的很清楚。首先比較重要的一個概念就是cookie，我們都知道HTTP是一種無狀態的協議，也就是說當一個瀏覽器客戶端向伺服器提交一個request，伺服器回應一個response後，他們之間的聯系就中斷了。這樣就導致了這個客戶端在向伺服器發送請求時，伺服器無法判別這兩個客戶端是不是一個了。握搭這樣肯定是不行的。這時cookie的作用就體現出來了。當客戶端向伺服器發送一個請求後，伺服器會給它分配一個標識（cookie），並保存到客戶端本地，當下次該客戶端再次發送請求時連帶著cookie一並發送給伺服器，伺服器一看到cookie，啊原來是你呀，這是你的東西，拿走吧。所以一個爬蟲模擬登陸就是要要做到模擬一個瀏覽器客戶端的行為，首先將你的基本登錄信息發送給指定的url，伺服器驗證成功後會返回一個cookie，我們就利用這個cookie進行後續的爬取工作就行了。
我這里抓包用的就是chrome的開發者工具，不過你也可以使用Fiddler、Firebug等都可以，只不過作為一名前端er對chrome有一種特殊的喜愛之情。准備好工具接下來就要打開知乎的登陸頁面並查看https://www.hu.com/#signin 我們可以很容易發現這個請求 發送的就是登錄信息，當然我使用手機登陸的 用郵件登陸的是最後結尾是email
所以我們只需要向這個地址post數據陸或就行了
phone_num 登錄名
password 密碼
captcha_type 驗證碼類型(這個參數著這里並沒有實質作用)
rember_me 記住密碼
_xsrf 一個隱藏的表單元素 知乎用來防禦CSRF的（段悉拿關於CSRF請打開這里） 我發現這個值是固定所以就在這里直接寫死了 若果有興趣的同學可以寫一個正則表達式 把這部分的值提取出來 這樣更嚴謹一些。
# -*- coding:utf-8 -*-
import urllib2
import urllib
import cookielib
posturl = 'https://www.hu.com/login/phone_num'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/52.0.2743.116 Safari/537.36',
'Referer':'https://www.hu.com/'
}
value = {
'password':'*****************',
'remember_me':True,
'phone_num':'*******************',
'_xsrf':'**********************'
}
data=urllib.urlencode(value)
#初始化一個CookieJar來處理Cookie
cookieJar=cookielib.CookieJar()
cookie_support = urllib2.HTTPCookieProcessor(cookieJar)
#實例化一個全局opener
opener=urllib2.build_opener(cookie_support)
request = urllib2.Request(posturl, data, headers)
result=opener.open(request)
print result.read()
當你看到伺服器返回這個信息的時候就說明你登陸成功了
{"r":0,
"msg": "\u767b\u5f55\u6210\u529f"
}
#翻譯過來就是 「登陸成功」 四個大字
然後你就可以用這個身份去抓取知乎上的頁面了
page=opener.open("https://www.hu.com/people/yu-yi-56-70")
content = page.read().decode('utf-8')
print(content)
這段代碼 就是通過實例化一個opener對象保存成功登陸後的cookie信息，然後再通過這個opener帶著這個cookie去訪問伺服器上關於這個身份的完整頁面。
4. 怎樣用Python設計一個爬蟲模擬登陸知乎
#!/usr/bin/envpython3
#-*-coding:utf-8-*-
'''
Required
-requests(必須)
-pillow(可選)
'''
importrequests
try:
importcookielib
except:
importhttp.cookiejarascookielib
importre
importtime
importos.path
try:
fromPILimportImage
except:
pass
#構造Requestheaders
agent='Mozilla/5.0(WindowsNT5.1;rv:33.0)Gecko/20100101Firefox/33.0'
headers={
'User-Agent':agent
}
#使用登錄cookie信息
session=requests.session()
session.cookies=cookielib.LWPCookieJar(filename='cookies')
try:
session.cookies.load(ignore_discard=True)
except:
print("Cookie未能載入")
defget_xsrf():
'''_xsrf是一個動態變化的參數'''
index_url='
#獲取登錄時需要用到的_xsrf
index_page=session.get(index_url,headers=headers)
html=index_page.text
pattern=r'name="_xsrf"value="(.*?)"'
#這里的_xsrf返回的是一個list
_xsrf=re.findall(pattern,html)
return_xsrf[0]
#獲取驗證碼
defget_captcha():
t=str(int(time.time()*1000))
captcha_url='
r=session.get(captcha_url,headers=headers)
withopen('captcha.jpg','wb')asf:
f.write(r.content)
f.close()
#用pillow的Image顯示驗證碼
#如果沒有安裝pillow到源代碼所在的目錄去找到驗證碼然後手動輸入
try:
im=Image.open('captcha.jpg')
im.show()
im.close()
except:
print(u'請到%s目錄找到captcha.jpg手動輸入'%os.path.abspath('captcha.jpg'))
captcha=input("pleaseinputthecaptcha >")
returncaptcha
defisLogin():
#通過查看用戶個人信息來判斷是否已經登錄
url="
login_code=session.get(url,allow_redirects=False).status_code
ifint(x=login_code)==200:
returnTrue
else:
returnFalse
deflogin(secret,account):
#通過輸入的用戶名判斷是否是手機號
ifre.match(r"^1d{10}$",account):
print("手機號登錄 ")
post_url='
postdata={
'_xsrf':get_xsrf(),
'password':secret,
'remember_me':'true',
'phone_num':account,
}
else:
print("郵箱登錄 ")
post_url='
postdata={
'_xsrf':get_xsrf(),
'password':secret,
'remember_me':'true',
'email':account,
}
try:
#不需要驗證碼直接登錄成功
login_page=session.post(post_url,data=postdata,headers=headers)
login_code=login_page.text
print(login_page.status)
print(login_code)
except:
#需要輸入驗證碼後才能登錄成功
postdata["captcha"]=get_captcha()
login_page=session.post(post_url,data=postdata,headers=headers)
login_code=eval(login_page.text)
print(login_code['msg'])
session.cookies.save()
try:
input=raw_input
except:
pass
if__name__=='__main__':
ifisLogin():
print('您已經登錄')
else:
account=input('請輸入你的用戶名 >')
secret=input("請輸入你的密碼 >")
login(secret,account)
5. 如何系統地自學Python_如何系統地自學Python知乎
學習可以按照以下路線進行：
階段一：Python開發基礎
Python全棧開發與人工智慧之Python開發基礎知識學習內容包括：Python基礎語法、數據類型、字元編碼、文件操作、函數、裝飾器、迭代器、內置方法、常用模塊等。
階段二：Python高級編程和資料庫開發
Python全棧開發與人工智慧之Python高級編程和資料庫開發知識學習內容包括：面向對象開發、Socket網路編程、線程、進程、隊列、IO多路模型、Mysql資料庫開發等。
階段三：前端開發
Python全棧開發與人工智慧之前端開發知識學習內容包括：Html、CSS、javaScript開發、Jquery&bootstrap開發、前端框架VUE開發等。
階段四：WEB框架開發
Python全棧開發與人工智慧之WEB框架開發學習內容包括：Django框架基礎、Django框架進階、BBSBlog實戰項目開發、緩存和隊賀攜畢列中間件、Flask框架學習、Tornado框架學習、RestfulAPI等。
階段五：爬蟲開發
Python全棧開發與人工智慧之爬蟲開發學習內容包括：爬蟲開發實戰。
階段六：全棧項目實戰
Python全棧開發與人工智慧之全棧項目實隱仔戰學習內容包括：企業應用工具學習、CRM客戶關系管理系統開發、路飛學城在線教育平台開發等。
階段七：數據分析
Python全棧開發與人工智慧之數據分析學習內容包括：金融量化分析。
階段八：人工智慧
Python全棧開發與人工智慧之人工智慧學習內容包括：機器學習、圖形識禪芹別、無人機開發、無人駕駛等。
階段九：自動化運維&開發
Python全棧開發與人工智慧之自動化運維&開發學習內容包括：CMDB資產管理系統開發、IT審計主機管理系統開發、分布式主機監控系統開發等。
階段十：高並發語言GO開發
Python全棧開發與人工智慧之高並發語言GO開發學習內容包括：GO語言基礎、數據類型與文件IO操作、函數和面向對象、並發編程等。
6. 如何用爬蟲爬取知乎專欄信息
python是一款應用非常廣泛的腳本程序語言，谷歌公司的網頁就是用拆埋python編寫。python在生物信息、統計、網頁製作、計算等多個領域都體現出了強大的功能。python和其他腳本語言如java、R、Perl 一樣，都可以直接在命令行里運行腳本程序。工具/原料
python；CMD命令行；windows操作系統
方法/步驟
1、首先下載安裝python，建議安裝2.7版本以上，3.0版本以下，由於3.0版本以上不向下兼容，體驗較差。
2、打開文本編輯器，推薦editplus，notepad等，將文件保存成 .py格式，editplus和notepad支持識別python語法。
腳本第一行一定要寫上 #!usr/bin/python
表示該腳本文件是可執行python腳本
如果python目錄不在usr/bin目錄下，則替換成當前python執行程序的目錄。
3、編寫完腳本之後注意調試、可以直接用editplus調試。調試方法可自行網路。腳本寫完之後，打開CMD命令行，前提是python 已經被攜擾加入到環境變數中，如果沒有加入到環境變數，請百旅隱螞度
4、在CMD命令行中，輸入 逗python地 + 逗空格地，即 地python 逗；將已經寫好的腳本文件拖拽到當前游標位置，然後敲回車運行即可。
7. Python爬取知乎與我所理解的爬蟲與反爬蟲
關於知乎驗證碼登陸的問題，用到了Python上一個重要的圖片處理庫PIL,如果不行，就把圖片存到本地，手動輸入。
通過對知乎登陸是的抓包，可以發現登陸知乎，需要post三個參數，一個是賬號，一個是密碼，一個是xrsf。
這個xrsf隱藏在表單裡面，每次登陸的時候，應該是伺服器隨機產生一個字元串。所有，要模擬登陸的時候，必須要拿到xrsf。
用chrome （或者火狐 httpfox 抓包分析）的結果：
所以，必須要拿到xsrf的數值，注意這是一個動態變化的參數，每次都不一樣。
拿到xsrf，下面就可以模擬登陸了。
使用requests庫的session對象，建立一個會話的好處是，可以把同一個用戶的不同請求聯系起來，直到會話結束都會自動處理cookies。
注意：cookies 是當前目錄的一個文件，這個文件保存了知乎的cookie，如果是第一個登陸，那麼當然是沒有這個文件的，不能通過cookie文件來登陸。必須要輸入密碼。
這是登陸的函數，通過login函數來登陸，post 自己的賬號，密碼和xrsf 到知乎登陸認證的頁面上去，然後得到cookie，將cookie保存到當前目錄下的文件裡面。下次登陸的時候，直接讀取這個cookie文件。
這是cookie文件的內容
以下是源碼：
運行結果：
https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu
反爬蟲最基本的策略：
爬蟲策略：
這兩個都是在http協議的報文段的檢查，同樣爬蟲端可以很方便的設置這些欄位的值，來欺騙伺服器。
反爬蟲進階策略：
1.像知乎一樣，在登錄的表單裡面放入一個隱藏欄位，裡面會有一個隨機數，每次都不一樣，這樣除非你的爬蟲腳本能夠解析這個隨機數，否則下次爬的時候就不行了。
2.記錄訪問的ip，統計訪問次數，如果次數太高，可以認為這個ip有問題。
爬蟲進階策略：
1.像這篇文章提到的，爬蟲也可以先解析一下隱藏欄位的值，然後再進行模擬登錄。
2.爬蟲可以使用ip代理池的方式，來避免被發現。同時，也可以爬一會休息一會的方式來降低頻率。另外，伺服器根據ip訪問次數來進行反爬，再ipv6沒有全面普及的時代，這個策略會很容易造成誤傷。（這個是我個人的理解）。
通過Cookie限制進行反爬蟲：
和Headers校驗的反爬蟲機制類似，當用戶向目標網站發送請求時，會再請求數據中攜帶Cookie，網站通過校驗請求信息是否存在Cookie，以及校驗Cookie的值來判定發起訪問請求的到底是真實的用戶還是爬蟲，第一次打開網頁會生成一個隨機cookie，如果再次打開網頁這個Cookie不存在，那麼再次設置，第三次打開仍然不存在，這就非常有可能是爬蟲在工作了。
反爬蟲進進階策略：
1.數據投毒，伺服器在自己的頁面上放置很多隱藏的url，這些url存在於html文件文件裡面，但是通過css或者js使他們不會被顯示在用戶看到的頁面上面。（確保用戶點擊不到）。那麼，爬蟲在爬取網頁的時候，很用可能取訪問這個url，伺服器可以100%的認為這是爬蟲乾的，然後可以返回給他一些錯誤的數據，或者是拒絕響應。
爬蟲進進階策略：
1.各個網站雖然需要反爬蟲，但是不能夠把網路，谷歌這樣的搜索引擎的爬蟲給幹了（幹了的話，你的網站在網路都說搜不到！）。這樣爬蟲應該就可以冒充是網路的爬蟲去爬。（但是ip也許可能被識破，因為你的ip並不是網路的ip）
反爬蟲進進進階策略：
給個驗證碼，讓你輸入以後才能登錄，登錄之後，才能訪問。
爬蟲進進進階策略：
圖像識別，機器學習，識別驗證碼。不過這個應該比較難，或者說成本比較高。
參考資料：
廖雪峰的python教程
靜覓的python教程
requests庫官方文檔
segmentfault上面有一個人的關於知乎爬蟲的博客，找不到鏈接了
8. Python爬蟲可以爬取什麼
Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。
安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率
一
學習 Python 包並實現基本的爬蟲過程
大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。
當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。
二
了解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。
開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。
當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。
三
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
四
學習資料庫基礎，應對大規模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。
五
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。
往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.
六
分布式爬蟲，實現大規模並發採集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。
所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。
因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。
當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。
以上就是我的回答，希望對你有所幫助，望採納。