❶ python如何爬取知乎一個話題下的全部源碼(為什麼我只能獲取很少一部分)
手動打開知乎也只能看到很少一部分，必須下拉才會載入。所以要模擬這種動作吧。
❷ 如何對知乎內容進行爬蟲
下面說明知乎爬蟲的源碼和涉及主要技術點：
（1）程序package組織
（2）模擬登錄（爬蟲主要技術點1）
要爬去需要登錄的網站數據，模擬登錄是必要可少的一步，而且往往是難點。知乎爬蟲的模擬登錄可以做一個很好的案例。要實現一個網站的模擬登錄，需要兩大步驟是：（1）對登錄的請求過程進行分析，找到登錄的關鍵請求和步驟，分析工具可以有IE自帶(快捷鍵F12)、Fiddler、HttpWatcher；（2）編寫代碼模擬登錄的過程。
模擬登錄
（3）網頁下載（爬蟲主要技術點2）
模擬登錄後，便可下載目標網頁html了。知乎爬蟲基於HttpClient寫了一個網路連接線程池，並且封裝了常用的get和post兩種網頁下載的方法。
（4）自動獲取網頁編碼（爬蟲主要技術點3）
自動獲取網頁編碼是確保下載網頁html不出現亂碼的前提。知乎爬蟲中提供方法可以解決絕大部分亂碼下載網頁亂碼問題。
（5）網頁解析和提取（爬蟲主要技術點4）
使用Java寫爬蟲，常見的網頁解析和提取方法有兩種：利用開源Jar包Jsoup和正則。一般來說，Jsoup就可以解決問題，極少出現Jsoup不能解析和提取的情況。Jsoup強大功能，使得解析和提取異常簡單。知乎爬蟲採用的就是Jsoup。
（6）正則匹配與提取（爬蟲主要技術點5）
雖然知乎爬蟲採用Jsoup來進行網頁解析，但是仍然封裝了正則匹配與提取數據的方法，因為正則還可以做其他的事情，如在知乎爬蟲中使用正則來進行url地址的過濾和判斷。
（7）數據去重（爬蟲主要技術點6）
對於爬蟲，根據場景不同，可以有不同的去重方案。（1）少量數據，比如幾萬或者十幾萬條的情況，使用Map或Set便可；（2）中量數據，比如幾百萬或者上千萬，使用BloomFilter（著名的布隆過濾器）可以解決；（3）大量數據，上億或者幾十億，Redis可以解決。知乎爬蟲給出了BloomFilter的實現，但是採用的Redis進行去重。
（8）設計模式等Java高級編程實踐
除了以上爬蟲主要的技術點之外，知乎爬蟲的實現還涉及多種設計模式，主要有鏈模式、單例模式、組合模式等，同時還使用了Java反射。除了學習爬蟲技術，這對學習設計模式和Java反射機制也是一個不錯的案例。
4. 一些抓取結果
❸ 做個像知乎這樣的網站要多少錢
你們也太那個啥了吧？
動不動你們就想跟淘寶一樣、阿里巴巴一樣，不是人家程序員笑話咱們呢!
人家這種網站都是很多人積累了很長時間的，這種成本怎麼能夠計算呢？
說說具體的吧：
一、最簡單節省成本的就是：
價錢：幾百塊錢（或者千把塊錢）搞定
自己去下載一套問答系統的源碼，直接租用一個虛擬主機或者雲主機，搞定。
這種是最省成本的。
二、中間成本的：
價錢：一萬到十萬塊錢
源碼已經有了：購買 | WeCenter 社交化問答社區程序
具體的價錢服務你自己去看看吧。
三、超級成本的：
價錢：百萬到千萬不等
自己獨立開發，獨立購買伺服器，其人力成本和其他成本就跟知乎差不多了，
具體多少：我真不知道，沒法估計，問問知乎這幾年的會計吧，興許能夠估計個大概出來。
主要是運營這塊也是要命的事啊，網友為什麼要去你的問答平台上分享知識呢？
所以：最後：您是要表面上像知乎這類的網站呢？還是要後端配置服務所有的都跟知乎一樣呢？
❹ 怎樣用Python設計一個爬蟲模擬登陸知乎
#!/usr/bin/envpython3
#-*-coding:utf-8-*-
'''
Required
-requests(必須)
-pillow(可選)
'''
importrequests
try:
importcookielib
except:
importhttp.cookiejarascookielib
importre
importtime
importos.path
try:
fromPILimportImage
except:
pass
#構造Requestheaders
agent='Mozilla/5.0(WindowsNT5.1;rv:33.0)Gecko/20100101Firefox/33.0'
headers={
'User-Agent':agent
}
#使用登錄cookie信息
session=requests.session()
session.cookies=cookielib.LWPCookieJar(filename='cookies')
try:
session.cookies.load(ignore_discard=True)
except:
print("Cookie未能載入")
defget_xsrf():
'''_xsrf是一個動態變化的參數'''
index_url='
#獲取登錄時需要用到的_xsrf
index_page=session.get(index_url,headers=headers)
html=index_page.text
pattern=r'name="_xsrf"value="(.*?)"'
#這里的_xsrf返回的是一個list
_xsrf=re.findall(pattern,html)
return_xsrf[0]
#獲取驗證碼
defget_captcha():
t=str(int(time.time()*1000))
captcha_url='
r=session.get(captcha_url,headers=headers)
withopen('captcha.jpg','wb')asf:
f.write(r.content)
f.close()
#用pillow的Image顯示驗證碼
#如果沒有安裝pillow到源代碼所在的目錄去找到驗證碼然後手動輸入
try:
im=Image.open('captcha.jpg')
im.show()
im.close()
except:
print(u'請到%s目錄找到captcha.jpg手動輸入'%os.path.abspath('captcha.jpg'))
captcha=input("pleaseinputthecaptcha >")
returncaptcha
defisLogin():
#通過查看用戶個人信息來判斷是否已經登錄
url="
login_code=session.get(url,allow_redirects=False).status_code
ifint(x=login_code)==200:
returnTrue
else:
returnFalse
deflogin(secret,account):
#通過輸入的用戶名判斷是否是手機號
ifre.match(r"^1d{10}$",account):
print("手機號登錄 ")
post_url='
postdata={
'_xsrf':get_xsrf(),
'password':secret,
'remember_me':'true',
'phone_num':account,
}
else:
print("郵箱登錄 ")
post_url='
postdata={
'_xsrf':get_xsrf(),
'password':secret,
'remember_me':'true',
'email':account,
}
try:
#不需要驗證碼直接登錄成功
login_page=session.post(post_url,data=postdata,headers=headers)
login_code=login_page.text
print(login_page.status)
print(login_code)
except:
#需要輸入驗證碼後才能登錄成功
postdata["captcha"]=get_captcha()
login_page=session.post(post_url,data=postdata,headers=headers)
login_code=eval(login_page.text)
print(login_code['msg'])
session.cookies.save()
try:
input=raw_input
except:
pass
if__name__=='__main__':
ifisLogin():
print('您已經登錄')
else:
account=input('請輸入你的用戶名 >')
secret=input("請輸入你的密碼 >")
login(secret,account)
❺ Python爬取知乎與我所理解的爬蟲與反爬蟲
關於知乎驗證碼登陸的問題，用到了Python上一個重要的圖片處理庫PIL,如果不行，就把圖片存到本地，手動輸入。
通過對知乎登陸是的抓包，可以發現登陸知乎，需要post三個參數，一個是賬號，一個是密碼，一個是xrsf。
這個xrsf隱藏在表單裡面，每次登陸的時候，應該是伺服器隨機產生一個字元串。所有，要模擬登陸的時候，必須要拿到xrsf。
用chrome （或者火狐 httpfox 抓包分析）的結果：
所以，必須要拿到xsrf的數值，注意這是一個動態變化的參數，每次都不一樣。
拿到xsrf，下面就可以模擬登陸了。
使用requests庫的session對象，建立一個會話的好處是，可以把同一個用戶的不同請求聯系起來，直到會話結束都會自動處理cookies。
注意：cookies 是當前目錄的一個文件，這個文件保存了知乎的cookie，如果是第一個登陸，那麼當然是沒有這個文件的，不能通過cookie文件來登陸。必須要輸入密碼。
這是登陸的函數，通過login函數來登陸，post 自己的賬號，密碼和xrsf 到知乎登陸認證的頁面上去，然後得到cookie，將cookie保存到當前目錄下的文件裡面。下次登陸的時候，直接讀取這個cookie文件。
這是cookie文件的內容
以下是源碼：
運行結果：
https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu
反爬蟲最基本的策略：
爬蟲策略：
這兩個都是在http協議的報文段的檢查，同樣爬蟲端可以很方便的設置這些欄位的值，來欺騙伺服器。
反爬蟲進階策略：
1.像知乎一樣，在登錄的表單裡面放入一個隱藏欄位，裡面會有一個隨機數，每次都不一樣，這樣除非你的爬蟲腳本能夠解析這個隨機數，否則下次爬的時候就不行了。
2.記錄訪問的ip，統計訪問次數，如果次數太高，可以認為這個ip有問題。
爬蟲進階策略：
1.像這篇文章提到的，爬蟲也可以先解析一下隱藏欄位的值，然後再進行模擬登錄。
2.爬蟲可以使用ip代理池的方式，來避免被發現。同時，也可以爬一會休息一會的方式來降低頻率。另外，伺服器根據ip訪問次數來進行反爬，再ipv6沒有全面普及的時代，這個策略會很容易造成誤傷。（這個是我個人的理解）。
通過Cookie限制進行反爬蟲：
和Headers校驗的反爬蟲機制類似，當用戶向目標網站發送請求時，會再請求數據中攜帶Cookie，網站通過校驗請求信息是否存在Cookie，以及校驗Cookie的值來判定發起訪問請求的到底是真實的用戶還是爬蟲，第一次打開網頁會生成一個隨機cookie，如果再次打開網頁這個Cookie不存在，那麼再次設置，第三次打開仍然不存在，這就非常有可能是爬蟲在工作了。
反爬蟲進進階策略：
1.數據投毒，伺服器在自己的頁面上放置很多隱藏的url，這些url存在於html文件文件裡面，但是通過css或者js使他們不會被顯示在用戶看到的頁面上面。（確保用戶點擊不到）。那麼，爬蟲在爬取網頁的時候，很用可能取訪問這個url，伺服器可以100%的認為這是爬蟲乾的，然後可以返回給他一些錯誤的數據，或者是拒絕響應。
爬蟲進進階策略：
1.各個網站雖然需要反爬蟲，但是不能夠把網路，谷歌這樣的搜索引擎的爬蟲給幹了（幹了的話，你的網站在網路都說搜不到！）。這樣爬蟲應該就可以冒充是網路的爬蟲去爬。（但是ip也許可能被識破，因為你的ip並不是網路的ip）
反爬蟲進進進階策略：
給個驗證碼，讓你輸入以後才能登錄，登錄之後，才能訪問。
爬蟲進進進階策略：
圖像識別，機器學習，識別驗證碼。不過這個應該比較難，或者說成本比較高。
參考資料：
廖雪峰的python教程
靜覓的python教程
requests庫官方文檔
segmentfault上面有一個人的關於知乎爬蟲的博客，找不到鏈接了
❻ 哪裡可以找到app開源代碼知乎
開放源代碼也稱為源代碼公開，指的是一種軟體發布模式。一般的軟體僅可取得已經過編譯的二進制可執行檔，通常只有軟體的作族仿者或著作權所有者等擁兆廳纖有程序的原始碼。有些軟體的作者會將原始碼公開，此稱之為「源代碼公開」，但這並不一定符合「開放原代碼」的定義及條件，因為作者可能會設定公開原始碼的條件限制，例如限制可閱讀原始碼的對象、限制衍生品等，好的源碼基本都要收費或者有其他條件。商業源碼：源代碼類型區分軟體，通常被分為兩類：開源源碼和商業源碼。 開源源碼一般是不僅可以免費得到，而且公開源代碼；相對應地，商業源碼則是不公開源代碼，即收費購買或者有條件公開源碼。社交app源碼：專門針對社交領域的app開源產品，目前國內比較少，從開源中國社區、各伏銷大網站統計的數據來看，ThinkSNS算是其中做的比較好的產品。
❼ 如何使用python爬取知乎數據並做簡單分析
一、使用的技術棧：
爬蟲：python27 +requests+json+bs4+time
分析工具： ELK套件
開發工具：pycharm
數據成果簡單的可視化分析
1.性別分布
0 綠色代表的是男性 ^ . ^
1 代表的是女性
-1 性別不確定
可見知乎的用戶男性頗多。
二、粉絲最多的top30
粉絲最多的前三十名：依次是張佳瑋、李開復、黃繼新等等，去知乎上查這些人，也差不多這個排名，說明爬取的數據具有一定的說服力。
三、寫文章最多的top30
四、爬蟲架構
爬蟲架構圖如下：
說明：
選擇一個活躍的用戶（比如李開復）的url作為入口url.並將已爬取的url存在set中。
抓取內容，並解析該用戶的關注的用戶的列表url，添加這些url到另一個set中，並用已爬取的url作為過濾。
解析該用戶的個人信息，並存取到本地磁碟。
logstash取實時的獲取本地磁碟的用戶數據，並給elsticsearchkibana和elasticsearch配合，將數據轉換成用戶友好的可視化圖形。
五、編碼
爬取一個url:
解析內容：
存本地文件：
代碼說明：
* 需要修改獲取requests請求頭的authorization。
* 需要修改你的文件存儲路徑。
源碼下載：點擊這里，記得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何獲取authorization
打開chorme，打開https : // www. hu .com/，
登陸，首頁隨便找個用戶，進入他的個人主頁，F12(或滑鼠右鍵，點檢查)七、可改進的地方
可增加線程池，提高爬蟲效率
存儲url的時候我才用的set(),並且採用緩存策略，最多隻存2000個url，防止內存不夠，其實可以存在redis中。
存儲爬取後的用戶我說採取的是本地文件的方式，更好的方式應該是存在mongodb中。
對爬取的用戶應該有一個信息的過濾，比如用戶的粉絲數需要大與100或者參與話題數大於10等才存儲。防止抓取了過多的僵屍用戶。
八、關於ELK套件
關於elk的套件安裝就不討論了，具體見官網就行了。網站：https : // www . elastic . co/另外logstash的配置文件如下：
從爬取的用戶數據可分析的地方很多，比如地域、學歷、年齡等等，我就不一一列舉了。另外，我覺得爬蟲是一件非常有意思的事情，在這個內容消費升級的年代，如何在廣闊的互聯網的數據海洋中挖掘有價值的數據，是一件值得思考和需不斷踐行的事情。
❽ php模擬登陸知乎
這種模擬登陸其實很簡單，php的話主要用curl來實現。仔細研究一下你要抓的站具體是怎麼實現用戶登錄的，可以用wireshark或者burpsuite(建議用後者)抓包看看整個過程都有那幾次請求，每次請求都發送了哪些數據，構造好發給他就可以實現登錄了。
之後獲取個人信息就很容易了，找找php解析html庫，或者最簡單粗暴的就是字元串截取函數加正則表達式，把你想要的數據提取出來就好了。
對於你給出的這種驗證碼屬於非常容易識別的驗證碼了，基本的識別原理參看使用Canvas進行驗證碼識別。
當然比較蛋疼的問題就是網頁編碼問題，經常爬過來全是亂碼，網上找找看轉碼的方法，都試一下，這是一門玄學，能不能成功看你人品和耐心吧。