python爬取騰訊文檔

Ⅰ 學習python必備的基礎知識

python作為當下最熱門的計算機編程語言之一，是許多互聯網大廠（如阿里騰訊等）在招聘時會作出要求的能力之一。學好python對於將來大數據方向、雲計算方向等物聯網時代新興崗位的學習很有幫助。

想要學習Python，需要掌握的內容還是比較多的，對於自學的同學來說會有一些難度，不推薦自學能力差的人。我們將學習的過程劃分為4個階段，每個階段學習對應的內容，具體的學習順序如下：

Python學習順序：

①Python軟體開發基礎

• 掌握計算機的構成和工作原理

• 會使用Linux常用工具

• 熟練使用Docker的基本命令

• 建立Python開發環境，並使用print輸出

• 使用Python完成字元串的各種操作

• 使用Python re模塊進行程序設計

• 使用Python創建文件、訪問、刪除文件

• 掌握import 語句、From…import 語句、From…import* 語句、方法的引用、Python中的包

②Python軟體開發進階

• 能夠使用Python面向對象方法開發軟體

• 能夠自己建立資料庫，表，並進行基本資料庫操作

• 掌握非關系資料庫MongoDB的使用，掌握Redis開發

• 能夠獨立完成TCP/UDP服務端客戶端軟體開發，能夠實現ftp、http伺服器，開發郵件軟體

• 能開發多進程、多線程軟體

③Python全棧式WEB工程師

• 能夠獨立完成後端軟體開發，深入理解Python開發後端的精髓

• 能夠獨立完成前端軟體開發，並和後端結合，熟練掌握使用Python進行全站Web開發的技巧

④Python多領域開發

• 能夠使用Python熟練編寫爬蟲軟體

• 能夠熟練使用Python庫進行數據分析

• 招聘網站Python招聘職位數據爬取分析

• 掌握使用Python開源人工智慧框架進行人工智慧軟體開發、語音識別、人臉識別

• 掌握基本設計模式、常用演算法

• 掌握軟體工程、項目管理、項目文檔、軟體測試調優的基本方法

想要系統學習，你可以考察對比一下開設有IT專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能，南京北大青鳥、中博軟體學院、南京課工場等都是不錯的選擇，建議實地考察對比一下。

祝你學有所成，望採納。

Ⅱ python主要可以做什麼

python主要可以做Web 和 Internet開發、科學計算和統計、桌面界面開發、軟體開發、後端開發等領域的工作。

Python是一種解釋型腳本語言。Python可以應用於眾多領域，如：數據分析、組件集成、網路服務、圖像處理、數值計算和科學計算等眾多領域。互聯網公司廣泛使用Python來做的事一般有：自動化運維、自動化測試、大數據分析、爬蟲、Web 等。

(2)python爬取騰訊文檔擴展閱讀

python的主要優點：

簡單易學：Python是一種代表簡單主義思想的語言。閱讀一個良好的Python程序就感覺像是在讀英語一樣。它使你能夠專注於解決問題而不是去搞明白語言本身。因有極其簡單的說明文檔，Python極其容易上手。

運行速度快：Python 的底層是用 C 語言寫的，很多標准庫和第三方庫也都是用 C 寫的，運行速度非常快。

免費、開源資源：Python是FLOSS（自由/開放源碼軟體）之一。使用者可以自由地發布這個軟體的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用於新的自由軟體中。FLOSS是基於一個團體分享知識的概念。

可擴展性：如果需要一段關鍵代碼運行得更快或者希望某些演算法不公開，可以部分程序用C或C++編寫，然後在Python程序中使用它們。

Ⅲ 新手學python，想用個簡單點的項目來學習python

如果你有一定的計算機編程知識基礎，那麼很容易學；再如果你對編程十分感興趣，那麼很容易學的。

1，找到合適的入門書籍，大致讀一次，循環啊判斷啊，常用類啊，搞懂（太難的跳過）

2，做些簡單習題，字元串比較，讀取日期之類 Python Cookbook不錯（太難太無趣的，再次跳過，保持興趣是最重要的，不會的以後可以再學）

3，加入Python討論群，態度友好笑眯眯（很重要，這樣高手才會耐心糾正你錯誤常識）。很多小問題，糾結許久，對方一句話點播思路，真的節約你很多時間。耐心指教我的好人，超級超級多謝。

4，解決自己電腦問題。比如下載美劇，零散下載了2，4，5，8集，而美劇共12集，怎樣找出漏下的那幾集？然後問題分解，1讀取全部下載文件名，2提取集的數字，3數字排序和（1--12）對比，找出漏下的。

對於python初學者來說，能找到一個好老師學習格外重要，這能決定你是不是可以做出好的項目，在python開發的路上越走越輕松，如果現在的你缺乏學習經驗，找不到老師指導你學習，看一下下面的代碼

5，時刻記住目的，不是為了當程序員，是為了解決問題。比如，想偷懶抓網頁內容，用urllib不行，用request也不行，才發現抓取內容涉及那麼多方面（cookie，header，SSL，url，javascript等等），當然可以聽人家勸，回去好好讀書，從頭讀。 或者，不求效率，只求解決，用ie打開網頁再另存為行不行？ie已經渲染過全部結果了。 問題變成：1--打開指定的10個網頁（一行代碼就行）。更復雜的想保存呢？利用已經存在的包，比如PAM30（我的是Python3），直接打開ie，用函數outHTML另存為文本，再用搜索函數（str搜索也行，re正則也行）找到數據。簡單吧？而且代碼超級短。

6，保持興趣，用最簡單的方式解決問題，什麼底層驅動，各種交換，留給大牛去寫吧。我們利用已經有的包完成。

7，耐心讀文檔，並且練習快速讀文檔。拿到新包，找到自己所需要的函數，是需要快速讀一次的。這個不難，讀函數名，大概能猜到是幹嘛的，然後看看返回值，能判斷是不是自己需要的。

8，寫幫助文件和學習筆記，並發布共享。教別人的時候，其實你已經自己再次思考一次了。 我覺得學程序就像學英文，把高頻率的詞（循環，判斷，常用包，常用函數）搞懂，就能拼裝成自己想要的軟體。 一定要保持興趣，太復雜的跳過，就像小學數學，小學英語，都是由簡入深。 網路很平面，無數國際大牛著作好書，關於Python，演算法，電腦，網路，或者程序員思路，或者商業思維（浪潮之巔是本好書）等等，還有國際名校的網路公開課（中英文字幕翻譯完畢，觀看不是難事），講計算機，網路，安全，或者安卓系統，什麼都有，只要能持續保持興趣，一點點學習下去，不是難事。 所有天才程序員，都曾是兒童，回到兒童思維來理解和學習。覺得什麼有趣，先學，不懂的，先放著，遇到問題再來學，效果更好。 唯一建議是，不要太貪心，耐心學好一門優雅的語言，再學其它。雖然Javascript做特效很炫，或提某問題時，有大牛建議，用Ruby來寫更好之類，不要改方向。就像老笑話：「要學習遞歸，必須首先理解遞歸。」然後死循環一直下去。堅持學好一門語言，再研究其他。 即使一門語言，跟網路，資料庫等等相關的部分，若都能學好，再學其他語言，是很快的事情。 另外就是，用學英文的耐心來學計算機，英文遇到不懂的詞，抄下，查詢。 python里，看到Http，查查定義，看到outHtml，查查定義，跟初學英語時候一樣，不要直接猜意思，因為精確描述性定義，跟含糊自然語有區別的。而新人瞎猜，很容易錯誤理解，wiki，google很有用。

Ⅳ 如何學習python爬蟲

爬蟲是入門Python最好的方式，沒有之一。 Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而

言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的

使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有的人則認為先要掌握網頁的知識，遂 開始 HTMLCSS，結果入了前端的坑 ，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從 一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。 那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。 這里給你一

條平滑的、零基礎快速入門的學習路徑。

python學習網，免費的python學習網站，歡迎在線學習！

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按 「發送請求——獲得頁面——解析頁面——抽取並儲存內容」 這樣的流程來進行，這其實也是模擬了我們使用瀏覽器

獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等， 建議從requests+Xpath 開始 ，requests 負責連接網

站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多， 一

般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了 。

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如 訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等 。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy

框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人

驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前

比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據 ，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在

Python中操作MongoDB。

因為這里要用到的資料庫知識其實非常簡單，主要是 數據如何入庫、如何進行提取 ，在需要的時候再學習就行。

分布式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字： 分布

式爬蟲 。

分布式這個東西，聽起來很恐怖， 但其實就是利用多線程的原理讓多個爬蟲同時工作 ，需要你掌握 Scrapy + MongoDB + Redis 這三種工具 。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務

隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架

構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際

的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好 。

Ⅳ 學習python具體能做什麼工作呢

Python的就業方向有很多，但是只有選擇適合自己的才能支撐自己走得更遠。
1、常規軟體開發
Python支持函數式編程和OOP面向對象編程，能夠承擔任何種類軟體的開發工作，因此常規的軟體開發、腳本編寫、網路編程等都屬於標配能力。
2、爬蟲
顧名思義，就是用Python收集和爬取互聯網的信息，也是很多小夥伴們學習Python的第一驅動力，總覺得Python就是天然為爬蟲而生，簡單快速，可能靠人力一周才能完成的工作，你泡著咖啡、跑10分鍾爬蟲即可，真的非常有成就感。無論營銷、運營還是產品經理，高效獲取有效數據已成為職場必備技能。
3、Python數據分析
如今公司的產品都建立在對用戶的分析之上，也就是所有的商業公司都需要這樣一個角色，學會了爬蟲，便有了數據來源，運用這些數據以及相應的爬蟲庫和excel表格，就可以進行簡單的數據分析。
4、Python Web網站工程師
Web一直都是不可忽視的存在，利用Python的框架做一些頁面精美的網站，Python有很多優秀的Web開發框架，如Flask、Django、Bootstar 等，可以幫助你快速搭建一個網站。
5、人工智慧
Python是人工智慧時代的頭牌語言，不管是機器學習 （Machine Learning）還是深度學習（Deep Learning），最常用的工具和框架都需要用Python調用，Python是人工智慧工程師的必備技能之一。
6、自動化運維工程師
運維是必須而且一定要掌握Python語言，使用Python可以自動化批量管理伺服器，起到1個人頂10個人的效果。它在系統管理、文檔管理方面都有很強大的功能。
7、Python自動化測試工程師
Python語言對測試的幫助是非常大的，自動化測試中Python語言的用途很廣，Python提供了很多自動化測試的框架，如Selenium、Pytest等，避免了大量的重復工作，Python自動化測試也變得越來越流行。
8、游戲開發
游戲伺服器領域，主要負責網路游戲的伺服器功能開發、性能優化等工作。

Python沒有非常強勢的問題，但是它簡單的語言結構應用非常廣泛，無論上述你選擇哪個方向，都是不會錯的。

Ⅵ Python爬蟲可以爬取什麼

Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：

如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。

利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：

知乎：爬取優質答案，為你篩選出各話題下最優質的內容。

淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。

安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。

拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。

雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。

爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程

2.了解非結構化數據的存儲

3.學習scrapy，搭建工程化爬蟲

4.學習資料庫知識，應對大規模數據存儲與提取

5.掌握各種技巧，應對特殊網站的反爬措施

6.分布式爬蟲，實現大規模並發採集，提升效率

一

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。

當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。

二

了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。

開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。

當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。

三

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

四

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

五

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.

六

分布式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。

分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。

因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。

當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。

以上就是我的回答，希望對你有所幫助，望採納。

Ⅶ [Python]騰訊文檔自動健康打卡 2022-01-17

有什麼不懂的可以參照這個教程,我就是以這個為基礎做出來的

放在Python安裝目錄 就環境變數那個

參考這個設置任務計劃

Ⅷ 學習Python，都能夠做什麼相關的工作

現在互聯網發展迅速，眾多行業巨頭，都已經轉投到人工智慧領域，而人工智慧的首選編程語言就是python，所以學好Python能夠從事的工作還是很多的，而且前景非常不錯。

學完python可以應用於以下領域：

①Web 和 Internet開發

②科學計算和統計

③人工智慧

④桌面界面開發

⑤軟體開發

⑥後端開發

⑦網路爬蟲

可以從事的崗位也很多，比如Python爬蟲工程師，大數據工程師等等！

互聯網行業目前還是最熱門的行業之一，學習IT技能之後足夠優秀是有機會進入騰訊、阿里、網易等互聯網大廠高薪就業的，發展前景非常好，普通人也可以學習。

想要系統學習，你可以考察對比一下開設有相關專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能力，能夠在校期間取得大專或本科學歷，中博軟體學院、南京課工場、南京北大青鳥等開設相關專業的學校都是不錯的，建議實地考察對比一下。

祝你學有所成，望採納。

Ⅸ [內附完整源碼和文檔] 基於python的新聞檢索系統

1 系統介紹
1.1 系統需求
新聞檢索系統：定向採集不少於 4 個中文社會新聞網站或頻道，實現這些網站新聞信息及評論信息的自動爬取、抽取、索引和檢索。本項目未使用 lucene，Goose 等成熟開源框架。

1.2 系統思路與框架
本系統總體的實現思路如圖 1 所示：

一個完整的搜索系統主要的步驟是：

對新聞網頁進行爬蟲得到語料庫

抽取新聞的主體內容，得到結構化的 xml 數據

內存式單遍掃描索引構建方法構建倒排索引，供檢索模塊使用

用戶輸入查詢，得到相關文檔返回給用戶

2 設計方案
2.1 新聞爬取
2.1.1 演算法簡述
該模塊針對搜狐，網易，騰訊三大主流新聞網站及官方的參考消息網站進行了新聞獲取。並基於其網站結構，設計了不同的爬取模式。由於網站架構兩兩相似，以下選取兩種類型的典型代表進行介紹：

（1）搜狐新聞
搜狐新聞除正常主頁外，存在隱藏的列表式新聞頁 ， 如 http://news.sohu.com/1/0903/62/subject212846206.shtml 。

（2）網易新聞
可以將網易新聞及騰訊新聞歸結為一般類型的新聞主頁，我們採用了自新聞主頁開始的廣度優先的遞歸爬取策略。注意到新聞的正文頁往往是靜態網頁.html，因此，我們將網頁中出現的所有以.html 結尾的網頁的 URL 均記錄下來，在爬取到一定量時，進行一次去重。

對於一些不是新聞的錯分網頁，容錯處理即通過檢查新聞正文標簽

時會被剔除。

新聞正文頁中我們重點關注內容，時間，評論獲取。

2.1.2 創新點
實現了對新聞網頁動態載入的評論進行爬取，如搜狐新聞評論爬取

未藉助開源新聞爬取工具，自己實現了對新聞標題，正文，時間，評論內容，評論數目的高效爬取

2.2 索引構建
分詞，我們藉助開源的 jieba 中文分片語件來完成，jieba 分詞能夠將一個中文句子切成一個個詞項，這樣就可以統計 tf, df 了

去停用詞，去停詞的步驟在 jieba 分詞之後完成

倒排記錄表存儲，詞典用 B-樹或 hash 存儲，倒排記錄表用鄰接鏈表存儲方式，這樣能大大減少存儲空間

倒排索引構建演算法使用內存式單遍掃描索引構建方法（SPIMI），就是依次對每篇新聞進行分詞，如果出現新的詞項則插入到詞典中，否則將該文檔的信息追加到詞項對應的倒排記錄表中。

2.3 檢索模塊
2.3.1 檢索模式
（1）關鍵詞檢索
查詢即根據用戶輸入的關鍵字，返回其相應的新聞。首先根據用戶的查詢進行 jieba 分詞，記錄分詞後詞項的數量以字典形式進行存儲。

完整的源碼和詳細的文檔，上傳到了 WRITE-BUG技術共享平台 上，需要的請自取：

https://www.write-bug.com/article/3122.html