『壹』 最受歡迎的 15 大 python 庫有哪些
1、Pandas：是一個Python包，旨在通過「標記」和「關系」數據進行工作，簡單直觀。它設計用於快速簡單的數據操作、聚合和可視化，是數據整理的完美工具。
2、Numpy：是專門為Python中科學計算而設計的軟體集合，它為Python中的n維數組和矩陣的操作提供了大量有用的功能。該庫提供了NumPy數組類型的數學運算向量化，可以改善性能，從而加快執行速度。
3、SciPy：是一個工程和科學軟體庫，包含線性代數，優化，集成和統計的模塊。SciPy庫的主要功能是建立在NumPy上，通過其特定子模塊提供有效的數值常式，並作為數字積分、優化和其他常式。
4、Matplotlib：為輕松生成簡單而強大的可視化而量身定製，它使Python成為像MatLab或Mathematica這樣的科學工具的競爭對手。
5、Seaborn：主要關注統計模型的可視化(包括熱圖)，Seaborn高度依賴於Matplotlib。
6、Bokeh：獨立於Matplotlib，主要焦點是交互性，它通過現代瀏覽器以數據驅動文檔的風格呈現。
7、Plotly：是一個基於Web用於構建可視化的工具箱，提供API給一些編程語言(Python在內)。
8、Scikits：是Scikits
Stack額外的軟體包，專為像圖像處理和機器學習輔助等特定功能而設計。它建立在SciPy之上，中集成了有質量的代碼和良好的文檔、簡單易用並且十分高效，是使用Python進行機器學習的實際行業標准。
9、Theano：是一個Python軟體包，它定義了與NumPy類似的多維數組，以及數學運算和表達式。此庫是被編譯的，可實現在所有架構上的高效運行。
10、TensorFlow：是數據流圖計算的開源庫，旨在滿足谷歌對訓練神經網路的高需求，並且是基於神經網路的機器學習系統DistBelief的繼任者，可以在大型數據集上快速訓練神經網路。
11、Keras：是一個用Python編寫的開源的庫，用於在高層的介面上構建神經網路。它簡單易懂，具有高級可擴展性。
12、NLTK：主要用於符號學和統計學自然語言處理(NLP) 的常見任務，旨在促進NLP及相關領域(語言學，認知科學人工智慧等)的教學和研究。
13、Gensim：是一個用於Python的開源庫，為有向量空間模型和主題模型的工作提供了使用工具。這個庫是為了高效處理大量文本而設計，不僅可以進行內存處理，還可以通過廣泛使用NumPy數據結構和SciPy操作來獲得更高的效率。
『貳』 能夠用於tf-idf的語料庫(python學習).
您好，推薦使用CRAFT語料庫
CRAFT(Colorado Richly Annotated Full-Text)語料庫，中文名科羅拉多豐富語料注釋庫。CRAFT收錄了97篇可公開獲取全文的生物醫學期刊文獻，並將這些文章在語義和句法上都作了詳盡的注釋以作為自然語言處理(NLP)社區的生物醫學研究資源。CRAFT基於9個常用的生物醫學本體，從這97篇文獻中識別了所有的生物學實體，這些本體包括：細胞類型本體，小分子化合物本體(CHEBI)，NCBI分類法，蛋白質本體，序列本體，Entrez Gene資料庫的條目，以及基因本體(Gene Ontology)的三個子條目。CRAFT語料庫已被廣泛應用於對文本挖掘工具的性能測試中。當然也可以用於TF-IDF方法。
TF-IDF（term frequency–inverse document frequency）是一種用於信息檢索與數據挖掘的常用加權技術。TF意思是詞頻(Term Frequency)，IDF意思是逆文本頻率指數(Inverse Document Frequency)。TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。TF-IDF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。
『叄』 如何利用Python對中文進行分詞處理
python做中文分詞處理主要有以下幾種：結巴分詞、NLTK、THULAC
1、fxsjy/jieba
結巴的標語是：做最好的 Python 中文分片語件，或許從現在來看它沒做到最好，但是已經做到了使用的人最多。結巴分詞網上的學習資料和使用案例比較多，上手相對比較輕松，速度也比較快。
結巴的優點：
支持三種分詞模式
支持繁體分詞
支持自定義詞典
MIT 授權協議
2、THULAC：一個高效的中文詞法分析工具包
前兩天我在做有關於共享單車的用戶反饋分類，使用jieba分詞一直太過零散，分類分不好。後來江兄給我推薦了THULAC： 由清華大學自然語言處理與社會人文計算實驗室研製推出的一套中文詞法分析工具包 。THULAC的介面文檔很詳細，簡單易上手。
THULAC分詞的優點：
能力強。利用規模最大的人工分詞和詞性標注中文語料庫（約含5800萬字）訓練而成，模型標注能力強大。
准確率高。該工具包在標准數據集Chinese Treebank（CTB5）上分詞的F1值可達97.3％，詞性標注的F1值可達到92.9％
速度較快。同時進行分詞和詞性標注速度為300KB/s，每秒可處理約15萬字。只進行分詞速度達到1.3MB/s，速度比jieba慢
Python 解決中文編碼問題基本可以用以下邏輯：
utf8（輸入） ——> unicode（處理） ——> （輸出）utf8
Python 裡面處理的字元都是都是unicode 編碼，因此解決編碼問題的方法是把輸入的文本（無論是什麼編碼）解碼為（decode）unicode編碼，然後輸出時再編碼（encode）成所需編碼。
由於處理的一般為txt 文檔，所以最簡單的方法，是把txt 文檔另存為utf-8 編碼，然後使用Python 處理的時候解碼為unicode（sometexts.decode('utf8')），輸出結果回txt 的時候再編碼成utf8（直接用str() 函數就可以了）。
『肆』 python數據分析需要哪些庫
1.Numpy庫
是Python開源的數值計算擴展工具，提供了Python對多維數組的支持，能夠支持高級的維度數組與矩陣運算。此外，針對數組運算也提供了大量的數學函數庫，Numpy是大部分Python科學計算的基礎，具有很多功能。
2.Pandas庫
是一個基於Numpy的數據分析包，為了解決數據分析任務而創建的。Pandas中納入了大量庫和標準的數據模型，提供了高效地操作大型數據集所需要的函數和方法，使用戶能快速便捷地處理數據。
3.Matplotlib庫
是一個用在Python中繪制數組的2D圖形庫，雖然它起源於模仿MATLAB圖形命令，但它獨立於MATLAB，可以通過Pythonic和面向對象的方式使用，是Python中Z出色的繪圖庫。主要用純Python語言編寫的，它大量使用Numpy和其他擴展代碼，即使對大型數組也能提供良好的性能。
4.Seaborn庫
是Python中基於Matplotlib的數據可視化工具，提供了很多高層封裝的函數，幫助數據分析人員快速繪制美觀的數據圖形，從而避免了許多額外的參數配置問題。
5.NLTK庫
被稱為使用Python進行教學和計算語言學工作的Z佳工具，以及用自然語言進行游戲的神奇圖書館。NLTK是一個領先的平台，用於構建使用人類語言數據的Python程序，它為超過50個語料庫和詞彙資源提供了易於使用的介面，還提供了一套文本處理庫，用於分類、標記化、詞干化、解析和語義推理、NLP庫的包裝器和一個活躍的討論社區。
『伍』 python 如何載入自己的語料庫
NLTK自然語言處理的包有一個語料庫，不過是英文的
『陸』 python 中文切詞使用停用詞表問題
python中最好不要在list遍歷中使用list.remove方法:
remove 僅僅 刪除一個值的首次出現。
如果在 list 中沒有找到值，程序會拋出一個異常
建議使用新的list存儲要保留的內容，然後返回這個新list。比如
a_list=[1,2,3,4,5]
needs_to_be_removed=[3,4,5]
result=[]
forvina_list:
ifvnotinneeds_to_be_removed:
result.append(v)
printresult
『柒』 python如何利用已有的語料庫，對一篇新聞文本進行分詞
把自己的語料庫(sogou文本分類語料庫)放在LTK_DATA/corpora/目錄下；
然後在命令行輸入以下之後，即可看到所有的txt文件名列表了。
『捌』 【Python基礎】python數據分析需要哪些庫
1.Numpy庫
是Python開源的數值計算擴展工具，提供了Python對多維數組的支持，能夠支持高級的維度數組與矩陣運算。此外，針對數組運算也提供了大量的數學函數庫，Numpy是大部分Python科學計算的基礎，具有很多功能。
2.Pandas庫
是一個基於Numpy的數據分析包，為了解決數據分析任務而創建的。Pandas中納入了大量庫和標準的數據模型，提供了高效地操作大型數據集所需要的函數和方法，使用戶能快速便捷地處理數據。
3.Matplotlib庫
是一個用在Python中繪制數組的2D圖形庫，雖然它起源於模仿MATLAB圖形命令，但它獨立於MATLAB，可以通過Pythonic和面向對象的方式使用，是Python中最出色的繪圖庫。主要用純Python語言編寫的，它大量使用Numpy和其他擴展代碼，即使對大型數組也能提供良好的性能。
4.Seaborn庫
是Python中基於Matplotlib的數據可視化工具，提供了很多高層封裝的函數，幫助數據分析人員快速繪制美觀的數據圖形，從而避免了許多額外的參數配置問題。
5.NLTK庫
被稱為使用Python進行教學和計算語言學工作的最佳工具，以及用自然語言進行游戲的神奇圖書館。NLTK是一個領先的平台，用於構建使用人類語言數據的Python程序，它為超過50個語料庫和詞彙資源提供了易於使用的介面，還提供了一套文本處理庫，用於分類、標記化、詞干化、解析和語義推理、NLP庫的包裝器和一個活躍的討論社區。
『玖』 2017年10大流行Python庫有哪些
1、NumPy
NumPy是構建科學計算 stack 的最基礎的包。它為 Python 中的 n 維數組和矩陣的操作提供了大量有用的功能。該庫還提供了 NumPy 數組類型的數學運算向量化，可以提升性能，從而加快執行速度。
2、SciPy
SciPy 是一個工程和科學軟體庫， 包含線性代數、優化、集成和統計的模塊。SciPy 庫的主
要功能建立在 NumPy 的基礎之上，它通過其特定的子模塊提供高效的數值常式操作。SciPy 的所有子模塊中的函數都有詳細的文檔，這也是一個優勢。
3、Pandas
Pandas是一個 Python 包，旨在通過「標記(labeled)」和「關系(relational)」數據進行工作，簡單直觀。Pandas 是 data wrangling 的完美工具。它設計用於快速簡單的數據操作、聚合和可視化。
4、Seaborn
Seaborn 主要關注統計模型的可視化;這種可視化包括熱度圖(heat map)，可以總結數據但也描繪總體分布。Seaborn 基於 Matplotlib，並高度依賴於它。
5、Bokeh
Bokeh是一個很好的可視化庫，其目的是互動式可視化，不過這個庫獨立於 Matplotlib，它通過現代瀏覽器以數據驅動文檔(D3.js)的風格呈現。
6、Scikits
Scikits 是 SciPy Stack 的附加軟體包，專為特定功能(如圖像處理和輔助機器學習)而設計。其中最突出的一個是 scikit-learn。該軟體包構建於 SciPy 之上，並大量使用其數學操作，是使用 Python 進行機器學習的實際上的行業標准。
7、Theano
Theano 是一個 Python 包，它定義了與 NumPy 類似的多維數組，以及數學運算和表達式。該庫是經過編譯的，使其在所有架構上能夠高效運行。這個庫最初由蒙特利爾大學機器學習組開發，主要是為了滿足機器學習的需求。
8、Keras
Keras是一個使用高層介面構建神經網路的開源庫，它是用 Python 編寫的。它簡單易懂，具有高級可擴展性。Keras 極其容易上手，而且可以進行快速的原型設計，足以用於嚴肅的建模。
9、Gensim
Gensim是一個用於 Python 的開源庫，實現了用於向量空間建模和主題建模的工具。Gensim 實現了諸如分層 Dirichlet 進程(HDP)、潛在語義分析(LSA)和潛在 Dirichlet 分配(LDA)等演算法，還有 tf-idf、隨機投影、word2vec 和 document2vec，以便於檢查一組文檔(通常稱為語料庫)中文本的重復模式。
10、Scrapy
Scrapy 是用於從網路檢索結構化數據的爬蟲程序的庫。它現在已經發展成了一個完整的框架，可以從 API 收集數據，也可以用作通用的爬蟲。該庫在介面設計上遵循著名的 Don』t Repeat Yourself 原則——提醒用戶編寫通用的可復用的代碼，因此可以用來開發和擴展大型爬蟲。
『拾』 python數據挖掘——文本分析
作者 | zhouyue65
來源 | 君泉計量
文本挖掘：從大量文本數據中抽取出有價值的知識，並且利用這些知識重新組織信息的過程。
一、語料庫（Corpus）
語料庫是我們要分析的所有文檔的集合。
二、中文分詞
2.1 概念：
中文分詞（Chinese Word Segmentation）：將一個漢字序列切分成一個一個單獨的詞。
eg：我的家鄉是廣東省湛江市-->我/的/家鄉/是/廣東省/湛江市
停用詞（Stop Words）：
數據處理時，需要過濾掉某些字或詞
√泛濫的詞，如web、網站等。
√語氣助詞、副詞、介詞、連接詞等，如 的，地，得；
2.2 安裝Jieba分詞包：
最簡單的方法是用CMD直接安裝：輸入pip install jieba，但是我的電腦上好像不行。
後來在這里：https://pypi.org/project/jieba/#files下載了jieba0.39解壓縮後 放在Python36Libsite-packages裡面，然後在用cmd，pip install jieba 就下載成功了，不知道是是什麼原因。
然後我再anaconda 環境下也安裝了jieba，先在Anaconda3Lib這個目錄下將jieba0.39的解壓縮文件放在裡面，然後在Anaconda propt下輸入 pip install jieba，如下圖：
2.3 代碼實戰：
jieba最主要的方法是cut方法：
jieba.cut方法接受兩個輸入參數:
1) 第一個參數為需要分詞的字元串
2）cut_all參數用來控制是否採用全模式
jieba.cut_for_search方法接受一個參數：需要分詞的字元串,該方法適合用於搜索引擎構建倒排索引的分詞，粒度比較細
注意：待分詞的字元串可以是gbk字元串、utf-8字元串或者unicode
jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for循環來獲得分詞後得到的每一個詞語(unicode)，也可以用list(jieba.cut(...))轉化為list代碼示例( 分詞 )
輸出結果為： 我 愛
Python
工信處
女幹事
每月 經過 下屬 科室 都 要 親口
交代
24 口 交換機 等 技術性 器件 的 安裝
工作
分詞功能用於專業的場景：
會出現真武七截陣和天罡北斗陣被分成幾個詞。為了改善這個現象，我們用導入詞庫的方法。
但是，如果需要導入的單詞很多，jieba.add_word()這樣的添加詞庫的方法就不高效了。
我們可以用jieba.load_userdict(『D:PDM2.2金庸武功招式.txt』)方法一次性導入整個詞庫，txt文件中為每行一個特定的詞。
2.3.1 對大量文章進行分詞
先搭建語料庫：
分詞後我們需要對信息處理，就是這個分詞來源於哪個文章。
四、詞頻統計
3.1詞頻（Term Frequency）：
某個詞在該文檔中出現的次數。
3.2利用Python進行詞頻統計
3.2.1 移除停用詞的另一種方法，加if判斷
代碼中用到的一些常用方法：
分組統計：
判斷一個數據框中的某一列的值是否包含一個數組中的任意一個值：
取反：（對布爾值）
四、詞雲繪制
詞雲（Word Cloud）：是對文本中詞頻較高的分詞，給與視覺上的突出，形成「關鍵詞渲染」，從而國旅掉大量的文本信息，使瀏覽者一眼掃過就可以領略文本的主旨。
4.1 安裝詞雲工具包
這個地址：https://www.lfd.uci.e/~gohlke/pythonlibs/ ，可以搜到基本上所有的Python庫，進去根據自己的系統和Python的版本進行下載即可。
在python下安裝很方便，在anaconda下安裝費了點勁，最終將詞雲的文件放在C:UsersAdministrator 這個目錄下才安裝成功。
五、美化詞雲（詞雲放入某圖片形象中）
六、關鍵詞提取
結果如下:
七、關鍵詞提取實現
詞頻（Term Frequency）：指的是某一個給定的詞在該文檔中出現的次數。
計算公式： TF = 該次在文檔中出現的次數
逆文檔頻率（Inverse Document Frequency）：IDF就是每個詞的權重，它的大小與一個詞的常見程度成反比
計算公式：IDF = log（文檔總數/（包含該詞的文檔數 - 1））
TF-IDF（Term Frequency-Inverse Document Frequency）：權衡某個分詞是否關鍵詞的指標，該值越大，是關鍵詞的可能性就越大。
計算公式：TF - IDF = TF * IDF
7.1文檔向量化
7.2代碼實戰