python中文切詞

『壹』 如何利用python對中文進行分詞處理

python做中文分詞處理主要有以下幾種：結巴分詞、NLTK、THULAC
1、fxsjy/jieba
結巴的標語是：做最好的 Python 中文分片語件，或許從現在來看它沒做到最好，但是已經做到了使用的人最多。結巴分詞網上的學習資料和使用案例比較多，上手相對比較輕松，速度也比較快。
結巴的優點：
支持三種分詞模式
支持繁體分詞
支持自定義詞典
MIT 授權協議

2、THULAC：一個高效的中文詞法分析工具包
前兩天我在做有關於共享單車的用戶反饋分類，使用jieba分詞一直太過零散，分類分不好。後來江兄給我推薦了THULAC： 由清華大學自然語言處理與社會人文計算實驗室研製推出的一套中文詞法分析工具包 。THULAC的介面文檔很詳細，簡單易上手。
THULAC分詞的優點：
能力強。利用規模最大的人工分詞和詞性標注中文語料庫（約含5800萬字）訓練而成，模型標注能力強大。
准確率高。該工具包在標准數據集Chinese Treebank（CTB5）上分詞的F1值可達97.3％，詞性標注的F1值可達到92.9％
速度較快。同時進行分詞和詞性標注速度為300KB/s，每秒可處理約15萬字。只進行分詞速度達到1.3MB/s，速度比jieba慢

Python 解決中文編碼問題基本可以用以下邏輯：
utf8（輸入） ——> unicode（處理） ——> （輸出）utf8
Python 裡面處理的字元都是都是unicode 編碼，因此解決編碼問題的方法是把輸入的文本（無論是什麼編碼）解碼為（decode）unicode編碼，然後輸出時再編碼（encode）成所需編碼。
由於處理的一般為txt 文檔，所以最簡單的方法，是把txt 文檔另存為utf-8 編碼，然後使用Python 處理的時候解碼為unicode（sometexts.decode('utf8')），輸出結果回txt 的時候再編碼成utf8（直接用str() 函數就可以了）。

『貳』 怎麼是用python 語言 使用結巴分詞 呢

Python代碼

#encoding=utf-8
importjieba

seg_list=jieba.cut("我來到北京清華大學",cut_all=True)
print"FullMode:","/".join(seg_list)#全模式

seg_list=jieba.cut("我來到北京清華大學",cut_all=False)
print"DefaultMode:","/".join(seg_list)#默認模式

seg_list=jieba.cut("他來到了網易杭研大廈")
print",".join(seg_list)

輸出：

FullMode:我/來/來到/到/北/北京/京/清/清華/清華大學/華/華大/大/大學/學

DefaultMode:我/來到/北京/清華大學

他,來到,了,網易,杭研,大廈(此處，「杭研」並沒有在詞典中，但是也被Viterbi演算法識別出來了)

『叄』 Python中，已經得到一個包含所有單詞的詞典，如何統計詞典中的單詞在每一句話中出現的次數

眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述一個意思。例如，英文句子I am a student，用中文則為：「我是一個學生」。計算機可以很簡單通過空格知道student是一個單詞，但是不能很容易明白「學」、「生」兩個字合起來才表示一個詞。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。我是一個學生，分詞的結果是：我 是 一個 學生。
中文分詞技術屬於自然語言處理技術范疇，對於一句話，人可以通過自己的知識來明白哪些是詞，哪些不是詞，但如何讓計算機也能理解？其處理過程就是分詞演算法。

現有的分詞演算法可分為三大類：基於字元串匹配的分詞方法、基於理解的分詞方法和基於統計的分詞方法。

1、基於字元串匹配的分詞方法

這種方法又叫做機械分詞方法，它是按照一定的策略將待分析的漢字串與一個「充分大的」機器詞典中的詞條進行配，若在詞典中找到某個字元串，則匹配成功（識別出一個詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長度優先匹配的情況，可以分為最大（最長）匹配和最小（最短）匹配；按照是否與詞性標注過程相結合，又可以分為單純分詞方法和分詞與標注相結合的一體化方法。常用的幾種機械分詞方法如下：

1）正向最大匹配法（由左到右的方向）；

2）逆向最大匹配法（由右到左的方向）；

3）最少切分（使每一句中切出的詞數最小）。

還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。由於漢語單字成詞的特點，正向最小匹配和逆向最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高於正向匹配，遇到的歧義現象也較少。統計結果表明，單純使用正向最大匹配的錯誤率為1/169，單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統，都是把機械分詞作為一種初分手段，還需通過利用各種其它的語言信息來進一步提高切分的准確率。

一種方法是改進掃描方式，稱為特徵掃描或標志切分，優先在待分析字元串中識別和切分出一些帶有明顯特徵的詞，以這些詞作為斷點，可將原字元串分為較小的串再來進機械分詞，從而減少匹配的錯誤率。另一種方法是將分詞和詞類標注結合起來，利用豐富的詞類信息對分詞決策提供幫助，並且在標注過程中又反過來對分詞結果進行檢驗、調整，從而極大地提高切分的准確率。

對於機械分詞方法，可以建立一個一般的模型，在這方面有專業的學術論文，這里不做詳細論述。

2、基於理解的分詞方法

這種分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現象。它通常包括三個部分：分詞子系統、句法語義子系統、總控部分。在總控部分的協調下，分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由於漢語語言知識的籠統、復雜性，難以將各種語言信息組織成機器可直接讀取的形式，因此目前基於理解的分詞系統還處在試驗階段。

3、基於統計的分詞方法

從形式上看，詞是穩定的字的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成一個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度進行統計，計算它們的互現信息。定義兩個字的互現信息，計算兩個漢字X、Y的相鄰共現概率。互現信息體現了漢字之間結合關系的緊密程度。當緊密程度高於某一個閾值時，便可認為此字組可能構成了一個詞。這種方法只需對語料中的字組頻度進行統計，不需要切分詞典，因而又叫做無詞典分詞法或統計取詞方法。但這種方法也有一定的局限性，會經常抽出一些共現頻度高、但並不是詞的常用字組，例如「這一」、「之一」、「有的」、「我的」、「許多的」等，並且對常用詞的識別精度差，時空開銷大。實際應用的統計分詞系統都要使用一部基本的分詞詞典（常用詞詞典）進行串匹配分詞，同時使用統計方法識別一些新的詞，即將串頻統計和串匹配結合起來，既發揮匹配分詞切分速度快、效率高的特點，又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。

到底哪種分詞演算法的准確度更高，目前並無定論。對於任何一個成熟的分詞系統來說，不可能單獨依靠某一種演算法來實現，都需要綜合不同的演算法。筆者了解，海量科技的分詞演算法就採用「復方分詞法」，所謂復方，相當於用中葯中的復方概念，即用不同的葯才綜合起來去醫治疾病，同樣，對於中文詞的識別，需要多種演算法來處理不同的問題。

『肆』 python什麼意思中文

python什麼意思中文？
python的中文意思是巨蛇、蚺蛇、大蟒；IT行業中的python指的是一種跨平台的計算機程序設計語言。是一種面向對象的動態類型語言，最初被設計用於編寫自動化腳本(shell)，隨著版本的不斷更新和語言新功能的添加，越來越多被用於獨立的、大型項目的開發。
推薦：《python教程》
Python是一種解釋型腳本語言，可以應用於以下領域：
Web 和 Internet開發
科學計算和統計
人工智慧
教育
桌面界面開發
軟體開發
後端開發以上就是小編分享的關於python什麼意思中文的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

『伍』 python是個什麼東西

Python是一種跨平台的計算機程序設計語言。是一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言。最初被設計用於編寫自動化腳本（shell），隨著版本的不斷更新和語言新功能的添加，越多被用於獨立的、大型項目的開發。

Python的創始人為荷蘭人吉多·范羅蘇姆（GuidovanRossum）。1989年聖誕節期間，在阿姆斯特丹，Guido為了打發聖誕節的無趣，決心開發一個新的腳本解釋程序，作為ABC語言的一種繼承。

之所以選中Python（大蟒蛇的意思）作為該編程語言的名字，是取自英國20世紀70年代首播的電視喜劇《蒙提．派森的飛行馬戲團》（MontyPython＇sFlyingCircus）。

(5)python中文切詞擴展閱讀：

python中文就是蟒蛇的意思。在計算機中，它是一種編程語言。Python（英語發音：／ˈpaɪθən／），是一種面向對象、解釋型計算機程序設計語言，由GuidovanRossum於1989年底發明，第一個公開發行版發行於1991年。Python語法簡潔而清晰，具有豐富和強大的類庫。

它常被昵稱為膠水語言，它能夠把用其他語言製作的各種模塊（尤其是C／C＋＋）很輕松地聯結在一起。常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然後對其中有特別要求的部分，用更合適的語言改寫。

比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C++重寫。1發展歷程編輯自從20世紀90年代初Python語言誕生至今，它逐漸被廣泛應用於處理系統管理任務和Web編程。Python已經成為最受歡迎的程序設計語言之一。

網路-Python

『陸』 python 中文切詞使用停用詞表問題

python中最好不要在list遍歷中使用list.remove方法:

• remove 僅僅 刪除一個值的首次出現。
  

• 如果在 list 中沒有找到值，程序會拋出一個異常

• 最後，你遍歷自己時候對自己的內容進行刪除操作，效率顯然不高，還容易出現各種難debug的問題
  

建議使用新的list存儲要保留的內容，然後返回這個新list。比如

a_list=[1,2,3,4,5]
needs_to_be_removed=[3,4,5]
result=[]
forvina_list:
ifvnotinneeds_to_be_removed:
result.append(v)
printresult

『柒』 python是什麼語言

python的中文名稱是蟒蛇。

Python是一種計瞎判納算機程序設計語言。是一種動態的、面向對象的腳本語言，最初是用來編寫自動化腳本的，隨著版本的不斷更新和語言新功能的添加，越來越多被用於獨立的、大型項目的開發。

Python特點主要有以下幾個方面：

1、簡單：Python是一種代表簡單主義思想的語言。閱讀一個良好的Python程序就感覺像是在讀英語一樣。它使你能夠專注於解決問題而不是去搞明白語言本身。

2、易學：Python極其容易上手，因為Python有極其簡單的說明文檔。

3、速度快：Python 的底層是用 C 語言寫沖弊的，很多標准庫和第三方庫也都是用 C 寫的，運行速度非常快。

4、免費、開源：Python是FLOSS之一。使用者可以自由地發布這個軟體的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用於新的自由軟體中。FLOSS是基於一個團體分享知識的概念。

5、高層語言：用Python語言編寫程序的時候無需考慮諸如如何管理你的程序使用的內存一類的底層細節。

6、可移植性：由於它的開源本質，Python已經被移植在許多平台上。這些平台包括linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、以及Google等基於linux開發的android平台。

7、解釋性：一個用編譯性語言比如C或C++寫的程序可以從源文件轉換到一個你的計算機使用的語言。這個過程通過編譯器和不同的標記、選項完成。

(7)python中文切詞擴展閱讀：

Python語磨沒言風格簡介：

Python在設計上堅持了清晰劃一的風格，這使得Python成為一門易讀、易維護，並且被大量用戶所歡迎的、用途廣泛的語言。

對於一個特定的問題，只要有一種最好的方法來解決就好。這在由Tim Peters寫的Python格言裡面表述為：There should be one-- and preferably only one --obvious way to do it. 這正好和Perl語言的中心思想TMTOWTDI完全相反。

Python的作者有意的設計限制性很強的語法，使得不好的編程習慣都不能通過編譯。其中很重要的一項就是Python的縮進規則。

『捌』 用python怎麼能夠將一句中文分割為單個的字

字元串可以直接分片或者索引訪問，比如s[0]=我，s[-1]=做。等等肆鍵友。
如果是要轉成list，可以直亮指接構造，如: l=list('abc')或者l=list(s)
分詞需要相應的演算法和詞典支持。pymmseg-cpp是一個不錯的python中文分詞庫。你可以試試裂槐。
https://github.com/pluskid/pymmseg-cpp/

『玖』 python中怎樣處理漢語的同義詞用結巴分詞

python中文分詞：結巴分詞
中文分詞是中文文本處理的一個基礎性工作，結巴分詞利用進行中文分詞。其基本實現原理有三點：
基於Trie樹結構實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG)
採用了動態規劃查找最大概率路徑, 找出基於詞頻的最大切分組合
對於未登錄詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi演算法
安裝（Linux環境）
下載工具包，解壓後進入目錄下，運行：python setup.py install

模式
默認模式，試圖將句子最精確地切開，適合文本分析
全模式，把句子中所有的可以成詞的詞語都掃描出來，適合搜索引擎

介面
組件只提供jieba.cut 方法用於分詞
cut方法接受兩個輸入參數：
第一個參數為需要分詞的字元串
cut_all參數用來控制分詞模式
待分詞的字元串可以是gbk字元串、utf-8字元串或者unicode
jieba.cut返回的結構是一個可迭代的generator，可以使用for循環來獲得分詞後得到的每一個詞語(unicode)，也可以用list(jieba.cut(...))轉化為list

實例

#! -*- coding:utf-8 -*-
import jieba
seg_list = jieba.cut("我來到北京清華大學", cut_all = True)
print "Full Mode:", ' '.join(seg_list)

seg_list = jieba.cut("我來到北京清華大學")
print "Default Mode:", ' '.join(seg_list)