中文分詞演算法實現

① 百度演算法中怎麼進行中文切詞分詞

導讀：網路作為中文搜索引擎的先驅，它的核心地位可以說在短時期是沒有任何搜索引擎可以超越的，網路的卓越成就在於它對博大精深的中國文化的領悟和對中文分詞的的超強功底。網路受歡迎的主要原因除了用戶習慣的原因，在較大程度上得益於網路演算法的精準率，搜索結果值更貼近用戶的想獲得的資訊。用一句廣告詞 「正是我想要的」來形容網路最恰當不過了。

正因為網路對中國搜索引擎市場的統治地位，企業想在網上賺取大量的鈔票，就不得不依靠網路。所以做搜索引擎的優化實際上就是網路優化。但網路強大的反優化能力和人工干預機制，使得眾多的優化者以失敗以失敗告終。對於大多數優化者來說，網路成了洪水猛獸。果真如此嗎？網路行銷大師鄧友成認為不盡然。只要是搜索引擎就離不開演算法，任何演算法都是有規律可循的。下面我們深入淺出的探討一下網路的演算法吧。

一. 搜索信息響應

當用戶向網路提出搜索請求後網路會迅速根據用戶的請求提供比較精準的結果值。

1. 比喻當用戶提交「搜索引擎 優化 技術」這個查詢文字串.網路會將文字串分割成若乾子文字串,用空格，標點符等做細分處理。那麼這個文字串就可以分成「搜索引擎，優化，技術」。

2. 如果用戶提交的請求有重復的文字元,例如」優化 技術 優化」,網路會將重復的文字元看成一個。而字元的出現順序就忽略。

3. 當用戶提交請求中出現英文字元，網路一般會將英文字元當作一個整體來看,並和中文詞分割開來,如果中文出現數字也是這樣處理的。

網路通過切割、重組、歸並、減負等手段對用戶請求進行精準響應，使搜索結果符合用戶的想法，以節省用戶的查詢時間，提高查詢效率。

二. 中文核心分詞

中文分詞是網路演算法的核心要素。按中文語法習慣，三個字（含三個字）以下的文字元是獨立精準的詞彙，沒有重組的必要，所以網路對三個字（含三個字）以下的文字元不考慮細分。這也是網路核心演算法的第一層，也是響應數量最多的部分。一般這些文字元更新的時間比較慢一些，一周或兩周的時間。屬於大更新的范疇。

四個字元的網路就會毫不客氣的大卸十八塊比如，網路工具這個文字串，當用戶發出搜索請求後，會發現在搜索結果裡面出現了紅色的標記，已經把這個文字元分成了「網路，工具」。當然如果是四個字以上的文字串就更不用說了。會分成更多的分詞。

三、字詞匹配

大概了解了網路的分詞原理後，我們要了解的一個重要方面就是字詞的匹配問題。如果不知道字詞的匹配，做優化就是空談了。

最大匹配法

最大匹配法亦稱MM法。假設自動分詞詞典（或詞庫）中的最長詞條是y個字，則取被處理材料當前字元串序列中的前y個字作為匹配欄位，查找詞典，若詞典中存在這樣的一個y字詞，則匹配成功，匹配欄位被作為一個詞切分出來；如果在詞典中找不到這樣一個y字詞，則匹配失敗，匹配欄位去掉最後一個字，剩下的欄位重新進行匹配，如此進行下去，直到匹配成功，也就是完成一輪匹配，切分出一個詞為止。

正向最大匹配演算法

正向最大匹配法（由左到右的方向）。首先粗分，按照句子把文本切成一個一個句子。然後把每個句子切成單字。字典按照樹形結構存儲，比如這句話「春天還會遠嗎」首先查找「春」字開頭的詞，然後按照字典樹形結構往下走一個節點，查找「春」後面一個字是「天」的詞，然後又下沉一個節點，找「還」下面是「會」的詞，找不到了，查找就結束。

反向最大匹配演算法

逆向最大匹配法（由右到左的方向）；就是朝相反的方向發掘可以匹配的文字，比如網上商城這個文字串，那麼會向左延伸在王上的前面會出現的結果是區域性的文字，不如上海或者北京等，在商城的前面會出現更精準的定義文字元，不如愛家，女人等專屬性強的文字元。

雙向最大匹配演算法

正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。就是向左右縱深挖掘比較匹配的結果值。

熟悉了網路分詞的方法後，我們就要在優化的過程充分的考慮相關聯的因素，合理的對你所要向用戶推薦的文字串做合理的規范和謀劃。軟優化歡迎優化者們和我們一道加強交流共同進步。

② 中文分詞的常見項目

功能性能 功能描述：1.新詞自動識別
對詞典中不存在的詞，可以自動識別，對詞典的依賴較小；
2.詞性輸出
分詞結果中帶有豐富的詞性；
3.動態詞性輸出
分詞結果中的詞性並非固定，會根據不同的語境，賦予不同的詞性；
4.特殊詞識別
比如化學、葯品等行業詞彙，地名、品牌、媒體名等；
5.智能歧義解決
根據內部規則，智能解決常見分詞歧義問題；
6.多種編碼識別
自動識別各種單一編碼，並支持混合編碼；
7.數詞量詞優化
自動識別數量詞； 性能介紹：處理器：AMD Athlon II x2 250 3GHZ
單線程大於833KB/s，多線程安全。 一個php函數實現中文分詞。使分詞更容易，使用如下圖:
Paoding（庖丁解牛分詞）基於java的開源中文分片語件，提供lucene和solr 介面，具有極 高效率和 高擴展性。引入隱喻，採用完全的面向對象設計，構思先進。
高效率：在PIII 1G內存個人機器上，1秒可准確分詞 100萬漢字。
採用基於 不限制個數的詞典文件對文章進行有效切分，使能夠將對詞彙分類定義。
能夠對未知的詞彙進行合理解析。
僅支持Java語言。 MMSEG4J基於Java的開源中文分片語件，提供lucene和solr 介面：
1．mmseg4j 用 Chih-Hao Tsai 的 MMSeg 演算法實現的中文分詞器，並實現 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。
2．MMSeg 演算法有兩種分詞方法：Simple和Complex，都是基於正向最大匹配。Complex 加了四個規則過慮。官方說：詞語的正確識別率達到了 98.41%。mmseg4j 已經實現了這兩種分詞演算法。 盤古分詞是一個基於.net 平台的開源中文分片語件，提供lucene(.net 版本) 和HubbleDotNet的介面
高效：Core Duo 1.8 GHz 下單線程 分詞速度為 390K 字元每秒
准確：盤古分詞採用字典和統計結合的分詞演算法，分詞准確率較高。
功能：盤古分詞提供中文人名識別，簡繁混合分詞，多元分詞，英文詞根化，強制一元分詞，詞頻優先分詞，停用詞過濾，英文專名提取等一系列功能。 jcseg是使用Java開發的一個中文分詞器，使用流行的mmseg演算法實現。
1。mmseg四種過濾演算法，分詞准確率達到了98.4%以上。
2。支持自定義詞庫。在lexicon文件夾下，可以隨便添加/刪除/更改詞庫和詞庫內容，並且對詞庫進行了分類，詞庫整合了《現代漢語詞典》和cc-cedict辭典。
3。詞條拼音和同義詞支持，jcseg為所有詞條標注了拼音，並且詞條可以添加同義詞集合，jcseg會自動將拼音和同義詞加入到分詞結果中。
4。中文數字和分數識別，例如："四五十個人都來了，三十分之一。"中的"四五十"和"三十分之一"，並且jcseg會自動將其轉換為對應的阿拉伯數字。
5。支持中英混合詞的識別。例如：B超，x射線。
6。支持基本單字單位的識別，例如2012年。
7。良好的英文支持，自動識別電子郵件，網址，分數，小數，百分數……。
8。智能圓角半形轉換處理。
9。特殊字母識別：例如：Ⅰ，Ⅱ
10。特殊數字識別：例如：①，⑩
11。配對標點內容提取：例如：最好的Java書《java編程思想》，『暢想杯黑客技術大賽』，被《,『,「,『標點標記的內容。
12。智能中文人名識別。中文人名識別正確率達94%以上。
jcseg佩帶了jcseg.properties配置文檔，使用文本編輯器就可以自主的編輯其選項，配置適合不同應用場合的分詞應用。例如：最大匹配分詞數，是否開啟中文人名識別，是否載入詞條拼音，是否載入詞條同義詞……。 friso是使用c語言開發的一個中文分詞器，使用流行的mmseg演算法實現。完全基於模塊化設計和實現，可以很方便的植入到其他程序中，例如：MySQL，PHP等。並且提供了一個php中文分詞擴展robbe。
1。只支持UTF-8編碼。【源碼無需修改就能在各種平台下編譯使用，載入完20萬的詞條，內存佔用穩定為14M。】。
2。mmseg四種過濾演算法，分詞准確率達到了98.41%。
3。支持自定義詞庫。在dict文件夾下，可以隨便添加/刪除/更改詞庫和詞庫詞條，並且對詞庫進行了分類。
4。詞庫使用了friso的Java版本jcseg的簡化詞庫。
5。支持中英混合詞的識別。例如：c語言，IC卡。
7。很好的英文支持，電子郵件，網址，小數，分數，百分數。
8。支持阿拉伯數字基本單字單位的識別，例如2012年，5噸，120斤。
9。自動英文圓角/半形，大寫/小寫轉換。
並且具有很高的分詞速度：簡單模式：3.7M/秒，復雜模式：1.8M/秒。

③ 中文分詞都有些什麼演算法啊

目前三大類分法：基於機謹喚械匹配，燃枝主要是先生成一個詞庫，按詞庫來分，向左\向右最大匹配等
基於理解，跟潛在語義是差不多
基於統計分詞，對詞語才分，達到一定的閾值就算一個詞語
其中目前基於匹祥段凱配時比較成熟的

④ 中文分詞

中文分詞主要有三種技術，分別為：

基於統計的喚茄分詞模型其主要思想是把每個詞看作是由詞的最小單位的各個字組成的，如果相連的字在不同的文本中出現的次數越多，就證明這相連的字很可能就是一個詞。
其一般分為兩步：

語言模型中常用的為n元模型，所謂n元模型就是在估算條件概率時，忽略距離大於等於n的上文此的影響，其概率計算公式如下：

一般使用頻率計數的比例來計算n元條件概率

當n越大時，模型包含的詞序信息越豐富，同時計算量隨之增大。與此同時，長度越長的文本序列出現的次數也會減少。同時為避免出現分母為零的情況，一般在n元模型中與要配合相應得平滑演算法來解決這個問題，例如拉普拉斯平滑等

隱含馬爾可夫模型是將分詞作字在字串中得序列標注任務來實現的，其基本思路是：每個字在構造一個特定的詞語時都占據著一個確定的構詞位置。
用數學抽象表示如下: 用 代表輸入的句子，n為句子長度， 代表輸出的標簽，理想輸出為：

我么們假設每個字的輸出僅僅與當前字有關，就可以得到：

通過貝葉斯公式我們可以把最大化 轉化為最大化世肢

針對 作馬爾可夫假設，得到：

對 有：

作齊次馬爾可夫假設的計算公式如下(這個公示表示，每個輸出僅僅與上一個輸出有關):

於是得到：

~

在HMM中，求解 的常用方法是Veterbi演算法，這個演算法的核心思想是： 如果最終的最優化路徑經過某個 ,那麼從初始節點到 點的路徑必然也是一個最優路徑。

最常用的就是先基於詞典的方式進行分詞，然後再用統計分詞方法進行輔助。

jieba分詞結合了基於規則和基於統計這兩類方法。
jieba提供了三種分詞模式：

除了可以進行分詞外，還可以進行詞性標注。

下面是各種分詞工具比較：

圖片 來自

還有 NLPIR漢語分詞系統 ，主要功能包括中文分詞；英文分詞；詞性標注；命名實體識別；新詞識別；關鍵詞提取；支持用戶專業詞典與微博分析。NLPIR系統支持多種編碼、多種操作系統、多種開發語言與平和返察台

⑤ java語言中文分詞程序怎麼編寫分詞程序正

現可以提供兩種思路:
1.String或是StringBuffer(建議用) 中的indexOf("中華")方法，查找給定的的字元串中是否有給定詞表中的詞。
2.借鑒編譯原理中的狀態裝換的思想。
先編寫一個狀態機，用於測試給定字元串中的詞是否滿足詞表中的內容。

寫在最後：1)建議使用第一種方法，因為在java 內部實現的查找操作其實 和你想得思路是相同的，不過他的效率會高些。
2)如果個人的編程能力比較強或是不考慮效率只是想實現專有的分詞演算法。可以使用第二種方法。
3)以上的兩種方法都可以使用多線程來提高程序的效率。

⑥ 分詞演算法是什麼

分詞演算法是文本挖掘的基礎，通常對整個備灶模型的效果起著較大的決定作用；分詞演算法常用的兩種運行方式：

1、用戶搜索及匹配。

例如：我們在網路搜索一個詞 「手機回收」，那麼網路會先把這個詞分為手機和回收兩個詞這個時候呢，網路會先在庫中搜索手機這個詞然後進行第一輪的篩選。

把網頁當中沒有手機這個詞的去除，只保留帶有手機這個詞的結果，之後再從已篩選出來的網頁中，篩選出帶有回收這個詞的頁面，然後在所得結果裡面根據頁面評分給用戶進行排序。

2、網頁主題計算

前面啟蒙博客也講過，網路蜘蛛只是一個機器，並不能向人一樣去思考，而在處理文章的時候，網路蜘蛛則會把文章也進行分詞去處理，如過文章里 手機 這個詞出現頻率比較多，也就是所說的關鍵詞密度，那麼這個頁面也就會定性為手機方面的文章。

搜索引擎是通過分詞演算法來計算網頁的，如果我們能夠合理地利用分詞演算法進行網頁布局，會讓網頁將會有一個很好的得分。

中文分詞演算法大概分為三大類：

第一類是基於字元串匹配，即掃描字元串，如果發現字元串的子串和詞典中的詞相同，就算匹配，比如機械分詞方法。這類分詞通常會加入一些啟發式規則，比如「正向/反向最大匹配」，「長詞優先」等。

第二類是基於統計以及機器學習的分詞方法，它們基於人工標注的詞性和統計特徵，對中文進行建模，即根據觀測到的數據(標注好的語料)對模型參數進行訓練，在分詞階段再通過模型計算各種分詞出現的概率，將概腔滾禪率最大的分詞結果作為最終結果。

常見的序列標注模型有HMM和CRF。這類分詞演算法能很好處理歧義和未登錄詞問題，效果比前一類效果好，但是需要大量的人工標注數據，以及較慢的分詞速度。

第三類是通過讓計算機模擬人對句子伍塵的理解，達到識別詞的效果，由於漢語語義的復雜性，難以將各種語言信息組織成機器能夠識別的形式，目前這種分詞系統還處於試驗階段。

⑦ c語言中文分詞演算法

沒有掛網公布，需要咨詢專業人士。

C語言是一門面向過程的、抽象化的通用程序設計語言，廣泛應用於底層開發。C語言能以簡易的方式編譯、處理低級存儲器。

C語言是僅產生少量的機器語言以及不需要任何運行環境支持便能運行的高效率程序設計語言。盡管C語言提供了許多低級處理的功能，但仍然保持著跨平台的特性，以一個標准規格寫出的C語言程序可在包括類似嵌入式處理器以及超級計算機等作業平台的許多計算機平台上進行編譯。

C語言誕生於美國的貝爾實驗室，由丹尼斯·里奇（Dennis MacAlistair Ritchie）以肯·湯普森（Kenneth Lane Thompson）設計的B語言為基礎發展而來，在它的主體設計完成後，湯普遜和里奇用它完全重寫了UNIX，且隨著UNIX的發展，c語言也得到了不斷的完善。

為了利於C語言的全面推廣，許多專家學者和硬體廠商聯合組成了C語言標准委員會，並在之後的1989年，誕生了第一個完備的C標准，簡稱「C89」，也就是「ANSI C」，截至2020年，最新的C語言標准為2018年6月發布的「C18」。

⑧ matlab用正向最大匹配演算法實現中文分詞！急！！！

SqlConnection con = new SqlConnection
con.Open();
string sqlstr = "sql語句";
SqlDataAdapter da = new SqlDataAdapter(sqlstr, con);
DataSet ds= new DataSet();
da.Fill(ds);
dataGridView1.DataSource = ds.Tables[0];
con.Close();

⑨ 有哪些比較好的中文分詞方案

中文分詞演算法大概分為兩大類

a.第一類是基於字元串匹配，即掃描字元串，如果發現字元串的子串和詞相同，就算匹配。
這類分詞通常會加入一些啟發式規則，比如「正向/反向最大匹配」, 「長詞優先」 等策略。

這類演算法優點是速度塊，都是O(n)時間復雜度，實現簡單，效果尚可。

也有缺點，就是對歧義和未登錄詞處理不好。

b.第二類是基於統計以及機器學習的分詞方式

這類分詞基於人工標注的詞性和統計特徵，對中文進行建模，即根據觀測到的數據（標注好的語料）對模型參數進行估計，即訓練。 在分詞階段再通過模型計算各種分詞出現的概率，將概率最大的分詞結果作為最終結果。常見的序列標注模型有HMM和CRF。

這類分詞演算法能很好處理歧義和未登錄詞問題，效果比前一類效果好，但是需要大量的人工標注數據，以及較慢的分詞速度。

⑩ 有哪些比較好的中文分詞方案

1. 好詞典很重要m不論什麼樣的分詞方法, 優秀的詞典必不可少, 越拿老掉牙的詞典對越新的文本進行分詞, 就越會分成一團糟. 怎樣構建一個優秀的詞典, 快速發現新新詞彙.。可以看有幾篇文章，講的非常透徹明白 : 互聯網時代的社會語言學：基於SNS的文本數據挖掘。

2. 演算法跟著需求走,建議根據不同的需求選用不同的演算法, 例如, 類似知乎頭部搜索的 AutoComplete 部分, 講究的是速度快, 興趣相關( 優先找和你賬戶相關, 和可能感興趣的內容 ), 分詞演算法反而在其次了. 而像全文搜索這樣大段大段的長文字.。我覺得則更注重的是精準, 應該選一個像CRF這樣的演算法。