集成聚類的演算法

❶ 聚類演算法有哪幾種

聚類分析計算方法主要有： 層次的方法(hierarchical method)、劃分方法(partitioning method)、基於密度的方法(density-based method)、基於網格的方法(grid-based method)、基於模型的方法(model-based method)等。其中，前兩種演算法是利用統計學定義的距離進行度量。
k-means 演算法的工作過程說明如下：首先從n個數據對象任意選擇 k 個對象作為初始聚類中心;而對於所剩下其它對象，則根據它們與這些聚類中心的相似度(距離)，分別將它們分配給與其最相似的(聚類中心所代表的)聚類;然 後再計算每個所獲新聚類的聚類中心(該聚類中所有對象的均值);不斷重復這一過程直到標准測度函數開始收斂為止。一般都採用均方差作為標准測度函數. k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。
其流程如下：
(1)從 n個數據對象任意選擇 k 個對象作為初始聚類中心;
(2)根據每個聚類對象的均值(中心對象)，計算每個對象與這些中心對象的距離;並根據最小距離重新對相應對象進行劃分;
(3)重新計算每個(有變化)聚類的均值(中心對象);
(4)循環(2)、(3)直到每個聚類不再發生變化為止(標准測量函數收斂)。
優點： 本演算法確定的K個劃分到達平方誤差最小。當聚類是密集的，且類與類之間區別明顯時，效果較好。對於處理大數據集，這個演算法是相對可伸縮和高效的，計算的復雜度為 O(NKt)，其中N是數據對象的數目，t是迭代的次數。
缺點：
1. K 是事先給定的，但非常難以選定;
2. 初始聚類中心的選擇對聚類結果有較大的影響。

❷ 聚類演算法的具體方法

k-means 演算法接受輸入量 k ；然後將n個數據對象劃分為 k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小。聚類相似度是利用各聚類中對象的均值所獲得一個「中心對象」（引力中心）來進行計算的。
k-means 演算法的工作過程說明如下：
首先從n個數據對象任意選擇 k 個對象作為初始聚類中心；而對於所剩下其它對象，則根據它們與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類；
然後再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）；不斷重復這一過程直到標准測度函數開始收斂為止。
一般都採用均方差作為標准測度函數. k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。 K-MEANS有其缺點：產生類的大小相差不會很大，對於臟數據很敏感。
改進的演算法：k—medoids 方法。這兒選取一個對象叫做mediod來代替上面的中心的作用，這樣的一個medoid就標識了這個類。K-medoids和K-means不一樣的地方在於中心點的選取，在K-means中，我們將中心點取為當前cluster中所有數據點的平均值，在 K-medoids演算法中，我們將從當前cluster 中選取這樣一個點——它到其他所有（當前cluster中的）點的距離之和最小——作為中心點。
步驟：
1，任意選取K個對象作為medoids（O1,O2,…Oi…Ok）。
以下是循環的：
2，將餘下的對象分到各個類中去（根據與medoid最相近的原則）；
3，對於每個類（Oi）中，順序選取一個Or，計算用Or代替Oi後的消耗—E（Or）。選擇E最小的那個Or來代替Oi。這樣K個medoids就改變了，下面就再轉到2。
4，這樣循環直到K個medoids固定下來。
這種演算法對於臟數據和異常數據不敏感，但計算量顯然要比K均值要大，一般只適合小數據量。 上面提到K-medoids演算法不適合於大數據量的計算。Clara演算法，這是一種基於采樣的方法，它能夠處理大量的數據。
Clara演算法的思想就是用實際數據的抽樣來代替整個數據，然後再在這些抽樣的數據上利用K-medoids演算法得到最佳的medoids。Clara演算法從實際數據中抽取多個采樣，在每個采樣上都用K-medoids演算法得到相應的（O1, O2 … Oi … Ok），然後在這當中選取E最小的一個作為最終的結果。 Clara演算法的效率取決於采樣的大小，一般不太可能得到最佳的結果。
在Clara演算法的基礎上，又提出了Clarans的演算法，與Clara演算法不同的是：在Clara演算法尋找最佳的medoids的過程中，采樣都是不變的。而Clarans演算法在每一次循環的過程中所採用的采樣都是不一樣的。
與上面所講的尋找最佳medoids的過程不同的是，必須人為地來限定循環的次數。

❸ 聚類演算法有哪些

聚類方法分為以下幾類：
分割方法：K-means
分層次方法：ROCK 、 Chemeleon
基於密度的方法：DBSCAN
基於網格的方法：STING 、 WaveCluster
等等

❹ 16種常用的數據分析方法-聚類分析

聚類（Clustering）就是一種尋找數據之間內在結構的技術。聚類把全體數據實例組織成一些相似組，而這些相似組被稱作簇。處於相同簇中的數據實例彼此相同，處於不同簇中的實例彼此不同。

聚類分析定義

聚類分析是根據在數據中發現的描述對象及其關系的信息，將數據對象分組。目的是，組內的對象相互之間是相似的（相關的），而不同組中的對象是不同的（不相關的）。組內相似性越大，組間差距越大，說明聚類效果越好。

聚類效果的好壞依賴於兩個因素：1.衡量距離的方法（distance measurement） 2.聚類演算法（algorithm）

聚類分析常見演算法

K-均值聚類也稱為快速聚類法，在最小化誤差函數的基礎上將數據劃分為預定的類數K。該演算法原理簡單並便於處理大量數據。

K-均值演算法對孤立點的敏感性，K-中心點演算法不採用簇中對象的平均值作為簇中心，而選用簇中離平均值最近的對象作為簇中心。

也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的對象就越少，但這些對象間的共同特徵越多。該聚類方法只適合在小數據量的時候使用，數據量大的時候速度會非常慢。

案例

有20種12盎司啤酒成分和價格的數據，變數包括啤酒名稱、熱量、鈉含量、酒精含量、價格。

問題一：選擇那些變數進行聚類？——採用「R 型聚類」

現在我們有4個變數用來對啤酒分類，是否有必要將4個變數都納入作為分類變數呢？熱量、鈉含量、酒精含量這3個指標是要通過化驗員的辛苦努力來測定，而且還有花費不少成本。

所以，有必要對4個變數進行降維處理，這里採用spss R型聚類（變數聚類），對4個變數進行降維處理。輸出「相似性矩陣」有助於我們理解降維的過程。

4個分類變數各自不同，這一次我們先用相似性來測度，度量標准選用pearson系數，聚類方法選最遠元素，此時，涉及到相關，4個變數可不用標准化處理，將來的相似性矩陣里的數字為相關系數。若果有某兩個變數的相關系數接近1或-1，說明兩個變數可互相替代。

只輸出「樹狀圖」就可以了,從proximity matrix表中可以看出熱量和酒精含量兩個變數相關系數0.903，最大，二者選其一即可，沒有必要都作為聚類變數，導致成本增加。

至於熱量和酒精含量選擇哪一個作為典型指標來代替原來的兩個變數，可以根據專業知識或測定的難易程度決定。（與因子分析不同，是完全踢掉其中一個變數以達到降維的目的。）這里選用酒精含量，至此，確定出用於聚類的變數為：酒精含量，鈉含量，價格。

問題二：20 中啤酒能分為幾類？—— 採用「Q 型聚類」

現在開始對20中啤酒進行聚類。開始不確定應該分為幾類，暫時用一個3-5類范圍來試探。Q型聚類要求量綱相同，所以我們需要對數據標准化，這一回用歐式距離平方進行測度。

主要通過樹狀圖和冰柱圖來理解類別。最終是分為4類還是3類，這是個復雜的過程，需要專業知識和最初的目的來識別。

這里試著確定分為4類。選擇「保存」，則在數據區域內會自動生成聚類結果。

問題三：用於聚類的變數對聚類過程、結果又貢獻么，有用么？——採用「單因素方差分析」

聚類分析除了對類別的確定需討論外，還有一個比較關鍵的問題就是分類變數到底對聚類有沒有作用有沒有貢獻，如果有個別變數對分類沒有作用的話，應該剔除。

這個過程一般用單因素方差分析來判斷。注意此時，因子變數選擇聚為4類的結果，而將三個聚類變數作為因變數處理。方差分析結果顯示，三個聚類變數sig值均極顯著，我們用於分類的3個變數對分類有作用，可以使用，作為聚類變數是比較合理的。

問題四：聚類結果的解釋？——採用」均值比較描述統計「

聚類分析最後一步，也是最為困難的就是對分出的各類進行定義解釋，描述各類的特徵，即各類別特徵描述。這需要專業知識作為基礎並結合分析目的才能得出。

我們可以採用spss的means均值比較過程，或者excel的透視表功能對各類的各個指標進行描述。其中，report報表用於描述聚類結果。對各類指標的比較來初步定義類別，主要根據專業知識來判定。這里到此為止。

以上過程涉及到spss層次聚類中的Q型聚類和R型聚類，單因素方差分析，means過程等，是一個很不錯的多種分析方法聯合使用的案例。

聚類分析的應用

聚類分析是細分市場的有效工具，被用來發現不同的客戶群，並且它通過對不同的客戶群的特徵的刻畫，被用於研究消費者行為，尋找新的潛在市場。

聚類分析被用來對動植物和基因進行分類，以獲取對種群固有結構的認識。

聚類分析可以通過平均消費來鑒定汽車保險單持有者的分組，同時可以根據住宅類型、價值、地理位置來鑒定城市的房產分組。

聚類分析被用來在網上進行文檔歸類。

聚類分析通過分組聚類出具有相似瀏覽行為的客戶，並分析客戶的共同特徵，從而幫助電子商務企業了解自己的客戶，向客戶提供更合適的服務。

❺ 聚類的計算方法

傳統的聚類分析計算方法主要有如下幾種：
1、劃分方法(partitioning methods)
給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。而且這K個分組滿足下列條件：（1） 每一個分組至少包含一個數據紀錄；（2）每一個數據紀錄屬於且僅屬於一個分組（注意：這個要求在某些模糊聚類演算法中可以放寬）；對於給定的K，演算法首先給出一個初始的分組方法，以後通過反復迭代的方法改變分組，使得每一次改進之後的分組方案都較前一次好，而所謂好的標准就是：同一分組中的記錄越近越好，而不同分組中的紀錄越遠越好。使用這個基本思想的演算法有：K-MEANS演算法、K-MEDOIDS演算法、CLARANS演算法；
大部分劃分方法是基於距離的。給定要構建的分區數k，劃分方法首先創建一個初始化劃分。然後，它採用一種迭代的重定位技術，通過把對象從一個組移動到另一個組來進行劃分。一個好的劃分的一般准備是：同一個簇中的對象盡可能相互接近或相關，而不同的簇中的對象盡可能遠離或不同。還有許多評判劃分質量的其他准則。傳統的劃分方法可以擴展到子空間聚類，而不是搜索整個數據空間。當存在很多屬性並且數據稀疏時，這是有用的。為了達到全局最優，基於劃分的聚類可能需要窮舉所有可能的劃分，計算量極大。實際上，大多數應用都採用了流行的啟發式方法，如k-均值和k-中心演算法，漸近的提高聚類質量，逼近局部最優解。這些啟發式聚類方法很適合發現中小規模的資料庫中小規模的資料庫中的球狀簇。為了發現具有復雜形狀的簇和對超大型數據集進行聚類，需要進一步擴展基於劃分的方法。
2、層次方法(hierarchical methods)
這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。具體又可分為「自底向上」和「自頂向下」兩種方案。例如在「自底向上」方案中，初始時每一個數據紀錄都組成一個單獨的組，在接下來的迭代中，它把那些相互鄰近的組合並成一個組，直到所有的記錄組成一個分組或者某個條件滿足為止。代表演算法有：BIRCH演算法、CURE演算法、CHAMELEON演算法等；
層次聚類方法可以是基於距離的或基於密度或連通性的。層次聚類方法的一些擴展也考慮了子空間聚類。層次方法的缺陷在於，一旦一個步驟（合並或分裂）完成，它就不能被撤銷。這個嚴格規定是有用的，因為不用擔心不同選擇的組合數目，它將產生較小的計算開銷。然而這種技術不能更正錯誤的決定。已經提出了一些提高層次聚類質量的方法。
3、基於密度的方法(density-based methods)
基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。這個方法的指導思想就是，只要一個區域中的點的密度大過某個閥值，就把它加到與之相近的聚類中去。代表演算法有：DBSCAN演算法、OPTICS演算法、DENCLUE演算法等；
4、基於網格的方法(grid-based methods)
這種方法首先將數據空間劃分成為有限個單元（cell）的網格結構,所有的處理都是以單個的單元為對象的。這么處理的一個突出的優點就是處理速度很快，通常這是與目標資料庫中記錄的個數無關的，它只與把數據空間分為多少個單元有關。代表演算法有：STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法；
很多空間數據挖掘問題，使用網格通常都是一種有效的方法。因此，基於網格的方法可以和其他聚類方法集成。
5、基於模型的方法(model-based methods)
基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。這樣一個模型可能是數據點在空間中的密度分布函數或者其它。它的一個潛在的假定就是：目標數據集是由一系列的概率分布所決定的。通常有兩種嘗試方向：統計的方案和神經網路的方案。
當然聚類方法還有：傳遞閉包法，布爾矩陣法，直接聚類法，相關性分析聚類，基於統計的聚類方法等。

❻ 有哪些常用的聚類演算法

【聚類】聚類分析是直接比較各對象之間的性質，根據在對象屬性中發現的描述對象及其關系的信息，將數據對象分組。其目標是，組內的對象相互之間是相似的（相關的），而不同組中的對象是不同的（不相關的）。組內的相似性（同質性）越大，組間差別越大，聚類就越好。

聚類的目標是通過對無標記訓練樣本的學習來揭示數據的內在性質及規律，是無監督學習過程。在無監督學習中，訓練樣本標記信息是未知的。聚類試圖將數據集中的樣本劃分為若干個通常不相交的子集，每個子集稱為一個「簇」，每個簇可能對應於一些潛在的類別，這些類別概念對聚類演算法而言事先是未知的，聚類過程僅能自動形成簇結構，簇所對應的概念語義需要由使用者來把握和命名。

❼ 常用的聚類方法有哪幾種

聚類分析的演算法可以分為劃分法、層次法、基於密度的方法、基於網格的方法、基於模型的方法。

1、劃分法，給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。

2、層次法，這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。

3、基於密度的方法，基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。

4、圖論聚類方法解決的第一步是建立與問題相適應的圖，圖的節點對應於被分析數據的最小單元，圖的邊（或弧）對應於最小處理單元數據之間的相似性度量。

5、基於網格的方法，這種方法首先將數據空間劃分成為有限個單元的網格結構,所有的處理都是以單個的單元為對象的。

6、基於模型的方法，基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。

(7)集成聚類的演算法擴展閱讀：

在商業上，聚類可以幫助市場分析人員從消費者資料庫中區分出不同的消費群體來，並且概括出每一類消費者的消費模式或者說習慣。

它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現資料庫中分布的一些深層的信息，並且概括出每一類的特點，或者把注意力放在某一個特定的類上以作進一步的分析；並且，聚類分析也可以作為數據挖掘演算法中其他分析演算法的一個預處理步驟。

許多聚類演算法在小於 200 個數據對象的小數據集合上工作得很好；但是，一個大規模資料庫可能包含幾百萬個對象，在這樣的大數據集合樣本上進行聚類可能會導致有偏的結果。

許多聚類演算法在聚類分析中要求用戶輸入一定的參數，例如希望產生的簇的數目。聚類結果對於輸入參數十分敏感。參數通常很難確定，特別是對於包含高維對象的數據集來說。這樣不僅加重了用戶的負擔，也使得聚類的質量難以控制。

❽ 一種面向高維數據的集成聚類演算法

一種面向高維數據的集成聚類演算法
聚類集成已經成為機器學習的研究熱點，它對原始數據集的多個聚類結果進行學習和集成，得到一個能較好地反映數據集內在結構的數據劃分。很多學者的研究證明聚類集成能有效地提高聚類結果的准確性、魯棒性和穩定性。本文提出了一種面向高維數據的聚類集成演算法。該方法針對高維數據的特點，先用分層抽樣的方法結合信息增益對每個特徵簇選擇合適數量比較重要的特徵的生成新的具代表意義的數據子集，然後用基於鏈接的方法對數據子集上生成的聚類結果進行集成．最後在文本、圖像、基因數據集上進行實驗，結果表明，與集成前的K均值聚類演算法及基於鏈接的聚類集成演算法相比，該方法能有效的改善聚類結果。
引 言
聚類分析又稱群分析，是根據「物以類聚」的道理對樣品或指標進行分類的一種多元統計分析方法。它是一個將數據分到不同類或者簇的過程，所以同一個簇中的對象有很大的相似性，而不同簇間的對象有很大的相異性。聚類分析是機器學習、模式識別的一個最重要的研究方向之一，它是了解數據集的結構的一種最重要的手段，並已經成功的應用於數據挖掘、信息檢索、語音識別、推薦系統等領域。
現實世界中的數據集具有各種形狀和結構，不存在哪一種單一的演算法對任何數據集都表現的很好[3]，沒有一種聚類演算法能准確揭示各種數據集所呈現出來的多種多樣的形狀和簇結構，每一種聚類演算法都有其優缺點，對於任何給定的數據集，使用不同的演算法都會有不同的結果，甚至對於同一種演算法給定不同的參數都會有不同的聚類結果，自然分組概念內在的不明確性決定了沒有一個通用的聚類演算法能適用於任何數據集的聚類問題。此外，類存在多樣性的特點，類具有不同的形狀、大小、密度，而且類之間往往是相互重疊的，這樣的問題在高維數據中更加明顯，因為不相關的或者冗餘的特徵會使類的結構更加不明顯。K均值演算法[5]是一種應用廣泛的最經典的聚類演算法之一，它的特點之一就是隨機選取初始的聚類中心，如果選取的中心點不同，聚類結果就可能產生很大的差異。K均值聚類演算法對初始中心點的依賴性，導致K均值演算法的聚類結果不穩定。在這種情況下，聚類集成應運而生，許多學者在這個領域進行了深入的研究。
聚類集成的目的在於結合不同聚類演算法的結果得到比單個聚類演算法更優的聚類。對聚類集體中的成員聚類的問題成為一致性函數問題，或叫做集成問題。很多學者證實通過聚類集成可以有效的提高像K均值聚類這些單一聚類演算法的准確性、魯棒性和穩定性.在現有的研究中，產生基聚類結果的方法有:
(1)使用同一種聚類演算法，每次運行使用不同的參數和隨機初始化；
(2)使用不同的聚類演算法，如K均值產生多個不同的聚類;
(3)對數據集的子集聚類，子集通過不同采樣像bagging、Sub-sampling等方法獲得；
(4)在數據集的不同特徵子集或在數據集的不同子空間的投影上聚類得到不同聚類結果構成聚類集體。我們的方法主要是對第四種聚類集成問題進行了深入研究，在數據集的不同子集上進行集成分析。對於高維數據來說，數據點為單位劃分仍存在維數災難的問題，維數災難可能會引發這種現象，一個給定數據點與離它最近點的距離比與離它最遠的數據點的距離近，所以我們引入同樣的數據點但基於不同的特徵子集就可能會避免這種問題。生成基聚類結果以後就是設計一致性函數對聚類結果集成，就是將聚類成員進行合並，得到一個統一的聚類結果。目前存在很多一致性函數，常用的有投票法、超圖劃分、基於共協矩陣的證據積累、概率積累等等，我們在文章中用了文獻[1]中的方法，它是一種基於鏈接的方法。常規的集成方法往往基於一個由基聚類結果即這些數據基聚類結果內部的關系生成，忽略了這些結果之間的關系，所以Iam-on等利用簇之間的相似度來精煉集成信息矩陣。在高維數據中，我們將數據集的局部特徵子集用作聚類成員與基於鏈接的集成聚類方法有效結合，解決了高維數據進行集成聚類的問題。
本文組織如下：第2節對聚類集成做了一個概述，並針對於高維數據這一特殊數據集提出了自己的集成聚類方法。第3節是本文的核心部分，它講述了對特徵進行分層抽樣，並基於信息增益抽取出比較重要的具有代表意義的局部特徵子集的過程，此外對傳統的K均值演算法的具體過程進行了簡要的描述，然後引出了分層抽樣的概念，用分層抽樣的思想確定我們選擇的特徵的數目，最後給出了信息增益的定義，通過這個指標最終確定我們在每一個聚類簇中選擇的特徵；最後把我們前面的工作抽取局部特徵子集與基於鏈接的方法結合起來形成了自己的演算法描述；第4節首先對8個實際數據集包括文本、圖像、基因數據進行描述，然後在這八個數據集上比較和分析了我們的方法(SSLB)和傳統K均值演算法和基於鏈接的聚類集成演算法(LB)在四個聚類評價標准上的聚類性能；第5節是對全文的總結。
相關工作
聚類集成概述
聚類分析是按照某種相似性測度將多維數據分割成自然分組或簇的過程。聚類演算法很多，但是沒有一個萬能的聚類演算法能用於任何聚類問題，其原因在自然分組概念的內在不明確性以及類可以有不同的形狀、大小、密度等，這個在高維數據中的問題更為明顯，那些不相關的特徵和冗餘的特徵會使類結構更加模糊。單個聚類存在的這些問題，引發了學者們對聚類集成的研究。首先由Strehl[12]等人提出」聚類集成」的概念，而後Gionis[13]等人也給出該問題的描述。楊草原等給聚類集成下了一個定義，認為聚類集成就是利用經過選擇的多個聚類結果找到一個新的數據(或對象)劃分，這個劃分在最大程度上共享了所有輸入的聚類結果對數據或對象集的聚類信息。
聚類集成的符號化形式為：假設數據集X有n個實例，X={x1,x2,…,xn},首先對數據集X使用M次聚類演算法，得到M個聚類，?={?1,?2,…,?M}(下面稱為聚類成員)，其中?i(i=1,2,…,M)為第i次聚類演算法得到的聚類結果。然後用一致性函數T對?的聚類結果進行集成得到一個新的數據劃分?』[1].
摘 要

圖1聚類集成的基本過程。首先對數據集使用不同的聚類演算法得到不同的劃分，然後對這些劃分用一致性函數合並為一個聚類結果P』
由上面的聚類集成過程可知，對一個數據集進行聚類集成，主要有兩個階段，第一個階段是基聚類器對原始數據進行聚類，得到基聚類結果。第二個階段是基聚類結果集成，根據聚類集成演算法對前一個階段採集的基聚類結果進行處理，使之能夠最大限度地分享這些結果，從而得到一個對原始數據最好的聚類集成結果。
面向高維數據的集成聚類
信息時代互聯網成為最大的信息聚集地，像Web文檔、交易數據、基因表達數據、用戶評分數據等等，這些成為聚類分析的主要研究對象，而這些數據的維度成千上萬，甚至更高，這給聚類分析帶來了極大的挑戰。高維數據的聚類集成面臨更多的問題。
傳統的集成學習的第一步是產生多個基聚類結果，這一階段是對數據集或者其子集反復進行聚類演算法。現有的方法主要有：使用一個聚類演算法，每次運行設置不同的參數和隨機初始化；使用不同的聚類演算法；對數據集的子集進行聚類；將數據集的特徵空間投影到數據子空間。基聚類結果生成以後就開始對基聚類結果進行集成。一致性函數是一個函數或者是一個方法，它將聚類成員進行集成，得到一個統一的聚類結果。目前存在許多一致性函數，它大致可以分為:
(1)基於成對相似性的方法，它主要考慮的是所有的數據點對的關系的重現、
(2)基於超圖劃分的方法和(3)基於特徵的方法，它是把聚類的集成轉換為類標的集成。
針對高維數據的特點，我們選擇基於相似性的方法對聚類結果進行集成，凝聚層次聚類演算法是最經典的基於相似性方法，我們用了文獻中的方法，他把SL凝聚聚類演算法用來生成最終的劃分。但是基於成對相似度的集成的過程都是一個比較粗糙的過程，集成的結果往往基於一個由基聚類結果即這些數據劃分內部的關系生成，忽略了這些劃分結果之間的關系，所以它使用了Iam-on[17]等利用簇之間的相似度來精煉集成信息矩陣，實驗證明這種方法在很多數據集上表現很好，不僅增強了聚類穩定性也改善了聚類性能。由於我們研究的對象是高維數據，考慮到需要聚類的對象的維度很大，對完整的對象聚類一定會增加聚類演算法的運行開銷。這對基於鏈接的方法性能有所影響，因此，我們考慮對特徵空間的局部特徵子集進行聚類得到結果。經過上面的分析，我們引出自己的方法。我們對其中的基本步驟進行細化，我們的方法示意圖如下：

我們方法的示意圖，對聚類集成的過程進行了細化，描述了每一個過程的輸入和輸出
我們的方法就是針對高維數據的特點，對傳統的聚類集成進行了一些改進，我們首先用前面提到的K均值演算法對特徵進行聚類，然後用信息增益來衡量不同簇中的特徵的重要程度，而每個特徵簇中的所抽取特徵的數目nh由上面stratifiedsampling[18]的方法得到，最後利用信息增益選擇top(nh)的特徵。根據上述方法對特徵進行降維，得到了最具代表的數據子集。數據子集的生成，變換K均值演算法的k值，取k=2,3…√N(N為數據點的數目)生成不同的具有差異的數據子集，然後沿用[1]中的方法進行聚類集成，最後把這√N-2次的聚類結果進行最後一次集成得到我們最終的聚類結果。基於局部特徵子集的生成方法內容在下一章詳細講述。
基於局部特徵的數據子集生成方法
集成時使用哪種方法產生聚類成員一般從兩個方面來考慮，一個是集成者的目的，一個是數據集的結構。在機器學習的實際應用中，我們面對的絕大多數都是高維數據。數據集的特徵數量往往較多，可能存在不相關的特徵，特徵之間可能存在相互依賴，容易導致分析特徵、訓練模型的時間變長，甚至引發「維度災難」，模型復雜推廣能力下降。所以我們採用基於局部特徵的數據子集生成方法。圖3是我們生成局部特徵的數據子集的示意圖：

Fig. 3 The basic process of the generation of feature subset
首先我們用傳統的K均值演算法對數據集的特徵進行聚類，然後對於不同的特徵簇我們用信息增益來衡量它的重要性，不同的特徵簇中我們應該篩選多少特徵簇呢？分層抽樣很好的解決了這個問題，分層抽樣的思想是計算每個實例之間的相關性(用標准差、方差來衡量)，它認為類中的實例相關性比較大的可以選擇較多的樣本來代替當前類，類中相關性較小的就少選擇一些實例來代替當前類的樣本，根據分層抽樣中計算出的特徵簇的數目再利用信息增益這種衡量重要性的標准進行篩選後就得到了局部的特徵子集。下面具體論述基於局部特徵的數據子集生成方法中的關鍵技術。
k均值演算法
K均值演算法[5]是MacDueen提出的一個著名的聚類學習演算法。它根據相似度距離迭代的更新向量集的聚類中心，當聚類中心不再變化或者滿足某些停止條件，則停止迭代過程得到最終的聚類結果。K均值演算法的具體步驟為：
(1) 隨機選擇k個數據項作為聚類中心；
(2) 根據相似度距離公式，將數據集中的每一項數據分配到離他最近的聚類中去；
(3) 計算新的聚類中心；
(4) 如果聚類中心沒有發生改變，演算法結束；否則跳轉到第(2)步.
我們使用K均值演算法對數據集的特徵進行聚類，我們通過選取不同的k值進行特徵聚類，然後用後面的分層抽樣進行選擇得到差異度比較明顯的局部特徵的數據子集作為後面的聚類集成的輸入。
信息增益
對特徵進行聚類後得到多個特徵團，如何對它們進行特徵選擇，如何度量特徵團中的特徵的重要程度是我們面臨的問題。信息增益是資訊理論中的一個重要概念，它被廣泛應用在機器學習、數據挖掘領域，計算信息增益是針對一個特徵項而言的，它通過統計某一個特徵項t在類別C中出現與否的實例數來計算特徵項t對類別C的信息增益，定義為：

其中P(ci)表示ci類實例在數據集中出現的概率，p(t)表示數據集中包含特徵項t的實例數，p(ci|t)表示實例包含特徵項t時屬於ci類的條件概率，p(t ? )表示數據集中不包含特徵項t的實例數，p(c_i |t ? )表示實例不包含特徵項t時屬於ci類的概率，m為類別數。信息增益考慮特徵與類別信息的相關程度，認為信息增益值越大，其貢獻越大。我們的方法採用信息增益來度量特徵簇中的特徵的重要程度。
分層抽樣（Stratified sampling）
在對特徵進行聚類後對特徵進行選擇，我們採用信息增益來度量每個特徵簇中的特徵的重要程度。但是每個特徵簇我們選擇多少個特徵比較合適，這是分層抽樣解決的問題。抽樣的目的是在不影響聚類效果的情況下在已經分好或者聚好類的實例中，從每個類中抽取部分的樣本來代替整個類。Stratifiedsampling[18]方法遵循的原則是：計算每個實例之間的相關性(用標准差、方差來衡量)，我們認為類中的實例相關性比較大的可以選擇較小的樣本來代替當前類，類中相關性較小的就多選擇一些實例來代替當前類的樣本。這個方法就是確定每個類中篩選的實例的數目。此方法中每個類的樣本數目為：

其中nh是第h類應該抽取的實例數。n是預計抽取的總樣本數，Nh是在總體樣本中第h類的實例數，?h是第h類的標准差。通過(1)式我們就可以得到每個類中應該選擇的實例數目。提出這中抽樣方法的學者還對它的精確度、置信區間進行了分析，證明了它在不影響學習效果的情況下對可以對數據降維，提高學習效率。
在本文的方法中，我們先用前面提到的k均值演算法對特徵進行聚類，然後用信息增益來衡量不同簇中的特徵的重要程度，而每個特徵簇中的所抽取特徵的數目nh由上面stratifiedsampling的方法得到，最後利用信息增益選擇top(nh)的特徵。根據上述方法對特徵進行降維，得到了最具代表的數據子集，進行後面的數據集的聚類集成。
實驗結果與分析
實驗數據集
本文選用了8個數據集，包括文獻[1]中的兩個數據集：一個人工數據集Four-Gaussian[19]和一個被用來做基因數據聚類的真實數據集Leukemiadataset[20],另外就是六個真實數據集包括兩個文本數據集，兩個圖像數據集，兩個基因數據。表1給出了這些數據集的名稱以及數據的樣本、屬性、類別數量。
Table 1 Number of instance, features and classes of datasets

實驗分析
實驗中，本文對比了三種分類演算法包括傳統的k-means演算法，文獻[1]中的LB演算法以及我們實現的演算法SSLB。聚類性能通過下面四個評價指標來衡量，表2給出了這四個評價指標[1]的具體描述：
Table 2 Name of measures, formulas

K為聚類結果中簇的數目，nk是屬於第k個簇的數據點數目，d(xi,xj)是數據點xi和xj的距離，N是數據集中數據點的總數。n11是指在兩個劃分?』(正確的劃分)和?中出現在相同簇中的數據線對的個數，n00是指在兩個劃分?』、?中中出現在不同簇中的數據點對的個數，n01表示在劃分?中屬於不同簇在另一個劃分?』 中屬於同一個簇的數據點對數目，n10表示在劃分?』中屬於不同簇在另一個劃分?中屬於同一個簇的數據點對數目。
其中CP衡量的是在同一個簇中，所有數據點的數據點對的平均距離，越小越好。CA衡量的是與已經的類標相比，聚類正確的數據點數目，CA的范圍是從0到1，越大越好。RI這個指標衡量存在於相同和不同簇中的點對數目，RI的值從0到1，越大越好，AR也是越大越好。
本文對這8個數據集進行聚類集成，聚類成員由k均值對特徵聚類然後分層抽樣產生的局部特徵子集獲得，聚類中心的個數為數據集的類別數。為了增加實驗的可靠性，所有的實驗結果為10次結果的平均值。對比試驗採用原始的K均值聚類演算法、基於鏈接(LB)的方法，與我們實現的方法(SSLB)進行比較。在表3中，我們把關鍵值都突出的表現出來，在這8個數據集上，SSLB有在四個評價指標上都表現出比較大的優勢。
根據表四，比較集成前的K均值演算法、LB方法和SSLB方法，可以看出，在數據集Four-Gaussian上，SSLB在四種評價指標上都可以看出，其聚類性能明顯優於集成前的K均值演算法和LB聚類集成演算法。在兩種文本數據集Tr31和Tr41上，我們的方法優勢不是很明顯，但是在前兩個指標CP和CA上還是明顯好於集成前的K均值聚類，與LB演算法在這兩個指標上性能相當，而且在這兩個文本數據上，在RI和AR上集成前的K均值演算法與LB和SSLB方法相比都存在優勢。在兩個圖像數據集上，SSLB方法在CP這個評價指標上都遠遠好於集成前的K均值聚類演算法和LB演算法，但是在第二個評價指標和第三個評價指標上就比LB演算法差一點。在基因數據Colon上SSLB再第一個聚類評價指標上仍然存在很大的優勢，在聚類的准確率上，我們的方法與LB方法相當，但是明顯優於集成前的K均值演算法。在基因數據TOX-171上，我們的方法獲得了最好的聚類集成性能，在四個聚類評價指標上，都遠遠好於集成前的K均值演算法和LB演算法。
下面我們逐一在這四個聚類評價標准比較集成前的K均值演算法、SSLB演算法和LB演算法。圖四、圖五、圖六、以及圖七分別描述了集成前的K均值聚類、LB以及我們的方法SSLB在CP、CA、RI、AR上的表現。

聚類評價指標CP衡量的是在同一個簇中，所有數據點的數據點對的平均距離，越小越好。通過圖四可以看出，在所有數據集上，我們的演算法SSLB都存在很大的優勢，比集成前的K-means演算法以及LB演算法在CP這個指標上都好，此外還能看出CP在不同的數據集上的差異還是比較大的，在Four-Gaussian上明顯比其他數據集上差。

聚類評價指標CA衡量的是與已知的類標相比，聚類正確的數據點數目占總的數據點數目的比例，CA的范圍是從0到1，越大越好。從圖五可以看出我們的演算法在數據集Four-Gaussian、Tr41、Colon和TOX-171上的聚類精度比集成前的K均值演算法以及LB演算法都要好，但是在Tr31以及兩個圖像數據集上的優勢不大，這這個現象值得我們關注，也是我們接下來會研究的工作。

聚類評價指標RI衡量的是存在於相同和不同簇中的點對數目，RI的值從0到1，越大越好。從圖六可以看出我們的演算法在人工數據集Four-Gaussian以及幾個基因數據集上的表現比較突出、但是在其他數據集上就處於弱勢，而且可以看出集成前的K均值演算法在所有的數據集在RI上的表現都比較好。

聚類評價指標AR衡量的也是存在於相同和不同簇中的點對數目，AR的值從0到1，越大越好。從圖七可以看出我們的演算法SSLB在大多數數據集上存在著優勢，但是在數據集Leukemia、Tr41、Colon上的超過了集成前的K均值演算法和我們的演算法。這些現象和結果都是我們接下來的研究的重點。

綜上所述，在幾乎所有數據集上，在所有的聚類評價指標上我們的聚類集成演算法SSLB好於集成前K均值演算法的聚類效果，而且在大多數數據集上，我們的演算法比LB演算法存在一定的優勢，尤其是在基因數據上的表現較為突出。但是在有的數據集上優勢也不夠明顯，我們要繼續分析這些數據結構上的特點和我們的演算法可能存在的問題，這也是我們接下來研究的方向。
結 論
本文提出了一種面向高維數據的集成聚類方法。針對高維數據的特點，對傳統的聚類集成進行了一些改進，首先對特徵聚類然後基於分層抽樣抽取特徵子集，抽取到最具代表性的特徵子集後用基於鏈接的方法進行聚類集成。並在8個實際數據集包括文本、圖像、基因數據上進行實驗，在這8個數據集上分析和比較了我們的方法和集成前的K均值演算法以及基於鏈接的聚類集成演算法在四個評價標准上的聚類性能，能夠看出我們的演算法在聚類性能上有一定改善。

❾ 聚類演算法有哪幾種

聚類演算法有：聚類分析是通過數據建模簡化數據的一種方法。傳統的統計聚類分析方法包括系統聚類法、分解法、加入法、動態聚類法、有序樣品聚類、有重疊聚類和模糊聚類等。採用k均值、k中心點等演算法的聚類分析工具已被加入到許多著名的統計分析軟體包中，如SPSS、SAS等。

❿ 有哪些常用的聚類演算法

聚類分析計算方法主要有如下幾種：
1.
劃分法(partitioning
methods)
給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K
評論
0
0
0
載入更多