① 聚類演算法數據分析
提到聚類演算法，K-Means算是略懂數據分析的人都知道的一種。但K-Means也有其局限性，基本只能處理數值型聚類。而脊仔且按距離進行聚類而非密度，無法處理環櫻困汪形圖樣。實際在使用聚類演算法時，還有很多技巧性問題。
聚類演算法需要各變數間相關性較低，可以採用DataFrame的corr()函數進行相關性計算。另外，聚類的變數要區分離散值和非離散值。對於非離散變數，需要進行標准化或歸一化；對於離散變數，尺纖可以轉換為虛擬變數，並採用{0, 1}編碼。建議採用min-max標准化，這樣和虛擬變數保持相同的相同范圍。
對於包含非離散變數和虛擬變數的數據集（通常情況），建議採用K-Prototype而非K-Means演算法進行聚類。在使用時可以標記相關虛擬變數，確保區別處理（實際虛擬變數採用K-Modes，非離散變數採用K-Means，再基於權重a進行結果合並）。
KPrototypes(n_clusters=np).fit(df.values, categorical=[1, 2])
其中的1, 2代表df數據集中的第1, 2列（從0計數）。評估聚類演算法可以基於輪廓系數，對比不同的K值，在業務允許范圍內得到最佳K值。建議的輪廓系數函數是silhouette_score，其最大值為1，越接近1越好，可以在不同演算法情況下進行相對比較。
除輪廓系數外，還可以降維繪制散點圖（通過TSNE降維），按聚類演算法分類對散點進行著色，進而直觀的進行聚類演算法分類結果的判斷。
TSNE(n_components=2)
總結來說，整個聚類演算法數據分析的操作步驟如下：
1. 構建低相關性變數數據集（通過給高相關性變數設置固定值）；
2. 對非離散變數進行min-max歸一化操作；
3. 對包含虛擬變數的數據集採用K-Prototype聚類演算法，對只包含非離散變數的數據集採用K-Means演算法；
4. 通過輪廓系數silhouette_score對K值進行循環測試，得到最佳K值；
5. 通過TSNE將數據集降維為兩維顯著特徵值，並通過散點圖，配合聚類演算法分類結果配色對聚類演算法分類結果進行合理判斷；
6. 對聚類演算法分類結果，結合業務邏輯進行解釋，確保分類結果支撐業務分析。
② 如何評價聚類結果的好壞
1、聚類沒有統一的評脊迅價指標，因為不同聚類演算法的目標函數相差很大，有些是基於距離，有些是假設先驗分布，有些是帶有圖聚類和譜分析性質，悶野灶還有些是基於密度的拿譜聚類距離。
2、應該嵌入到問題中進行評價，很多實際問題中，聚類僅僅是其中的一步，可以對比不聚。
聚類：將物理或抽象對象的集合分成由類似的對象組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組數據對象的集合，這些對象與同一個簇中的對象彼此相似，與其他簇中的對象相異。「物以類聚，人以群分」，在自然科學和社會科學中，存在著大量的分類問題螞扮。聚類分析又稱群分析，它是研究分類問題的一種統計分析方法。聚類分析起源於分類學，但是聚類不等於分類。聚類與分類的不同在於，聚類所要求劃分的類是未知的。聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論聚類法、聚類預報法等。
③ 四種聚類方法之比較
四種聚類方法之比較
介紹了較為常見的k-means、層次聚類、SOM、FCM等四種聚類演算法，闡述了各自的原理和使用步驟，利用國際通用測試數據集IRIS對這些演算法進行了驗證和比較。結果顯示對該測試類型數據，FCM和k-means都具有較高的准確度，層次聚類准確度最差，而SOM則耗時最長。
關鍵詞:聚類演算法；k-means；層次聚類；SOM；FCM
聚類分析是一種重要的人類行為，早在孩提時代，一個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、數據分析、圖像處理、市場研究、客戶分割、Web文檔分類等[1]。
聚類就是按照某個特定標准(如距離准則)把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不在同一個簇中的數據對象的差異性也盡可能地大。即聚類後同一類的數據盡可能聚集到一起，不同數據盡量分離。
聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括數據挖掘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同類型的數據，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。
1 聚類演算法的分類
目前，有大量的聚類演算法[3]。而對於具體應用，聚類演算法的選擇取決於數據的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的數據嘗試多種演算法，以發現數據可能揭示的結果。
主要的聚類演算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。
每一類中都存在著得到廣泛應用的演算法，例如：劃分方法中的k-means[7]聚類演算法、層次方法中的凝聚型層次聚類演算法[8]、基於模型方法中的神經網路[9]聚類演算法等。
目前,聚類問題的研究不僅僅局限於上述的硬聚類，即每一個數據只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是將一個數據對象硬性地歸類到某一簇中。目前已有很多關於模糊聚類的演算法被提出，如著名的FCM演算法等。
本文主要對k-means聚類演算法、凝聚型層次聚類演算法、神經網路聚類演算法之SOM,以及模糊聚類的FCM演算法通過通用測試數據集進行聚類效果的比較和分析。
2 四種常用聚類演算法研究
2.1 k-means聚類演算法
k-means是劃分方法中較經典的聚類演算法之一。由於該演算法的效率高，所以在對大規模數據進行聚類時被廣泛應用。目前，許多演算法均圍繞著該演算法進行擴展和改進。
k-means演算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means演算法的處理過程如下：首先，隨機地選擇k個對象，每個對象初始地代表了一個簇的平均值或中心;對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重復，直到准則函數收斂。通常，採用平方誤差准則，其定義如下：
這里E是資料庫中所有對象的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函數使生成的簇盡可能緊湊獨立，使用的距離度量是歐幾里得距離,當然也可以用其他距離度量。k-means聚類演算法的演算法流程如下：
輸入：包含n個對象的資料庫和簇的數目k；
輸出：k個簇，使平方誤差准則最小。
步驟：
(1) 任意選擇k個對象作為初始的簇中心；
(2) repeat；
(3) 根據簇中對象的平均值，將每個對象(重新)賦予最類似的簇；
(4) 更新簇的平均值，即計算每個簇中對象的平均值；
(5) until不再發生變化。
2.2 層次聚類演算法
根據層次分解的順序是自底向上的還是自上向下的，層次聚類演算法分為凝聚的層次聚類演算法和分裂的層次聚類演算法。
凝聚型層次聚類的策略是先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛採用的簇間距離度量方法如下：
這里給出採用最小距離的凝聚層次聚類演算法流程：
(1) 將每個對象看作一類，計算兩兩之間的最小距離；
(2) 將距離最小的兩個類合並成一個新類；
(3) 重新計算新類與所有類之間的距離；
(4) 重復(2)、(3)，直到所有類最後合並成一類。
2.3 SOM聚類演算法
SOM神經網路[11]是由芬蘭神經網路專家Kohonen教授提出的，該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。
SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。
演算法流程：
(1) 網路初始化，對輸出層每個節點權重賦初值；
(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
(4) 提供新樣本、進行訓練；
(5) 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
2.4 FCM聚類演算法
1965年美國加州大學柏克萊分校的扎德教授第一次提出了『集合』的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。
FCM演算法是一種以隸屬度來確定每個數據點屬於某個聚類程度的演算法。該聚類演算法是傳統硬聚類演算法的一種改進。
演算法流程：
(1) 標准化數據矩陣；
(2) 建立模糊相似矩陣，初始化隸屬矩陣；
(3) 演算法開始迭代，直到目標函數收斂到極小值；
(4) 根據迭代結果，由最後的隸屬矩陣確定數據所屬的類，顯示最後的聚類結果。
3 四種聚類演算法試驗
3.1 試驗數據
實驗中，選取專門用於測試分類、聚類演算法的國際通用的UCI資料庫中的IRIS[13]數據集，IRIS數據集包含150個樣本數據，分別取自三種不同的鶯尾屬植物setosa、versicolor和virginica的花朵樣本,每個數據含有4個屬性，即萼片長度、萼片寬度、花瓣長度，單位為cm。在數據集上執行不同的聚類演算法，可以得到不同精度的聚類結果。
3.2 試驗結果說明
文中基於前面所述各演算法原理及演算法流程，用matlab進行編程運算，得到表1所示聚類結果。
如表1所示，對於四種聚類演算法，按三方面進行比較：(1)聚錯樣本數：總的聚錯的樣本數，即各類中聚錯的樣本數的和；(2)運行時間：即聚類整個過程所耗費的時間，單位為s；(3)平均准確度：設原數據集有k個類,用ci表示第i類，ni為ci中樣本的個數，mi為聚類正確的個數,則mi/ni為第i類中的精度，則平均精度為：
3.3 試驗結果分析
四種聚類演算法中，在運行時間及准確度方面綜合考慮，k-means和FCM相對優於其他。但是，各個演算法還是存在固定缺點：k-means聚類演算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進一步研究；層次聚類雖然不需要確定分類數，但是一旦一個分裂或者合並被執行，就不能修正，聚類質量受限制；FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入局部最優解；SOM與實際大腦處理有很強的理論聯系。但是處理時間較長，需要進一步研究使其適應大型資料庫。
聚類分析因其在許多領域的成功應用而展現出誘人的應用前景，除經典聚類演算法外，各種新的聚類方法正被不斷被提出。
④ 聚類（Clustering）
首先我們先來認識一下什麼是聚類任務。
聚類是「無監督學習（unsupervised learning）」中重要的一種。其目標是：通過對無標記的訓練樣本學習，來揭示數據內在的性質以及規律，為進一步的數據分析做基礎。聚類的結果是一個個的簇（Cluster）。所以來說，聚類通常作為其他學習演算法的先導，比如在分類問題中，常常先做聚類，基於聚類的不同簇來進行分類模型的訓練。
我們先來認識空中一下聚類演算法涉及到兩個基本問題：性能度量 & 距離計算。後面我們再具體講解聚類的經典演算法。
由於聚類演算法是無監督式學習，不依賴於樣本的真實標記。所以聚類並不能像監督學習例如分類那樣，通過計算對錯（精確度/錯誤率）來評價學習器的好壞或者作為學習器的優化目標。一般來說，聚類有兩類性能度量指標：外部指標和內部指標
所謂外部，是將聚類結果與某個參考模型的結果進行比較， 以參考模型的輸出作為標准，來評價聚類的好壞。 假設聚類給出的結果為 λ，參考模型給出的結果是λ*，則我們將樣本進行兩兩配對，定義：
內部指標不依賴任何外部模型，直接對聚類的結果進行評估。直觀來說： 簇內高內聚，簇間低耦合 。定義：
我們從小學的距離都是歐氏距離。這里介紹幾種其他的距離度量方法：
這里對於無需屬性我們用閔可夫斯基距離就不能做，需要用VDM距離進行計算，對於離散屬性滑磨的兩個取值a和b，定義：
所以在計算兩個樣本的距離時候斗讓山，將兩種距離混合在一起進行計算：
原型聚類即「基於原型的聚類（prototype-based clustering）」，原型指的是樣本空間中具有代表性的點（類似於K-Means 選取的中心點）。通常情況下來說，演算法現對原型進行初始化，然後對原型進行迭代更新求解。而不同的初始化形式和不同的求解方法，最終會得到不同的演算法。常見的 K-Means 便是基於簇中心來實現聚類；混合高斯聚類則是基於簇分布來實現聚類。下面我們具體看一下幾種算聚類演算法：
K-Means 聚類的思想十分簡單， 首先隨機指定類中心，根據樣本與類中心的遠近劃分類簇；然後重新計算類中心，迭代直至收斂。 實際上，迭代的過程是通過計算得到的。其根本的優化目標是平方誤差函數E：
其中 u_i 是簇 C_i 的均值向量。直觀上來看，上式刻畫了簇內樣本圍繞簇均值向量（可以理解為簇中心）的緊密程度，E值越小，則簇內樣本的相似度越高。
具體的演算法流程如下：
書上還給出了基於具體西瓜樣本集的計算過程說明。可以看一下。
LVQ 也是基於原型的聚類演算法，與K-Means 不同的是， LVQ使用樣本的真實類標記來輔助聚類 。首先，LVQ根據樣本的類標記，從各類中分別隨機選出一個樣本作為該類簇的原型，從而形成了一個 原型特徵向量組 ，接著從樣本集中隨機挑選一個樣本，計算其與原型向量組中每個向量的距離，並選取距離最小的向量所在的類簇作為該樣本的劃分結果，再與真實類標比較：
可以看到，K-Means 和 LVQ 都是以類中心作為原型指導聚類，而高斯混合聚類則採用 高斯分布 來描述原型。現在假設每個類簇中的樣本都服從一個多維高斯分布，那麼空間中的樣本可以看做由K個多維高斯分布混合而成。
多維高斯的概密為：
密度聚類是基於密度的聚類，它從個樣本分布的角度來考察樣本之間的 可連接性 ，並基於可連接性（密度可達）不斷拓展疆域（類簇）。最著名的就是DBSCAN（Density-Based Spatial Clustering of Applications with Noise），首先我們需要明白以下概念：
層次聚類試圖在不同層次對數據集進行劃分，從而形成屬性的聚類結構。
這里介紹一種「自底向上」結合策略的 AGNES（AGglomerative NESting）演算法。假設有N個待聚類的樣本，AGNES演算法的基本步驟如下：
可以看出其中最關鍵的一步就是 計算兩個類簇的相似度 ，這里有幾種度量方法：
（1）單鏈接（singal-linkage）：取類間最小距離
⑤ 聚類演算法 結果 啥樣
聚類是對數據空間中數據對象進行分類，位於同一類中的數據對象之間的相似度較大，而位於不同類之間的銷咐舉數據對象差異度較大。聚類是一種無監督學習，能自動對數據集進行劃分。常見簡叢的聚類演算法：k-means，DBSCAN，CURE等演算法。
簡單地講，聚類的結果就是得到數據集中數據對象的類別信息。例如，將以下幾種物品玫瑰、紅楓、松樹、老虎、大虧碧象、綿羊等進行聚類，就應該得到玫瑰、紅楓、松樹屬於同一類，老虎、大象、綿羊屬於一類，可以對這自己對這兩類賦予標記，如「植物」、「動物」這兩個標記分別代表聚類空間中的兩個類。。
更詳細的請參考《數據挖掘概念與技術》。
⑥ 大數據分析之聚類演算法
大數據分析之聚類演算法
1. 什麼是聚類演算法
所謂聚類，就是比如給定一些元素或者對象，分散存儲在資料庫中，然後根據我們感興趣的對象屬性，對其進行聚集，同類的對象之間相似度高，不同類之間差異較大。最大特點就是事先不確定類別。
這其中最經典的演算法就是KMeans演算法，這是最常用的聚類演算法，主要思想是:在給定K值和K個初始類簇中心點的情況下，把每個點(亦即數據記錄)分到離其最近的類簇中心點所代表的類簇中，所有點分配完畢之後，根據一個類簇內的所有點重新計算該類簇的中心點(取平均值)，然後再迭代的進行分配點和更新類簇中心點的步驟，直至類簇中心點的變化很小，或者達到指定的迭代次數。
KMeans演算法本身思想比較簡單，但是合理的確定K值和K個初始類簇中心點對於聚類效果的好壞有很大的影響。
聚類演算法實現
假設對象集合為D，准備劃分為k個簇。
基本演算法步驟如下：
1、從D中隨機取k個元素，作為k個簇的各自的中心。
2、分別計算剩下的元素到k個簇中心的相異度，將這些元素分別劃歸到相異度最低的簇。
3、根據聚類結果，重新計算k個簇各自的中心，計算方法是取簇中所有元素各自維度的算術平均數。
4、將D中全部元素按照新的中心重新聚類。
5、重復第4步，直到聚類結果不再變化。
6、將結果輸出。
核心Java代碼如下：
/**
* 迭代計算每個點到各個中心點的距離，選擇最小距離將該點劃入到合適的分組聚類中，反復進行，直到
* 分組不再變化或者各個中心點不再變化為止。
* @return
*/
public List[] comput() {
List[] results = new ArrayList[k];//為k個分組，分別定義一個聚簇集合，未來放入元素。
boolean centerchange = true;//該變數存儲中心點是否發生變化
while (centerchange) {
iterCount++;//存儲迭代次數
centerchange = false;
for (int i = 0; i < k; i++) {
results[i] = new ArrayList<T>();
}
for (int i = 0; i < players.size(); i++) {
T p = players.get(i);
double[] dists = new double[k];
for (int j = 0; j < initPlayers.size(); j++) {
T initP = initPlayers.get(j);
/* 計算距離 這里採用的公式是兩個對象相關屬性的平方和，最後求開方*/
double dist = distance(initP, p);
dists[j] = dist;
}
int dist_index = computOrder(dists);//計算該點到各個質心的距離的最小值，獲得下標
results[dist_index].add(p);//劃分到對應的分組。
}
/*
* 將點聚類之後，重新尋找每個簇的新的中心點，根據每個點的關注屬性的平均值確立新的質心。
*/
for (int i = 0; i < k; i++) {
T player_new = findNewCenter(results[i]);
System.out.println("第"+iterCount+"次迭代，中心點是："+player_new.toString());
T player_old = initPlayers.get(i);
if (!IsPlayerEqual(player_new, player_old)) {
centerchange = true;
initPlayers.set(i, player_new);
}
}
}
return results;
}
上面代碼是其中核心代碼，我們根據對象集合List和提前設定的k個聚集,最終完成聚類。我們測試一下，假設要測試根據NBA球員的場均得分情況，進行得分高中低的聚集，很簡單，高得分在一組，中等一組，低得分一組。
我們定義一個Player類，裡面有屬性goal，並錄入數據。並設定分組數目為k=3。
測試代碼如下:
List listPlayers = new ArrayList();
Player p1 = new Player();
p1.setName(「mrchi1」);
p1.setGoal(1);
p1.setAssists(8);
listPlayers.add(p1);
Player p2 = new Player();
p2.setName("mrchi2");
p2.setGoal(2);
listPlayers.add(p2);
Player p3 = new Player();
p3.setName("mrchi3");
p3.setGoal(3);
listPlayers.add(p3);
//其他對象定義此處略。製造幾個球員的對象即可。
Kmeans<Player> kmeans = new Kmeans<Player>(listPlayers, 3);
List<Player>[] results = kmeans.comput();
for (int i = 0; i < results.length; i++) {
System.out.println("類別" + (i + 1) + "聚集了以下球員：");
List<Player> list = results[i];
for (Player p : list) {
System.out.println(p.getName() + "--->" + p.getGoal()
}
}
演算法運行結果：
可以看出中心點經歷了四次迭代變化，最終分類結果也確實是相近得分的分到了一組。當然這種演算法有缺點，首先就是初始的k個中心點的確定非常重要，結果也有差異。可以選擇彼此距離盡可能遠的K個點，也可以先對數據用層次聚類演算法進行聚類，得到K個簇之後，從每個類簇中選擇一個點，該點可以是該類簇的中心點，或者是距離類簇中心點最近的那個點。
⑦ 數據挖掘干貨總結（四）--聚類演算法
本文共計2680字，預計閱讀時長七分鍾
聚類演算法
一 、 本質
將數據劃分到不同的類里，使相似的數據在同一類里，不相似的數據在不同類里
二 、 分類演算法用來解決什麼問題
文本聚類、圖像聚類和商品聚類，便於發現規律，以解決數據稀疏問題
三 、 聚類演算法基礎知識
1. 層次聚類 vs 非層次聚類
– 不同類之間有無包含關系
2. 硬聚類 vs 軟聚類
– 硬聚類：每個對象只屬於一個類
– 軟聚類：每個對象以某個概率屬於每個類
3. 用向量表示對象
– 每個對象用一個向量表示，可以視為高維空間的一個點
– 所有對象形成數據空間（矩陣）
– 相似度計算：Cosine、點積、質心距離
4. 用矩陣列出對象之間的距離、相似度
5. 用字典保存上述矩陣（節省空間）
D={(1,1):0,(1,2):2,(1,3):6...(5,5):0}
6. 評價方法
– 內部評價法（Internal Evalution）：
• 沒有外部標准，非監督式
• 同類是否相似，跨類是否相異
DB值越小聚類效果越好，反之，越不好
– 外部評價法（External Evalution）：
• 准確度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22)
• 精度（Precision）: C11 / (C11 + C21 )
• 召回（Recall）: C11 / (C11 + C12 )
• F值（F-measure）：
β表示對精度P的重視程度，越大越重視，默認設置為1，即變成了F值，F較高時則能說明聚類效果較好。
四 、 有哪些聚類演算法
主要分為 層次化聚類演算法 ， 劃分式聚類演算法 ， 基於密度的聚類演算法 ， 基於網格的聚類演算法 ， 基於模型的聚類演算法等 。
4.1 層次化聚類演算法
又稱樹聚類演算法，透過一種層次架構方式，反復將數據進行分裂或聚合。典型的有BIRCH演算法，CURE演算法，CHAMELEON演算法，Sequence data rough clustering演算法,Between groups average演算法,Furthest neighbor演算法,Neares neighbor演算法等。
凝聚型層次聚類 ：
先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。
演算法流程：
1. 將每個對象看作一類，計算兩兩之間的最小距離；
2. 將距離最小的兩個類合並成一個新類；
3. 重新計算新類與所有類之間的距離；
4. 重復2、3，直到所有類最後合並成一類。
特點：
1. 演算法簡單
2. 層次用於概念聚類（生成概念、文檔層次樹）
3. 聚類對象的兩種表示法都適用
4. 處理大小不同的簇
5. 簇選取步驟在樹狀圖生成之後
4.2 劃分式聚類演算法
預先指定聚類數目或聚類中心，反復迭代逐步降低目標函數誤差值直至收斂，得到最終結果。K-means,K-modes-Huang,K-means-CP,MDS_CLUSTER, Feature weighted fuzzy clustering，CLARANS等
經典K-means：
演算法流程：
1. 隨機地選擇k個對象，每個對象初始地代表了一個簇的中心；
2. 對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇；
3. 重新計算每個簇的平均值，更新為新的簇中心；
4. 不斷重復2、3，直到准則函數收斂。
特點：
1.K的選擇
2.中心點的選擇
– 隨機
– 多輪隨機：選擇最小的WCSS
3.優點
– 演算法簡單、有效
– 時間復雜度：O(nkt)
4.缺點
– 不適於處理球面數據
– 密度、大小不同的聚類，受K的限制，難於發現自然的聚類
4.3 基於模型的聚類演算法
為每簇假定了一個模型，尋找數據對給定模型的最佳擬合，同一」類「的數據屬於同一種概率分布，即假設數據是根據潛在的概率分布生成的。主要有基於統計學模型的方法和基於神經網路模型的方法，尤其以基於概率模型的方法居多。一個基於模型的演算法可能通過構建反應數據點空間分布的密度函數來定位聚類。基於模型的聚類試圖優化給定的數據和某些數據模型之間的適應性。
SOM 神經網路演算法 ：
該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。
SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。
演算法流程：
1. 網路初始化，對輸出層每個節點權重賦初值；
2. 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
3. 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
4. 提供新樣本、進行訓練；
5. 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
4.4 基於密度聚類演算法
只要鄰近區域的密度（對象或數據點的數目）超過某個閾值，就繼續聚類，擅於解決不規則形狀的聚類問題，廣泛應用於空間信息處理,SGC,GCHL，DBSCAN演算法、OPTICS演算法、DENCLUE演算法。
DBSCAN：
對於集中區域效果較好，為了發現任意形狀的簇，這類方法將簇看做是數據空間中被低密度區域分割開的稠密對象區域；一種基於高密度連通區域的基於密度的聚類方法，該演算法將具有足夠高密度的區域劃分為簇，並在具有雜訊的空間數據中發現任意形狀的簇。
4.5 基於網格的聚類演算法
基於網格的方法把對象空間量化為有限數目的單元，形成一個網格結構。所有的聚類操作都在這個網格結構（即量化空間）上進行。這種方法的主要優點是它的處理 速度很快，其處理速度獨立於數據對象的數目，只與量化空間中每一維的單元數目有關。但這種演算法效率的提高是以聚類結果的精確性為代價的。經常與基於密度的演算法結合使用。代表演算法有STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法等。
⑧ 聚類演算法
1. 概述
K-means聚類演算法也稱k均值聚類演算法，是集簡單和經典於一身的基於距離的聚類演算法。它採用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。該演算法認為類簇是由距離靠近的對象組成的，因此把得到 緊湊且獨立的簇作為最終目標。
2. 演算法核心思想
K-means聚類演算法是一種迭代求解的聚類分析演算法，其步驟是隨機選取K個對象作為初始的聚類中心，然後計算每個對象與各個種子聚類中心之間的距離，把每個對象分配給距離它最近的聚類中心。聚類中心以及分配給它們的對象就代表一個聚類。每分配一個樣本，聚類的聚類中心會根據聚類中現有的對象被重新計算。這個過程將不斷重復直到滿足某個終止條件。終止條件可以是沒有（或最小數目）對象被重新分配給不同的聚類，沒有（或最小數目）聚類中心再發生變化，誤差平方和局部最小。
3. 演算法實現步驟
1、首先確定一個k值，即我們希望將數據集經過聚類得到k個集合。
2、從數據集中隨機選擇k個數據點作為質心。
3、對數據集中每一個點，計算其與每一個質心的距離（如歐式距離），離哪個質心近，就劃分到那個質心所屬的集合。
4、把所有數據歸好集合後，一共有k個集合。然後重新計算每個集合的質心。
5、如果新計算出來的質心和原來的質心之間的距離小於某一個設置的閾值（表示重新計算的質心的位置變化不大，趨於穩定，或者說收斂），我們可以認為聚類已經達到期望的結果，演算法終止。
6、如果新質心和原質心距離變化很大，需要迭代3~5步驟。
4. 演算法步驟圖解
上圖a表達了初始的數據集，假設k=2。在圖b中，我們隨機選擇了兩個k類所對應的類別質心，即圖中的紅色質心和藍色質心，然後分別求樣本中所有點到這兩個質心的距離，並標記每個樣本的類別為和該樣本距離最小的質心的類別，如圖c所示，經過計算樣本和紅色質心和藍色質心的距離，我們得到了所有樣本點的第一輪迭代後的類別。此時我們對我們當前標記為紅色和藍色的點分別求其新的質心，如圖d所示，新的紅色質心和藍色質心的位置已經發生了變動。圖e和圖f重復了我們在圖c和圖d的過程，即將所有點的類別標記為距離最近的質心的類別並求新的質心。最終我們得到的兩個類別如圖f。
K-means術語：
簇：所有數據的點集合，簇中的對象是相似的。
質心：簇中所有點的中心（計算所有點的中心而來）
5. K-means演算法優缺點
優點：
1、原理比較簡單，實現也是很容易，收斂速度快。
2、當結果簇是密集的，而簇與簇之間區別明顯時, 它的效果較好。
3、主要需要調參的參數僅僅是簇數k。
缺點：
1、K值需要預先給定，很多情況下K值的估計是非常困難的。
2、K-Means演算法對初始選取的質心點是敏感的，不同的隨機種子點得到的聚類結果完全不同 ，對結果影響很大。
3、對噪音和異常點比較的敏感。用來檢測異常值。
4、採用迭代方法，可能只能得到局部的最優解，而無法得到全局的最優解。
⑨ 假設分為兩類k=2，給定如下進行聚類的原組{2，4，10，12，3，20，30，8，11，25}
給定的數據集包含10個數值，需要將它們分為兩類，可以採用k-means聚類演算法進行處理。k-means演算法是一種常見的聚類演算法，通過計算每個點距離各個聚類中心的距離，將數據集分配到距離最近的聚類中心中。
在這個例子中，可以先隨機選擇兩個初始聚類中心，比如2和30。然後汪隱計算每個點到這喊陵敬兩個聚類中心的距離，將每個點分配到距離最近的聚類中心中。完成一輪分配後，需要重新計算每個聚類中心的坐標，並再次進行分配，直到坐標不再發生變化或者達到預設的迭代次數為止。在這個例子中，可以得到以下的聚類結果：
第一類：2, 3, 4, 8
第二類：10, 11, 12, 20, 25, 30
通過k-means聚類演算法，給定的數據集成功地被分為兩類。需要注意的是，聚類鄭慎演算法的結果可能受到初始聚類中心的選擇和參數設置的影響，需要結合具體場景進行調整和優化。
⑩ 模糊C均值聚類演算法（FCM）
【嵌牛導讀】FCM演算法是一種基於劃分的聚類演算法，它的思想就是使得被劃分到同一簇的對象之間相似度最大，而不同簇之間的相似度最小。模糊C均值演算法是普通C均值演算法的改進，普通C均值演算法對於數據的劃分是硬性的，而FCM則是一種柔性的模糊劃分。
【嵌牛提問】FCM有什麼用？
【嵌牛鼻子】模糊C均值聚類演算法
【嵌牛正文】
聚類分析是多元統計分析的一種，也是無監督模式識別的一個重要分支，在模式分類、圖像處理和模糊規則處理等眾多領域中獲得最廣泛的應用。它把一個沒有類別標記的樣本按照某種准則劃分為若乾子集，使相似的樣本盡可能歸於一類，而把不相似的樣本劃分到不同的類中。硬聚類把每個待識別的對象嚴格的劃分某類中，具有非此即彼的性質，而模糊聚類建立了樣本對類別的不確定描述，更能客觀的反應客觀世界，從而成為聚類分析的主流。
模糊聚類演算法是一種基於函數最優方法的聚類演算法，使用微積分計算技術求最優代價函數，在基於概率演算法的聚類方法中將使用概率密度函數，為此要假定合適的模型，模糊聚類演算法的向量可以同時屬於多個聚類，從而擺脫上述問題。 模糊聚類分析演算法大致可分為三類：
1）分類數不定，根據不同要求對事物進行動態聚類，此類方法是基於模糊等價矩陣聚類的，稱為模糊等價矩陣動態聚類分析法。
2）分類數給定，尋找出對事物的最佳分析方案，此類方法是基於目標函數聚類的，稱為模糊C 均值聚類。
3）在攝動有意義的情況下，根據模糊相似矩陣聚類，此類方法稱為基於攝動的模糊聚類分析法。
我所學習的是模糊C 均值聚類演算法，要學習模糊C 均值聚類演算法要先了解慮屬度的含義，隸屬度函數是表示一個對象x 隸屬於集合A 的程度的函數，通常記做μA (x)，其自變數范圍是所有可能屬於集合A 的對象（即集合A 所在空間中的所有點），取值范圍是[0,1]，即0<=μA (x)<=1。μA (x)=1表示x 完全隸屬於集合A ，相當於傳統集合概念上的x ∈A 。一個定義在空間X={x}上的隸屬度函數就定義了一個模糊集合A ，或者叫定義在論域X={x}上的模糊子集A 。對於有限個對象x 1，x 2，……，x n 模糊集合A 可以表示為：A ={(μA (x i ), x i ) |x i ∈X } (6.1)
有了模糊集合的概念，一個元素隸屬於模糊集合就不是硬性的了，在聚類的問題中，可以把聚類生成的簇看成模糊集合，因此，每個樣本點隸屬於簇的隸屬度就是[0，1]區間裡面的值。
FCM 演算法需要兩個參數一個是聚類數目C ，另一個是參數m 。一般來講C 要遠遠小於聚類樣本的總個數，同時要保證C>1。對於m ，它是一個控制演算法的柔性的參數，如果m 過大，則聚類效果會很次，而如果m 過小則演算法會接近HCM 聚類演算法。演算法的輸出是C 個聚類中心點向量和C*N的一個模糊劃分矩陣，這個矩陣表示的是每個樣本點屬於每個類的隸屬度。根據這個劃分矩陣按照模糊集合中的最大隸屬原則就能夠確定每個樣本點歸為哪個類。聚類中心表示的是每個類的平均特徵，可以認為是這個類的代表點。從演算法的推導過程中我們不難看出，演算法對於滿足正態分布的數據聚類效果會很好。
通過實驗和演算法的研究學習，不難發現FCM演算法的優缺點：
首先，模糊c 均值泛函Jm 仍是傳統的硬c 均值泛函J1 的自然推廣。J1 是一個應用很廣泛的聚類准則，對其在理論上的研究已經相當的完善，這就為Jm 的研究提供了良好的條件。
其次，從數學上看，Jm與Rs的希爾伯特空間結構(正交投影和均方逼近理論) 有密切的關聯，因此Jm 比其他泛函有更深厚的數學基礎。
最後，FCM 聚類演算法不僅在許多鄰域獲得了非常成功的應用，而且以該演算法為基礎，又提出基於其他原型的模糊聚類演算法，形成了一大批FCM類型的演算法，比如模糊c線( FCL) ，模糊c面(FCP) ，模糊c殼(FCS) 等聚類演算法，分別實現了對呈線狀、超平面狀和「薄殼」狀結構模式子集(或聚類) 的檢測。
模糊c均值演算法因設計簡單，解決問題范圍廣，易於應用計算機實現等特點受到了越來越多人的關注，並應用於各個領域。但是，自身仍存在的諸多問題，例如強烈依賴初始化數據的好壞和容易陷入局部鞍點等，仍然需要進一步的研究。