聚類演算法車位識別

Ⅰ 多元統計學-聚類分析

1. 應用統計學與R語言實現學習筆記（十）——聚類分析 )
2. 廈門大學-多元統計分析
3. DBSCAN 密度聚類法
4. 四大聚類演算法（KNN、Kmeans、密度聚類、層次聚類）

俗話說，物以類聚，人以群分。聚類在日常生活中，非常常見.
就是將相似的物體，放在一起.

聚類的目的 ——根據已知數據（ 一批觀察個體的許多觀測指標） ， 按照一定的數學公式計算各觀察個體或變數（指標）之間親疏關系的統計量（距離或相關系數等）。 根據某種准則（ 最短距離法、最長距離法、中間距離法、重心法等），使同一類內的差別較小，而類與類之間的差別較大，最終將觀察個體或變數分為若干類。

根據分類的對象可將聚類分析分為：

樣品間親疏程度的測度

研究樣品或變數的親疏程度的數量指標有兩種，一種叫相似系數，性質越接近的變數或樣品，它們的相似系數越接近於1，而彼此無關的變數或樣品它們的相似系數則越接近於0，相似的為一類，不相似的為不同類；另一種叫距離，它是將每一個樣品看作p維空間的一個點，並用某種度量測量點與點之間的距離，距離較近的歸為一類，距離較遠的點屬於不同的類。

變數之間的聚類即R型聚類分析，常用相似系數來測度變數之間的親疏程度。
而樣品之間的聚類即Q型聚類分析，則常用距離來測度樣品之間的親疏程度。

距離

假使每個樣品有p個變數，則每個樣品都可以看成p維空間中的一個點， n個樣品就是p維空間中的n個點，則第i樣品與第j樣品之間的距離可以進行計算。

幾種常用方式度量：
歐式距離 L2（Euclidean distance）--- 常用
馬氏距離（Mahalanobis distance）---協方差矩陣
Minkowski測度（ Minkowski metric）
Canberra測度（Canberra metric）

有了距離衡量度量，我們可以計算兩兩的距離，就得到距離矩陣~
比如：下面用dist 計算距離的方法

定義了距離之後，怎樣找到"合理"的規則，使相似的/距離小的個體聚成一個族群？

考慮所有的群組組合顯然在計算上很難實現，所以一種常用的聚類方法為層次聚類/系統聚類（hierarchical
clustering）

從系統樹圖中可以看出，我們需要度量族群與族群之間的距離，不同的定義方法決定了不同的聚類結果：

計算族群距離的三種方法的比較：

（可以看到都是小小的族群合並在一起，因為讓方差增加最小，傾向與合並小群體）

一般情況，我們得到系統樹，需要對樹進行切割. 如下圖一條條豎線.

層次聚類族群數的選擇：

1、建立n個初始族群，每個族群中只有一個個體
2、計算n個族群間的距離矩陣
3、合並距離最小的兩個族群
4、計算新族群間的距離矩陣。如果組別數為1，轉步驟5；否則轉步驟3
5、繪制系統樹圖
6、選擇族群個數

在層次聚類中，一旦個體被分入一個族群，它將不可再被歸入另一個族群,故現在介紹一個「非層次」的聚類方法——分割法（Partition）。最常用的分割法是k-均值（k-Means）法

k-均值法試圖尋找 個族群 的劃分方式，使得劃分後的族群內方差和（within-group sum of squares，WGSS）最小.

思路也是將相近的樣本,聚在一起，使得組內方差小，組間方差大.

① 選定 個「種子」（Cluster seeds）作為初始族群代表
② 每個個體歸入距離其最近的種子所在的族群
③ 歸類完成後，將新產生的族群的質心定為新的種子
④ 重復步驟2和3，直到不再需要移動
⑤ 選擇不同的k 值，計算WGSS,找到拐點確定最合適的K.

有多種初始種子的選取方法可供選擇：
1、在相互間隔超過某指定最小距離的前提下，隨機選擇k個個體
2、選擇數據集前k個相互間隔超過某指定最小距離的個體
3、選擇k個相互距離最遠的個體
4、選擇k個等距網格點（Grid points），這些點可能不是數據集的點

可以想到，左側的點收斂更快得到全局最優；左側可能聚類效果一般，或者收斂非常慢，得到局部最優.

我們的目標是使得WGSS足夠小，是否應該選取k使得WGSS最小？

我們需要選擇一個使得WGSS足夠小（但不是最小）的k值.（PS: 族群內方差和最小時候，k=n,此時WGSS為0，此時是過擬合問題~）

當我們分部計算k=1,2,3,4,5... 時候，WGSS值，就可以繪制下面碎石圖。及WGSS 隨著k 變化過程。k 越大，WGSS越小.

Ⅱ 建議收藏！10 種 python 聚類演算法完整操作示例

聚類或聚類分析是無監督學習問題。它通常被用作數據分析技術，用於發現數據中的有趣模式，例如基於其行為的客戶群。有許多聚類演算法可供選擇，對於所有情況，沒有單一的最佳聚類演算法。相反，最好探索一系列聚類演算法以及每種演算法的不同配置。在本教程中，你將發現如何在 python 中安裝和使用頂級聚類演算法。完成本教程後，你將知道：

聚類分析，即聚類，是一項無監督的機器學習任務。它包括自動發現數據中的自然分組。與監督學習（類似預測建模）不同，聚類演算法只解釋輸入數據，並在特徵空間中找到自然組或群集。

群集通常是特徵空間中的密度區域，其中來自域的示例（觀測或數據行）比其他群集更接近群集。群集可以具有作為樣本或點特徵空間的中心(質心)，並且可以具有邊界或范圍。

聚類可以作為數據分析活動提供幫助，以便了解更多關於問題域的信息，即所謂的模式發現或知識發現。例如：

聚類還可用作特徵工程的類型，其中現有的和新的示例可被映射並標記為屬於數據中所標識的群集之一。雖然確實存在許多特定於群集的定量措施，但是對所識別的群集的評估是主觀的，並且可能需要領域專家。通常，聚類演算法在人工合成數據集上與預先定義的群集進行學術比較，預計演算法會發現這些群集。

有許多類型的聚類演算法。許多演算法在特徵空間中的示例之間使用相似度或距離度量，以發現密集的觀測區域。因此，在使用聚類演算法之前，擴展數據通常是良好的實踐。

一些聚類演算法要求您指定或猜測數據中要發現的群集的數量，而另一些演算法要求指定觀測之間的最小距離，其中示例可以被視為「關閉」或「連接」。因此，聚類分析是一個迭代過程，在該過程中，對所識別的群集的主觀評估被反饋回演算法配置的改變中，直到達到期望的或適當的結果。scikit-learn 庫提供了一套不同的聚類演算法供選擇。下面列出了10種比較流行的演算法：

每個演算法都提供了一種不同的方法來應對數據中發現自然組的挑戰。沒有最好的聚類演算法，也沒有簡單的方法來找到最好的演算法為您的數據沒有使用控制實驗。在本教程中，我們將回顧如何使用來自 scikit-learn 庫的這10個流行的聚類演算法中的每一個。這些示例將為您復制粘貼示例並在自己的數據上測試方法提供基礎。我們不會深入研究演算法如何工作的理論，也不會直接比較它們。讓我們深入研究一下。

在本節中，我們將回顧如何在 scikit-learn 中使用10個流行的聚類演算法。這包括一個擬合模型的例子和可視化結果的例子。這些示例用於將粘貼復制到您自己的項目中，並將方法應用於您自己的數據。

1.庫安裝

首先，讓我們安裝庫。不要跳過此步驟，因為你需要確保安裝了最新版本。你可以使用 pip Python 安裝程序安裝 scikit-learn 存儲庫，如下所示：

接下來，讓我們確認已經安裝了庫，並且您正在使用一個現代版本。運行以下腳本以輸出庫版本號。

運行該示例時，您應該看到以下版本號或更高版本。

2.聚類數據集

我們將使用 make _ classification ()函數創建一個測試二分類數據集。數據集將有1000個示例，每個類有兩個輸入要素和一個群集。這些群集在兩個維度上是可見的，因此我們可以用散點圖繪制數據，並通過指定的群集對圖中的點進行顏色繪制。這將有助於了解，至少在測試問題上，群集的識別能力如何。該測試問題中的群集基於多變數高斯，並非所有聚類演算法都能有效地識別這些類型的群集。因此，本教程中的結果不應用作比較一般方法的基礎。下面列出了創建和匯總合成聚類數據集的示例。

運行該示例將創建合成的聚類數據集，然後創建輸入數據的散點圖，其中點由類標簽（理想化的群集）著色。我們可以清楚地看到兩個不同的數據組在兩個維度，並希望一個自動的聚類演算法可以檢測這些分組。

已知聚類著色點的合成聚類數據集的散點圖接下來，我們可以開始查看應用於此數據集的聚類演算法的示例。我已經做了一些最小的嘗試來調整每個方法到數據集。3.親和力傳播親和力傳播包括找到一組最能概括數據的範例。

它是通過 AffinityPropagation 類實現的，要調整的主要配置是將「 阻尼 」設置為0.5到1，甚至可能是「首選項」。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，我無法取得良好的結果。

數據集的散點圖，具有使用親和力傳播識別的聚類

4.聚合聚類

聚合聚類涉及合並示例，直到達到所需的群集數量為止。它是層次聚類方法的更廣泛類的一部分，通過 AgglomerationClustering 類實現的，主要配置是「 n _ clusters 」集，這是對數據中的群集數量的估計，例如2。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個合理的分組。

使用聚集聚類識別出具有聚類的數據集的散點圖

5.BIRCHBIRCH

聚類（ BIRCH 是平衡迭代減少的縮寫，聚類使用層次結構)包括構造一個樹狀結構，從中提取聚類質心。

它是通過 Birch 類實現的，主要配置是「 threshold 」和「 n _ clusters 」超參數，後者提供了群集數量的估計。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個很好的分組。

使用BIRCH聚類確定具有聚類的數據集的散點圖

6.DBSCANDBSCAN

聚類（其中 DBSCAN 是基於密度的空間聚類的雜訊應用程序）涉及在域中尋找高密度區域，並將其周圍的特徵空間區域擴展為群集。

它是通過 DBSCAN 類實現的，主要配置是「 eps 」和「 min _ samples 」超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，盡管需要更多的調整，但是找到了合理的分組。

使用DBSCAN集群識別出具有集群的數據集的散點圖

7.K均值

K-均值聚類可以是最常見的聚類演算法，並涉及向群集分配示例，以盡量減少每個群集內的方差。

它是通過 K-均值類實現的，要優化的主要配置是「 n _ clusters 」超參數設置為數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個合理的分組，盡管每個維度中的不等等方差使得該方法不太適合該數據集。

使用K均值聚類識別出具有聚類的數據集的散點圖

8.Mini-Batch

K-均值Mini-Batch K-均值是 K-均值的修改版本，它使用小批量的樣本而不是整個數據集對群集質心進行更新，這可以使大數據集的更新速度更快，並且可能對統計雜訊更健壯。

它是通過 MiniBatchKMeans 類實現的，要優化的主配置是「 n _ clusters 」超參數，設置為數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，會找到與標准 K-均值演算法相當的結果。

帶有最小批次K均值聚類的聚類數據集的散點圖

9.均值漂移聚類

均值漂移聚類涉及到根據特徵空間中的實例密度來尋找和調整質心。

它是通過 MeanShift 類實現的，主要配置是「帶寬」超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，可以在數據中找到一組合理的群集。

具有均值漂移聚類的聚類數據集散點圖

10.OPTICSOPTICS

聚類（ OPTICS 短於訂購點數以標識聚類結構）是上述 DBSCAN 的修改版本。

它是通過 OPTICS 類實現的，主要配置是「 eps 」和「 min _ samples 」超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，我無法在此數據集上獲得合理的結果。

使用OPTICS聚類確定具有聚類的數據集的散點圖

11.光譜聚類

光譜聚類是一類通用的聚類方法，取自線性線性代數。

它是通過 Spectral 聚類類實現的，而主要的 Spectral 聚類是一個由聚類方法組成的通用類，取自線性線性代數。要優化的是「 n _ clusters 」超參數，用於指定數據中的估計群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，找到了合理的集群。

使用光譜聚類聚類識別出具有聚類的數據集的散點圖

12.高斯混合模型

高斯混合模型總結了一個多變數概率密度函數，顧名思義就是混合了高斯概率分布。它是通過 Gaussian Mixture 類實現的，要優化的主要配置是「 n _ clusters 」超參數，用於指定數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集著色。在這種情況下，我們可以看到群集被完美地識別。這並不奇怪，因為數據集是作為 Gaussian 的混合生成的。

使用高斯混合聚類識別出具有聚類的數據集的散點圖

在本文中，你發現了如何在 python 中安裝和使用頂級聚類演算法。具體來說，你學到了：

Ⅲ 學會用聚類演算法進行數據挖掘需要怎樣的數學基礎

會用聚類演算法進行數據挖掘需要線性代數, 變分演算，距離度量，距離矩陣等的數學知識基礎。

在數據科學中，我們可以通過聚類分析觀察使用聚類演算法後獲得一些有價值的信息，其中會涉及許多數學理論與實際計算。
主要有以下幾類演算法：
K-Means（k-平均或k-均值）是普遍知名度最高的一種聚類演算法，在許多有關數據科學和機器學習的課程中經常出現。
Mean shift演算法，又稱均值漂移演算法，這是一種基於核密度估計的爬山演算法，適用於聚類、圖像分割、跟蹤等
DBSCAN是一種基於密度的聚類演算法，它不需要輸入要劃分的聚類個數，對聚類的形狀沒有偏倚。
層次聚類會將每個數據點視為單個聚類，然後連續合並成對的聚類，直到所有聚類合並成包含所有數據點的單個聚類。

關於數據挖掘的相關學習，推薦CDA數據師的相關課程，課程內容兼顧培養解決數據挖掘流程問題的橫向能力以及解決數據挖掘演算法問題的縱向能力。要求學生具備從數據治理根源出發的思維，通過數字化工作方法來探查業務問題，通過近因分析、宏觀根因分析等手段，再選擇業務流程優化工具還是演算法工具，而非「遇到問題調演算法包」。點擊預約免費試聽課。

Ⅳ PhenoGraph聚類演算法

PhenoGraph演算法的輸入是一個N X D的矩陣， 把這個矩陣中的行劃分到類別中，使得類別間的差異大於類別內的差異。

我們的假設是，這些類別代表具有生物學意義表型的細胞群。我們的前提假設是細胞群聚集在D維空間的密集區域，由緊密Marker表達組合定義。因此，我們的目標是在D維空間中辨別這些密集的細胞區域。然而，我們不知道數據中類別的數量，大小或高維形狀（例如，橢球，凸）。 單細胞域（domain）特別具有挑戰性，因為不同類別之間，類別大小可能會有數量級上的差異（例如，造血幹細胞與T細胞），並且我們希望識別罕見子集（類別）而不是將它們作為離群點而丟棄。此外，雖然大多數聚類演算法都假設類別內樣本分布近似橢球形，但我們已經證明許多細胞亞類具有復雜的形狀並且不一定是凸形的（viSNE enables visualization of high dimensional single-cell data and reveals phenotypic heterogeneity of leukemia. Nat Biotechnol. 2013）。 用於密度檢測的參數方法需要關於細胞群體（例如，橢球，凸）的形狀的強依賴性假設，而單細胞數據中通常不符合這樣的假設。

為了克服這些障礙，我們構建了一個圖形結構來表示單細胞數據中細胞狀態的高維幾何結構。每個細胞作為節點並且通過邊連接到其鄰居細胞（與其最相似的細胞），該邊的權重由細胞之間的相似性設置。細胞在高維空間中的密集區域將在該圖中表現為高度互連的模塊，通過該模塊內具有高密度的邊的特徵來識別。一旦構建完畢，該圖可以被劃分成這些緊密互連的模塊的子集，稱為群體（communities），代表不同的表型亞群（類別）。這些圖中的群體（communities）的檢測（Community structure in social and biological networks. Proc. Natl. Acad. Sci. 2002）為識別亞群提供了一種高效方法。與混合模型等參數化方法不同，該方法不假設子群（某一類別）的大小、分布或數量。該方法成功的關鍵是構造一個圖形結構，這個圖形結構真實的表示D維空間中存在的幾何結構。PhenoGraph分兩步建立單細胞數據的圖結構。

第一步，使用歐式距離為每個細胞識別k個最近鄰居，其中k是該方法的唯一參數；如果k值太大，較小的群體（communities）會受到其他節點的影響，難以被識別出來。而如果，k值太小會導致我們想要找的細胞群體內緊密度較差。

因此，在第二步中，我們改進了第一步中定義的k鄰居。對所有細胞的k近鄰搜索的結果是一組集合：N組k鄰居。我們對這些集合進行操作以建立一個加權圖。在這個圖中，每對節點（細胞）之間的權重是基於它們共享的鄰居的數量。

節點i和j之間的權重由以下公式給出：

其中v(i)是節點i的k鄰居；v(j)是節點j的k鄰居。

以這種方式由真實數據構造的圖具有明顯的模塊化結構。

群體（communities）檢測是指將節點劃分成不同的群體（communities），從而捕獲這個模塊化結構。對於一組群體（communities）的確定C={c_(1,) c_(2,),…,c_k}，模塊系數Q的定義由下面公式確定:

其中Wij是節點i，j的邊權重，si是節點i與其他所有節點的邊權重加和，sj同上，ci是節點i所在的群體（communities），如果u=v，Kronecker delta 函數δ(u,v)=1；否則為0，m=1/2 ∑▒W_ij 是一個標准化常數。

模塊系數Q介於-1到1之間，對於任意一個確定了群體（communities）圖結構都可以計算這么一個指標。所以該指標可以作為客觀衡量把圖結構區分成子集的質量。這樣，該問題就轉化成一個組合優化問題，即NP完全問題。

接下來用Louvain方法（Fast unfolding of communities in large networks. J. Stat. Mech. 2008）來解決上述問題。Louvain方法具體步驟是，在第一次迭代時，每一個節點（細胞）被單獨作為一類（一個群體），在每一次迭代時，若兩個節點的合並能使得模塊系數Q有最大的增長，那麼將這兩個節點合並成一類。直到模塊系數Q不再增加為止。

REF: Data-Driven Phenotypic Dissection of AML Reveals Progenitor-like Cells that Correlate with Prognosis. 2015 Cell.

檢測群體（communities）結構對於發現復雜網路中結構與功能之間的聯系以及生物學和社會學等許多學科的實際應用至關重要。現在廣泛使用的一種流行方法依賴於對模塊的數量的優化，這是將網路劃分為群體（communities）的質量指標。我們發現，即使在模塊定義明確的情況下，模塊化優化也可能無法識別小於一定規模的模塊，該模塊的規模取決於網路的總大小和模塊的互連程度。Newman和Girvan（Finding and evaluating community structure in networks. Physical review E, 2004.）在群體（communities）檢測方面取得了決定性的進展，他們引入了一種定量方法來衡量將網路劃分為群體（communities）的質量，即模塊化。該度量實質上將給定模塊內的連接數與相同大小和相同度數序列的隨機圖的期望值進行比較。如果選擇模塊化作為相關質量函數，則群體（communities）檢測的問題就等同於模塊化優化。後者非常重要，因為將網路劃分為群體（communities）的可能性至少隨著網路的大小呈指數增長，即使對於較小的圖，窮舉式優化在計算上也不可行。我們表明模塊化優化確實不能解決大數量的模塊。因此，有必要對通過模塊化優化獲得的模塊進行檢查。我們表明，模塊化存在一個固有規模，該規模取決於網路中邊的總數。小於此規模的模塊可能無法解析，即使在極端情況下，它們是通過單橋連接的完整圖形。模塊化解析度的極限實際上取決於群體（communities）對之間的互連程度，並且可以達到整個網路大小的數量級。因此，事先無法確定通過模塊化優化檢測到的模塊（大還是小）確實是單個模塊還是多個較小模塊的集合。然而，最大模塊性因網路的不同而不同，並且取決於網路的連接數。我們證明了任何網路的模塊性值的上限都是1，並且我們看到模塊性是與網路尺度相關的。

REF: Resolution limit in community detection. 2007 PNAS.

函數FindClusters

FindClusters(object, molarity.fxn = 1, initial.membership = NULL, weights = NULL, node.sizes = NULL,  resolution = 0.8, algorithm = 1, n.start = 10, n.iter = 10, random.seed = 0, group.singletons = TRUE, temp.file.location = NULL, edge.file.name = NULL, verbose = TRUE, ...)

參數

#object: Seurat Object

#molarity.fxn: 計算模塊系數函數，1為標准函數；2為備選函數，這里沒有具體說明是什麼函數，我認為1是上面提到的Kronecker delta函數。

# resolution: 解析度參數，如果大於1，則會得到較多數目的群體（communities）；如果小於1，則會得到較少數目的群體（communities）。

#algorithm: 模塊系數優化演算法，1使用原始Louvain演算法；2使用Louvain algorithm with multilevel refinement；3使用SLM演算法；4使用Leiden演算法（註：4需要額外安裝插件）

#n.start: 隨機開始的數量

#n.iter: 最大迭代次數

#random.seed: 隨機數種子

#graph.name: 圖的名字

#group.singletons: (TRUE/FALSE)是否把比較特異的細胞分配到最近的類別中，若FALSE，則可能會出現某個類只有一個細胞的情況

#verbose: 是否在控制台輸出結果

Ⅳ 常用聚類(K-means,DBSCAN)以及聚類的度量指標：

一年前需要用聚類演算法時，自己從一些sklearn文檔和博客粗略整理了一些相關的知識，記錄在電子筆記里備忘，現在發到網上，當時就整理的就很亂，以後有空慢慢把內容整理、完善，用作備忘。之前把電影標簽信息的聚類結果作為隱式反饋放進SVD++中去訓練，裡面有兩個小例子

利用條件熵定義的同質性度量：
sklearn.metrics.homogeneity_score:每一個聚出的類僅包含一個類別的程度度量。
sklearn.metrics.completeness:每一個類別被指向相同聚出的類的程度度量。
sklearn.metrics.v_measure_score:上面兩者的一種折衷：
v = 2 * (homogeneity * completeness) / (homogeneity + completeness)
可以作為聚類結果的一種度量。
sklearn.metrics.adjusted_rand_score:調整的蘭德系數。
ARI取值范圍為[-1,1],從廣義的角度來講，ARI衡量的是兩個數據分布的吻合程度
sklearn.metrics.adjusted_mutual_info_score:調整的互信息。
利用基於互信息的方法來衡量聚類效果需要實際類別信息，MI與NMI取值范圍為[0,1],AMI取值范圍為[-1,1]。

在scikit-learn中， Calinski-Harabasz Index對應的方法是metrics.calinski_harabaz_score.
CH指標通過計算類中各點與類中心的距離平方和來度量類內的緊密度，通過計算各類中心點與數據集中心點距離平方和來度量數據集的分離度，CH指標由分離度與緊密度的比值得到。從而，CH越大代表著類自身越緊密，類與類之間越分散，即更優的聚類結果。

silhouette_sample
對於一個樣本點(b - a)/max(a, b)
a平均類內距離，b樣本點到與其最近的非此類的距離。
silihouette_score返回的是所有樣本的該值,取值范圍為[-1,1]。

這些度量均是越大越好

K-means演算法應該算是最常見的聚類演算法，該演算法的目的是選擇出質心，使得各個聚類內部的inertia值最小化，計算方法如下：
inertia可以被認為是類內聚合度的一種度量方式，這種度量方式的主要缺點是：
（1）inertia假設數據內的聚類都是凸的並且各向同性（ convex and isotropic），
各項同性是指在數據的屬性在不同方向上是相同的。數據並不是總能夠滿足這些前提假設的，
所以當數據事細長簇的聚類，或者不規則形狀的流形時，K-means演算法的效果不理想。

（2）inertia不是一種歸一化度量方式。一般來說，inertia值越小，說明聚類效果越好。
但是在高維空間中，歐式距離的值可能會呈現迅速增長的趨勢，所以在進行K-means之前首先進行降維操作，如PCA等，可以解決高維空間中inertia快速增長的問題，也有主意提高計算速度。

K-means演算法可以在足夠長的時間內收斂，但有可能收斂到一個局部最小值。
聚類的結果高度依賴質心的初始化，因此在計算過程中，採取的措施是進行不止一次的聚類，每次都初始化不同的質心。
sklearn中可以通過設置參數init='kmeans++'來採取k-means++初始化方案，
即初始化的質心相互之間距離很遠，這種方式相比於隨機初始質心，能夠取得更好的效果。
另外，sklearn中可以通過參數n_job，使得K-means採用並行計算的方式。

##sklearn 中K-means的主要參數：

1) n_clusters: 設定的k值

2）max_iter： 最大的迭代次數，一般如果是凸數據集的話可以不管這個值，如果數據集不是凸的，可能很難收斂，此時可以指定最大的迭代次數讓演算法可以及時退出循環。

3）n_init：用不同的初始化質心運行演算法的次數。由於K-Means是結果受初始值影響的局部最優的迭代演算法，因此需要多跑幾次以選擇一個較好的聚類效果，默認是10。如果你的k值較大，則可以適當增大這個值。

4）init： 即初始值選擇的方式，可以為完全隨機選擇'random',優化過的'k-means++'或者自己指定初始化的k個質心。一般建議使用默認的'k-means++'。

5）algorithm：有「auto」, 「full」 or 「elkan」三種選擇。"full"就是我們傳統的K-Means演算法， 「elkan」elkan K-Means演算法。默認的"auto"則會根據數據值是否是稀疏的，來決定如何選擇"full"和「elkan」。一般來說建議直接用默認的"auto"

聚類的中心
print clf.cluster_centers_

每個樣本所屬的簇
print clf.labels_

用來評估簇的個數是否合適，距離越小說明簇分的越好，選取臨界點的簇個數
print clf.inertia_
Sum of distances of samples to their closest cluster center.
兩個小例子（很久以前弄的，寫得比較簡略比較亂，有空再改，數據是movielen中的電影標簽信息）：
例1：

例2，在區間[2,200]上遍歷k,並生成兩個聚類內部評價指標CH分、輪廓系數以及kmeans自帶inertia分和對應的k值的圖片來選擇k：

其中兩點相似度s(i, j)的度量默認採用負歐氏距離。
sklearn.cluster.AffinityPropagation
有參數preference（設定每一個點的偏好，將偏好於跟其他節點的相似性進行比較，選擇
高的作為exmplar,未設定則使用所有相似性的中位數）、damping （阻尼系數，
利用阻尼系數與1-阻尼系數對r 及 a進行有關迭代步數的凸組合，使得演算法收斂
default 0.5 可以取值與[0.5, 1]）

cluster_centers_indices_:中心樣本的指標。
AP演算法的主要思想是通過數據點兩兩之間傳遞的信息進行聚類。
該演算法的主要優點是能夠自主計算聚類的數目，而不用人為制定類的數目。
其缺點是計算復雜度較大 ，計算時間長同時空間復雜度大，
因此該演算法適合對數據量不大的問題進行聚類分析。

數據點之間傳遞的信息包括兩個，吸引度（responsibility）r(i,k)和歸屬度（availability）a(i,k)。
吸引度r(i,k)度量的是質心k應當作為點i的質心的程度，
歸屬度a(i,k)度量的是點i應當選擇質心k作為其質心的程度。

其中t是迭代的次數，λ是阻尼因子，其值介於[0,1]，在sklearn.cluster.AffinityPropagation中通過參數damping進行設置。
每次更新完矩陣後，就可以為每個數據點分配質心，分配方式?是針對數據點i，遍歷所有數據點k（包括其自身），
找到一個k使得r(i,k)+a(i,k)的值最大，則點k就是點i所屬的質心，迭代這個過程直至收斂。
所謂收斂就是所有點所屬的質心不再變化

首先說明不引入核函數時的情況。
演算法大致流程為：隨機選取一個點作為球心，以一定半徑畫一個高維球（數據可能是高維的），
在這個球范圍內的點都是這個球心的鄰居。這些鄰居相對於球心都存在一個偏移向量，
將這些向量相加求和再平均，就得到一個mean shift，起點在原球心，重點在球內的其他位置。
以mean shift的重點作為新的球心，重復上述過程直至收斂。

這個計算過程中，高維球內的點，無論其距離球心距離多遠，對於mean shift的計算權重是一樣的。
為了改善這種情況，在迭代計算mean shift的過程中引入了核函數
sklearn中相關實現是sklearn.cluster.MeanShift。

sklearn中實現的是自底向上的層次聚類，實現方法是sklearn.cluster.AgglomerativeClustering。
初始時，所有點各自單獨成為一類，然後採取某種度量方法將相近的類進行合並，並且度量方法有多種選擇。
合並的過程可以構成一個樹結構，其根節點就是所有數據的集合，葉子節點就是各條單一數據。
sklearn.cluster.AgglomerativeClustering中可以通過參數linkage選擇不同的度量方法，用來度量兩個類之間的距離，
可選參數有ward,complete,average三個。

ward:選擇這樣的兩個類進行合並，合並後的類的離差平方和最小。

complete:兩個類的聚類被定義為類內數據的最大距離，即分屬兩個類的距離最遠的兩個點的距離。
選擇兩個類進行合並時，從現有的類中找到兩個類使得這個值最小，就合並這兩個類。

average:兩個類內數據兩兩之間距離的平均值作為兩個類的距離。
同樣的，從現有的類中找到兩個類使得這個值最小，就合並這兩個類。

Agglomerative cluster有一個缺點，就是rich get richer現象，
這可能導致聚類結果得到的類的大小不均衡。
從這個角度考慮，complete策略效果最差，ward得到的類的大小最為均衡。
但是在ward策略下，affinity參數只能是「euclidean」，即歐式距離。
如果在歐氏距離不適用的環境中，average is a good alternative。

另外還應該注意參數affinity，這個參數設置的是計算兩個點之間距離時採用的策略，
注意和參數linkage區分，linkage設置的是衡量兩個類之間距離時採用的策略，
而點之間的距離衡量是類之間距離衡量的基礎。
affinity的可選數值包括 「euclidean」, 「l1」, 「l2」, 「manhattan」, 「cosine」,
『precomputed』. If linkage is 「ward」, only 「euclidean」 is accepted.

DBSCAN演算法的主要思想是，認為密度稠密的區域是一個聚類，各個聚類是被密度稀疏的區域劃分開來的。
也就是說，密度稀疏的區域構成了各個聚類之間的劃分界限。與K-means等演算法相比，該演算法的主要優點包括：可以自主計算聚類的數目，不需要認為指定；不要求類的形狀是凸的，可以是任意形狀的。

DBSCAN中包含的幾個關鍵概念包括core sample，non-core sample，min_sample，eps。
core samle是指，在該數據點周圍eps范圍內，至少包含min_sample個其他數據點，則該點是core sample，
這些數據點稱為core sample的鄰居。與之對應的，non-sample是該點周圍eps范圍內，所包含的數據點個數少於min_sample個。從定義可知，core sample是位於密度稠密區域的點。

一個聚類就是一個core sample的集合，這個集合的構建過程是一個遞歸的構成。
首先，找到任意個core sample，然後從它的鄰居中找到core sample，
接著遞歸的從這些鄰居中的core sample的鄰居中繼續找core sample。
要注意core sample的鄰居中不僅有其他core sample，也有一些non-core smaple，
也正是因為這個原因，聚類集合中也包含少量的non-core sample，它們是聚類中core sample的鄰居，
但自己不是core sample。這些non-core sample構成了邊界。

在確定了如何通過單一core sample找到了一個聚類後，下面描述DBSCAN演算法的整個流程。
首先，掃描數據集找到任意一個core sample，以此core sample為起點，按照上一段描述的方法進行擴充，確定一個聚類。然後，再次掃描數據集，找到任意一個不屬於以確定類別的core sample，重復擴充過程，再次確定一個聚類。
迭代這個過程，直至數據集中不再包含有core sample。
這也是為什麼DBSCAN不用認為指定聚類數目的原因。

DBSCAN演算法包含一定的非確定性。數據中的core sample總是會被分配到相同的聚類中的，哪怕在統一數據集上多次運行DBSCAN。其不確定性主要體現在non-core sample的分配上。
一個non-core sample可能同時是兩個core sample的鄰居，而這兩個core sample隸屬於不同的聚類。
DBSCAN中，這個non-core sample會被分配給首先生成的那個聚類，而哪個聚類先生成是隨機的。

sklearn中DBSCAN的實現中，鄰居的確定使用的ball tree和kd-tree思想，這就避免了計算距離矩陣。

Ⅵ kmeans聚類演算法優缺點

優缺點如下：

1、優點

k-平均演算法是解決聚類問題的一種經典演算法，演算法簡單、快速。

對處理大數據集，該演算法是相對可伸縮的和高效率的，因為它的復雜度大約是O(nkt) O(nkt)O(nkt)，其中n是所有對象的數目，k是簇的數目，t是迭代的次數。通常k<<n。這個演算法經常以局部最優結束。

演算法嘗試找出使平方誤差函數值最小的k個劃分。當簇是密集的、球狀或團狀的，而簇與簇之間區別明顯時，它的聚類效果很好。

2、缺點

對K值敏感。也就是說，K的選擇會較大程度上影響分類效果。在聚類之前，我們需要預先設定K的大小，但是我們很難確定分成幾類是最佳的，比如上面的數據集中，顯然分為2類，即K = 2最好，但是當數據量很大時，我們預先無法判斷。

對離群點和雜訊點敏感。如果在上述數據集中添加一個噪音點，這個噪音點獨立成一個類。很顯然，如果K=2,其餘點是一類，噪音點自成一類，原本可以區分出來的點被噪音點影響，成為了一類了。如果K=3，噪音點也是自成一類，剩下的數據分成兩類。這說明噪音點會極大的影響其他點的分類。

聚類分析特點

聚類分析的實質：是建立一種分類方法，它能夠將一批樣本數據按照他們在性質上的親密程度在沒有先驗知識的情況下自動進行分類。這里所說的類就是一個具有相似性的個體的集合，不同類之間具有明顯的區別。

層次聚類分析是根據觀察值或變數之間的親疏程度，將最相似的對象結合在 一起，以逐次聚合的方式（Agglomerative Clustering），它將觀察值分類，直到最後所有樣本都聚成一類。

層次聚類分析有兩種形式，一種是對樣本（個案）進行分類，稱為Q型聚類；另一種是對研究對象的觀察變數進行分類，稱為R型聚類。

Ⅶ 用於數據挖掘的聚類演算法有哪些，各有何優勢

聚類方法的分類，主要分為層次化聚類演算法，劃分式聚類演算法，基於密度的聚類演算法，基於網格的聚類演算法，基於模型的聚類演算法等。

而衡量聚類演算法優劣的標准主要是這幾個方面：處理大的數據集的能力；處理任意形狀，包括有間隙的嵌套的數據的能力；演算法處理的結果與數據輸入的順序是否相關，也就是說演算法是否獨立於數據輸入順序；處理數據雜訊的能力；是否需要預先知道聚類個數，是否需要用戶給出領域知識；演算法處理有很多屬性數據的能力，也就是對數據維數是否敏感。

.聚類演算法主要有兩種演算法，一種是自下而上法（bottom-up），一種是自上而下法（top-down）。這兩種路徑本質上各有優勢，主要看實際應用的時候要根據數據適用於哪一種，Hierarchical methods中比較新的演算法有BIRCH主要是在數據體量很大的時候使用；ROCK優勢在於異常數據抗干擾性強……

關於數據挖掘的相關學習，推薦CDA數據師的相關課程，課程以項目調動學員數據挖掘實用能力的場景式教學為主，在講師設計的業務場景下由講師不斷提出業務問題，再由學員循序漸進思考並操作解決問題的過程中，幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。這種教學方式能夠引發學員的獨立思考及主觀能動性，學員掌握的技能知識可以快速轉化為自身能夠靈活應用的技能，在面對不同場景時能夠自由發揮。點擊預約免費試聽課。

Ⅷ 16種常用的數據分析方法-聚類分析

聚類（Clustering）就是一種尋找數據之間內在結構的技術。聚類把全體數據實例組織成一些相似組，而這些相似組被稱作簇。處於相同簇中的數據實例彼此相同，處於不同簇中的實例彼此不同。

聚類分析定義

聚類分析是根據在數據中發現的描述對象及其關系的信息，將數據對象分組。目的是，組內的對象相互之間是相似的（相關的），而不同組中的對象是不同的（不相關的）。組內相似性越大，組間差距越大，說明聚類效果越好。

聚類效果的好壞依賴於兩個因素：1.衡量距離的方法（distance measurement） 2.聚類演算法（algorithm）

 

聚類分析常見演算法

K-均值聚類也稱為快速聚類法，在最小化誤差函數的基礎上將數據劃分為預定的類數K。該演算法原理簡單並便於處理大量數據。

K-均值演算法對孤立點的敏感性，K-中心點演算法不採用簇中對象的平均值作為簇中心，而選用簇中離平均值最近的對象作為簇中心。

也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的對象就越少，但這些對象間的共同特徵越多。該聚類方法只適合在小數據量的時候使用，數據量大的時候速度會非常慢。

 

案例

有20種12盎司啤酒成分和價格的數據，變數包括啤酒名稱、熱量、鈉含量、酒精含量、價格。

 

問題一：選擇那些變數進行聚類？——採用「R 型聚類」

 

現在我們有4個變數用來對啤酒分類，是否有必要將4個變數都納入作為分類變數呢？熱量、鈉含量、酒精含量這3個指標是要通過化驗員的辛苦努力來測定，而且還有花費不少成本。

所以，有必要對4個變數進行降維處理，這里採用spss R型聚類（變數聚類），對4個變數進行降維處理。輸出「相似性矩陣」有助於我們理解降維的過程。

4個分類變數各自不同，這一次我們先用相似性來測度，度量標准選用pearson系數，聚類方法選最遠元素，此時，涉及到相關，4個變數可不用標准化處理，將來的相似性矩陣里的數字為相關系數。若果有某兩個變數的相關系數接近1或-1，說明兩個變數可互相替代。

只輸出「樹狀圖」就可以了,從proximity matrix表中可以看出熱量和酒精含量兩個變數相關系數0.903，最大，二者選其一即可，沒有必要都作為聚類變數，導致成本增加。

至於熱量和酒精含量選擇哪一個作為典型指標來代替原來的兩個變數，可以根據專業知識或測定的難易程度決定。（與因子分析不同，是完全踢掉其中一個變數以達到降維的目的。）這里選用酒精含量，至此，確定出用於聚類的變數為：酒精含量，鈉含量，價格。

        

問題二：20 中啤酒能分為幾類？—— 採用「Q 型聚類」

 

現在開始對20中啤酒進行聚類。開始不確定應該分為幾類，暫時用一個3-5類范圍來試探。Q型聚類要求量綱相同，所以我們需要對數據標准化，這一回用歐式距離平方進行測度。

主要通過樹狀圖和冰柱圖來理解類別。最終是分為4類還是3類，這是個復雜的過程，需要專業知識和最初的目的來識別。

這里試著確定分為4類。選擇「保存」，則在數據區域內會自動生成聚類結果。

問題三：用於聚類的變數對聚類過程、結果又貢獻么，有用么？——採用「單因素方差分析」

 

聚類分析除了對類別的確定需討論外，還有一個比較關鍵的問題就是分類變數到底對聚類有沒有作用有沒有貢獻，如果有個別變數對分類沒有作用的話，應該剔除。

這個過程一般用單因素方差分析來判斷。注意此時，因子變數選擇聚為4類的結果，而將三個聚類變數作為因變數處理。方差分析結果顯示，三個聚類變數sig值均極顯著，我們用於分類的3個變數對分類有作用，可以使用，作為聚類變數是比較合理的。

 

問題四：聚類結果的解釋？——採用」均值比較描述統計「

聚類分析最後一步，也是最為困難的就是對分出的各類進行定義解釋，描述各類的特徵，即各類別特徵描述。這需要專業知識作為基礎並結合分析目的才能得出。

我們可以採用spss的means均值比較過程，或者excel的透視表功能對各類的各個指標進行描述。其中，report報表用於描述聚類結果。對各類指標的比較來初步定義類別，主要根據專業知識來判定。這里到此為止。

以上過程涉及到spss層次聚類中的Q型聚類和R型聚類，單因素方差分析，means過程等，是一個很不錯的多種分析方法聯合使用的案例。

 

聚類分析的應用

聚類分析是細分市場的有效工具，被用來發現不同的客戶群，並且它通過對不同的客戶群的特徵的刻畫，被用於研究消費者行為，尋找新的潛在市場。

 

聚類分析被用來對動植物和基因進行分類，以獲取對種群固有結構的認識。

 

聚類分析可以通過平均消費來鑒定汽車保險單持有者的分組，同時可以根據住宅類型、價值、地理位置來鑒定城市的房產分組。

 

聚類分析被用來在網上進行文檔歸類。

 

聚類分析通過分組聚類出具有相似瀏覽行為的客戶，並分析客戶的共同特徵，從而幫助電子商務企業了解自己的客戶，向客戶提供更合適的服務。

 

Ⅸ 常用的聚類方法有哪幾種

聚類分析的演算法可以分為劃分法、層次法、基於密度的方法、基於網格的方法、基於模型的方法。

1、劃分法，給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。

2、層次法，這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。

3、基於密度的方法，基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。

4、圖論聚類方法解決的第一步是建立與問題相適應的圖，圖的節點對應於被分析數據的最小單元，圖的邊（或弧）對應於最小處理單元數據之間的相似性度量。

5、基於網格的方法，這種方法首先將數據空間劃分成為有限個單元的網格結構,所有的處理都是以單個的單元為對象的。

6、基於模型的方法，基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。

(9)聚類演算法車位識別擴展閱讀：

在商業上，聚類可以幫助市場分析人員從消費者資料庫中區分出不同的消費群體來，並且概括出每一類消費者的消費模式或者說習慣。

它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現資料庫中分布的一些深層的信息，並且概括出每一類的特點，或者把注意力放在某一個特定的類上以作進一步的分析；並且，聚類分析也可以作為數據挖掘演算法中其他分析演算法的一個預處理步驟。

許多聚類演算法在小於 200 個數據對象的小數據集合上工作得很好；但是，一個大規模資料庫可能包含幾百萬個對象，在這樣的大數據集合樣本上進行聚類可能會導致有偏的結果。

許多聚類演算法在聚類分析中要求用戶輸入一定的參數，例如希望產生的簇的數目。聚類結果對於輸入參數十分敏感。參數通常很難確定，特別是對於包含高維對象的數據集來說。這樣不僅加重了用戶的負擔，也使得聚類的質量難以控制。