模糊聚類演算法研究

❶ 模糊c-均值聚類演算法的應用

模糊聚類分析作為無監督機器學習的主要技術之一，是用模糊理論對重要數據分析和建模的方法，建立了樣本類屬的不確定性描述，能比較客觀地反映現實世界，它已經有效地應用在大規模數據分析、數據挖掘、矢量量化、圖像分割、模式識別等領域，具有重要的理論與實際應用價值，隨著應用的深入發展，模糊聚類演算法的研究不斷豐富。

❷ 什麼是聚類分析聚類演算法有哪幾種

聚類分析又稱群分析，它是研究（樣品或指標）分類問題的一種統計分析方法。聚類分析起源於

分類學，在古老的分類學中，人們主要依靠經驗和專業知識來實現分類，很少利用數學工具進行

定量的分類。隨著人類科學技術的發展，對分類的要求越來越高，以致有時僅憑經驗和專業知識

難以確切地進行分類，於是人們逐漸地把數學工具引用到了分類學中，形成了數值分類學，之後又

將多元分析的技術引入到數值分類學形成了聚類分析。

聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論

聚類法、聚類預報法等。

聚類分析計算方法主要有如下幾種：分裂法(partitioning methods)：層次法(hierarchical

methods)：基於密度的方法(density-based methods): 基於網格的方法(grid-based

methods): 基於模型的方法(model-based methods)。

❸ 四種聚類方法之比較

四種聚類方法之比較
介紹了較為常見的k-means、層次聚類、SOM、FCM等四種聚類演算法，闡述了各自的原理和使用步驟，利用國際通用測試數據集IRIS對這些演算法進行了驗證和比較。結果顯示對該測試類型數據，FCM和k-means都具有較高的准確度，層次聚類准確度最差，而SOM則耗時最長。
關鍵詞:聚類演算法；k-means；層次聚類；SOM；FCM
聚類分析是一種重要的人類行為，早在孩提時代，一個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、數據分析、圖像處理、市場研究、客戶分割、Web文檔分類等[1]。
聚類就是按照某個特定標准(如距離准則)把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不在同一個簇中的數據對象的差異性也盡可能地大。即聚類後同一類的數據盡可能聚集到一起，不同數據盡量分離。
聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括數據挖掘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同類型的數據，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。
1 聚類演算法的分類
目前，有大量的聚類演算法[3]。而對於具體應用，聚類演算法的選擇取決於數據的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的數據嘗試多種演算法，以發現數據可能揭示的結果。
主要的聚類演算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。
每一類中都存在著得到廣泛應用的演算法，例如：劃分方法中的k-means[7]聚類演算法、層次方法中的凝聚型層次聚類演算法[8]、基於模型方法中的神經網路[9]聚類演算法等。
目前,聚類問題的研究不僅僅局限於上述的硬聚類，即每一個數據只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是將一個數據對象硬性地歸類到某一簇中。目前已有很多關於模糊聚類的演算法被提出，如著名的FCM演算法等。
本文主要對k-means聚類演算法、凝聚型層次聚類演算法、神經網路聚類演算法之SOM,以及模糊聚類的FCM演算法通過通用測試數據集進行聚類效果的比較和分析。
2 四種常用聚類演算法研究
2.1 k-means聚類演算法
k-means是劃分方法中較經典的聚類演算法之一。由於該演算法的效率高，所以在對大規模數據進行聚類時被廣泛應用。目前，許多演算法均圍繞著該演算法進行擴展和改進。
k-means演算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means演算法的處理過程如下：首先，隨機地選擇k個對象，每個對象初始地代表了一個簇的平均值或中心;對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重復，直到准則函數收斂。通常，採用平方誤差准則，其定義如下：

這里E是資料庫中所有對象的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函數使生成的簇盡可能緊湊獨立，使用的距離度量是歐幾里得距離,當然也可以用其他距離度量。k-means聚類演算法的演算法流程如下：
輸入：包含n個對象的資料庫和簇的數目k；
輸出：k個簇，使平方誤差准則最小。
步驟：
(1) 任意選擇k個對象作為初始的簇中心；
(2) repeat；
(3) 根據簇中對象的平均值，將每個對象(重新)賦予最類似的簇；
(4) 更新簇的平均值，即計算每個簇中對象的平均值；
(5) until不再發生變化。
2.2 層次聚類演算法
根據層次分解的順序是自底向上的還是自上向下的，層次聚類演算法分為凝聚的層次聚類演算法和分裂的層次聚類演算法。
凝聚型層次聚類的策略是先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛採用的簇間距離度量方法如下：

這里給出採用最小距離的凝聚層次聚類演算法流程：
(1) 將每個對象看作一類，計算兩兩之間的最小距離；
(2) 將距離最小的兩個類合並成一個新類；
(3) 重新計算新類與所有類之間的距離；
(4) 重復(2)、(3)，直到所有類最後合並成一類。
2.3 SOM聚類演算法
SOM神經網路[11]是由芬蘭神經網路專家Kohonen教授提出的，該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。
SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。
演算法流程：
(1) 網路初始化，對輸出層每個節點權重賦初值；
(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
(4) 提供新樣本、進行訓練；
(5) 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
2.4 FCM聚類演算法
1965年美國加州大學柏克萊分校的扎德教授第一次提出了『集合』的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。
FCM演算法是一種以隸屬度來確定每個數據點屬於某個聚類程度的演算法。該聚類演算法是傳統硬聚類演算法的一種改進。

演算法流程：
(1) 標准化數據矩陣；
(2) 建立模糊相似矩陣，初始化隸屬矩陣；
(3) 演算法開始迭代，直到目標函數收斂到極小值；
(4) 根據迭代結果，由最後的隸屬矩陣確定數據所屬的類，顯示最後的聚類結果。
3 四種聚類演算法試驗
3.1 試驗數據
實驗中，選取專門用於測試分類、聚類演算法的國際通用的UCI資料庫中的IRIS[13]數據集，IRIS數據集包含150個樣本數據，分別取自三種不同的鶯尾屬植物setosa、versicolor和virginica的花朵樣本,每個數據含有4個屬性，即萼片長度、萼片寬度、花瓣長度，單位為cm。在數據集上執行不同的聚類演算法，可以得到不同精度的聚類結果。
3.2 試驗結果說明
文中基於前面所述各演算法原理及演算法流程，用matlab進行編程運算，得到表1所示聚類結果。

如表1所示，對於四種聚類演算法，按三方面進行比較：(1)聚錯樣本數：總的聚錯的樣本數，即各類中聚錯的樣本數的和；(2)運行時間：即聚類整個過程所耗費的時間，單位為s；(3)平均准確度：設原數據集有k個類,用ci表示第i類，ni為ci中樣本的個數，mi為聚類正確的個數,則mi/ni為第i類中的精度，則平均精度為：

3.3 試驗結果分析
四種聚類演算法中，在運行時間及准確度方面綜合考慮，k-means和FCM相對優於其他。但是，各個演算法還是存在固定缺點：k-means聚類演算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進一步研究；層次聚類雖然不需要確定分類數，但是一旦一個分裂或者合並被執行，就不能修正，聚類質量受限制；FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入局部最優解；SOM與實際大腦處理有很強的理論聯系。但是處理時間較長，需要進一步研究使其適應大型資料庫。
聚類分析因其在許多領域的成功應用而展現出誘人的應用前景，除經典聚類演算法外，各種新的聚類方法正被不斷被提出。

❹ 模糊C均值聚類演算法研究

網頁優化策略的模糊C均值(FCM)聚類演算法研究

王玉龍 葉新銘 李秀華

摘 要：在對Web站點進行優化時,為了降低成本,往往需要在不改變硬體和網路配置的情況下提高網站的性能.此時,對構成網站的網頁的修改就成為提高站點性能的主要途徑.對網頁的訪問速度的測量已有很多成熟的方法,但是如何根據測試的結果指定合理的優化策略,卻鮮有論述.本文使用FCM演算法對測試結果和網站日誌進行聚類分析,從而得到一個良好的優化策略.
關鍵詞：Web;優化;模糊C均值(FCM);聚類演算法

Research on Fuzzy C-means Clustering Algorithm in Web Page Optimization Strategy

WANG Yu-Long YE Xin-Ming LI Xiu-Hua

基金項目：國家自然基金項目(60263002),內蒙古科技攻關項目(2002061002).
作者簡介：王玉龍 內蒙古大學計算機學院研究生.
作者簡介：葉新銘 內蒙古大學計算機學院教授.
作者簡介：李秀華 內蒙古大學計算機學院研究生.
作者單位：王玉龍（內蒙古大學計算機學院,呼和浩特,010021）
葉新銘（內蒙古大學計算機學院,呼和浩特,010021）
李秀華（內蒙古大學計算機學院,呼和浩特,010021）

參考文獻：

[1]An application of fuzzy clustering in group-positioning analysis [J]. Proc Natl Sci,Counc ROC(C) , 2000 ,10(2) :157～167
[2]Michalopoulos M,D ounias G D, Thomaidis N T. Decision making using fuzzy C-means and inctive machine learning for managing bank branches performance [EB/OL]. http:‖citeseer. nj. nec.com/458829. html, 2002
[3]Xie X, Beni G. A validity measure for fuzzy clustering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991,13(8):814～847
[4]Pal N R, Bezedek C. On cluster validity for the fuzzy c-Means model. IEEE Trans, 1995,3: 370～379
[5]Xie X L, Beni G. A validity measure for fuzzy clustering. IEEE Trans, 1991,13(8): 841～847
[6]於劍,程乾生.模糊聚類方法中的最佳聚類數的搜索范圍[J].中國科學(E輯),2002,32(2):274～280

出版日期：2005年10月25日

❺ 模糊聚類分析法和聚類分析法有什麼區別，還有一種動態模糊分析法，它比模糊分析法有什麼樣的改進。

模糊聚類分析是聚類分析的一種。聚類分析按照不同的分類標准可以進行不同的分類。就好像人按照性別可以分成男人和女人，按照年齡可以分為老中青一樣。聚類分析如果按照隸屬度的取值范圍可以分為兩類，一類叫硬聚類演算法，另一類就是模糊聚類演算法。隸屬度的概念是從模糊集理論里引申出來的。傳統硬聚類演算法隸屬度只有兩個值 0 和 1。 也就是說一個樣本只能完全屬於某一個類或者完全不屬於某一個類。舉個例子，把溫度分為兩類，大於10度為熱，小於或者等於10度為冷，這就是典型的「硬隸屬度」概念。 那麼不論是5度 還是負100度都屬於冷這個類，而不屬於熱這個類的。而模糊集里的隸屬度是一個取值在[0 1]區間內的數。一個樣本同時屬於所有的類，但是通過隸屬度的大小來區分其差異。比如5度，可能屬於冷這類的隸屬度值為0.7,而屬於熱這個類的值為0.3。這樣做就比較合理，硬聚類也可以看做模糊聚類的一個特例。你說的動態模糊分析法我在文獻里很少見到好像並不主流，似乎沒有專門的這樣一種典型聚類演算法，可能是個別人根據自己需要設計並命名的一種針對模糊聚類的改進方法，這個不好說了就。我見過有把每個不同樣本加權的，權值自己確定，這樣就冠以「動態"二字，這都是作者自己起的。也有別的也叫」動態「的，可能也不一樣，似乎都是個別人自己提出的。至於文獻，你可以到中國知網搜索博士或者碩士畢業論文，有關模糊聚類為題目的，在第一章引言裡面必然會有詳細的介紹，或者聯系我，我就是做這方面的。希望能對你有所幫助，給點分吧，打的挺累的。

❻ 聚類的計算方法

傳統的聚類分析計算方法主要有如下幾種：
1、劃分方法(partitioning methods)
給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。而且這K個分組滿足下列條件：（1） 每一個分組至少包含一個數據紀錄；（2）每一個數據紀錄屬於且僅屬於一個分組（注意：這個要求在某些模糊聚類演算法中可以放寬）；對於給定的K，演算法首先給出一個初始的分組方法，以後通過反復迭代的方法改變分組，使得每一次改進之後的分組方案都較前一次好，而所謂好的標准就是：同一分組中的記錄越近越好，而不同分組中的紀錄越遠越好。使用這個基本思想的演算法有：K-MEANS演算法、K-MEDOIDS演算法、CLARANS演算法；
大部分劃分方法是基於距離的。給定要構建的分區數k，劃分方法首先創建一個初始化劃分。然後，它採用一種迭代的重定位技術，通過把對象從一個組移動到另一個組來進行劃分。一個好的劃分的一般准備是：同一個簇中的對象盡可能相互接近或相關，而不同的簇中的對象盡可能遠離或不同。還有許多評判劃分質量的其他准則。傳統的劃分方法可以擴展到子空間聚類，而不是搜索整個數據空間。當存在很多屬性並且數據稀疏時，這是有用的。為了達到全局最優，基於劃分的聚類可能需要窮舉所有可能的劃分，計算量極大。實際上，大多數應用都採用了流行的啟發式方法，如k-均值和k-中心演算法，漸近的提高聚類質量，逼近局部最優解。這些啟發式聚類方法很適合發現中小規模的資料庫中小規模的資料庫中的球狀簇。為了發現具有復雜形狀的簇和對超大型數據集進行聚類，需要進一步擴展基於劃分的方法。
2、層次方法(hierarchical methods)
這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。具體又可分為「自底向上」和「自頂向下」兩種方案。例如在「自底向上」方案中，初始時每一個數據紀錄都組成一個單獨的組，在接下來的迭代中，它把那些相互鄰近的組合並成一個組，直到所有的記錄組成一個分組或者某個條件滿足為止。代表演算法有：BIRCH演算法、CURE演算法、CHAMELEON演算法等；
層次聚類方法可以是基於距離的或基於密度或連通性的。層次聚類方法的一些擴展也考慮了子空間聚類。層次方法的缺陷在於，一旦一個步驟（合並或分裂）完成，它就不能被撤銷。這個嚴格規定是有用的，因為不用擔心不同選擇的組合數目，它將產生較小的計算開銷。然而這種技術不能更正錯誤的決定。已經提出了一些提高層次聚類質量的方法。
3、基於密度的方法(density-based methods)
基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。這個方法的指導思想就是，只要一個區域中的點的密度大過某個閥值，就把它加到與之相近的聚類中去。代表演算法有：DBSCAN演算法、OPTICS演算法、DENCLUE演算法等；
4、基於網格的方法(grid-based methods)
這種方法首先將數據空間劃分成為有限個單元（cell）的網格結構,所有的處理都是以單個的單元為對象的。這么處理的一個突出的優點就是處理速度很快，通常這是與目標資料庫中記錄的個數無關的，它只與把數據空間分為多少個單元有關。代表演算法有：STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法；
很多空間數據挖掘問題，使用網格通常都是一種有效的方法。因此，基於網格的方法可以和其他聚類方法集成。
5、基於模型的方法(model-based methods)
基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。這樣一個模型可能是數據點在空間中的密度分布函數或者其它。它的一個潛在的假定就是：目標數據集是由一系列的概率分布所決定的。通常有兩種嘗試方向：統計的方案和神經網路的方案。
當然聚類方法還有：傳遞閉包法，布爾矩陣法，直接聚類法，相關性分析聚類，基於統計的聚類方法等。

❼ 有誰用matlab做過聚類演算法

熱心網友
聚類分析的概念主要是來自多元統計分析，例如，考慮二維坐標繫上有散落的許多點，這時，需要對散點進行合理的分類，就需要聚類方面的知識。模糊聚類分析方法主要針對的是這樣的問題：對於樣本空間P中的元素含有多個屬性，要求對其中的元素進行合理的分類。最終可以以聚類圖的形式加以呈現，而聚類圖可以以手式和自動生成兩種方式進行，這里採用自動生成方式，亦是本文的程序實現過程中的一個關鍵環節。
這里所實現的基本的模糊聚類的主要過程是一些成文的方法，在此簡述如下：
對於待分類的一個樣本集U=,設其中的每個元素有m項指標，則可以用m維向量描述樣本，即：ui=(i=1,2,...,n)。則其相應的模糊聚類按下列步驟進行：1）
標准化處理，將數據壓縮至(0-1)區間上，這部分內容相對簡單，介紹略。(參[1])2）
建立模糊關系：這里比較重要的環節之一，首先是根據「距離」或其它進行比較的觀點及方法建立模糊相似矩陣，主要的「距離」有：Hamming
距離:
d(i,j)=sum(abs(x(i,k)-x(j,k)))
|
k
from
1
to
m
(|
k
from
1
to
m表示求和式中的系數k由1增至m，下同)Euclid
距離:
d(i,j)=sum((x(i,k)-x(j,k))^2)
|
k
from
1
to
m
非距離方法中，最經典的就是一個夾角餘弦法：
最終進