A. 聚類演算法可以和時間序列相結合做預測嗎
你好,
如果你處理的數據本身就是時間序列數據,如果採用聚類的話,就會忽略數據的順序信息。也就是說並不知道得到那些簇之間的先後順序,既然不知道順序用時間序列來坐預測就沒有什麼意義。
你對數據先聚類後預測,我大致能了解你的意圖。你可以試著把聚類演算法換成序列模式挖掘演算法。比如,利用PrefixSpan找出頻繁出現的序列模式,那樣的話,給定一個序列模式,直接去匹配最符合的頻繁模式,就可以做簡單的預測。
此外,針對時間序列預測,有專門的比如ARIMA這種演算法來進行預測,為什麼要先聚類了?
B. 什麼是基於聚類的離群點監測方法
本論文提出來一個聚類方法用以檢測離群點。通過使用k均值聚類演算法來從數據集中劃分聚類。離聚類中心比較近的點不太可能是離群點,同時我們可以從聚類中去除掉這些點。接下來計算剩下的點和離群點的距離。需要計算的離群點度的降低可能是由於一些點的去除。我們聲明離群度最高的點作為離群點。實驗數據使用真實數據集,並論證得知,即使所計算的數據比較少,但所提出的方法比現存的方法優越。
C. 在大數據量時,K-means演算法和層次聚類演算法誰更有優勢
這個問題其實是無解的,數據不同,演算法的分類效果、實際運行時間也是不同。
若單從運算速度而言,k-means比層次更快。
原因是K-means是找中心,然後計算距離;層次是逐個樣本逐層合並,層次的演算法復雜度更高。
更重要的是,在大數量下,K-means演算法和層次聚類演算法的分類效果真的只能用見仁見智來形容了。
D. 增量聚類演算法包括哪些
bigshuai
增量聚類演算法
目前有關增量聚類的研究主要是將增量數據看成是時間序列數據或按特定順序的數據, 主要可以分成兩類: 一類是每次將所有數據進行迭代,即從第一個數據到最後一個數據進行迭代運算, 其優點是精度高, 不足之處是不能利用前一次聚類的結果, 浪費資源; 另一類是利用上一次聚類的結果,每次將一個數據點劃分到已有簇中, 即新增的數據點被劃入中心離它最近的簇中並將中心移向新增的數據點, 也就是說新增的數據點不會影響原有劃分, 其優點是不需要每次對所有數據進行重新聚類, 不足之處是泛化能力弱, 監測不出孤立點。因此, 如何設計增量聚類演算法以提高聚類效率, 成為當前聚類分析的一個重要挑戰。
目前存在各種各樣的聚類方法[ 3] , 傳統的聚類方法主要被劃分成五類: 基於層次的、基於劃分的、基於密度的、基於網格的和基於模型的聚類。基於層次的聚類和基於劃分的聚類是實際生活中應用最為廣泛的兩類。前者可以進一步劃分為自底向上和自頂向下兩種[ 1] , 例如CLIQUE[ 3] 、ENCLUS 和MAFIA[ 4] 屬於自底向上演算法, PROCLUS[ 5] 和ORCLUS[ 6 ]屬於自頂向下的演算法。但是, 傳統的層次聚類演算法由於計算量過大不適用於大數據集, 例如BIRCH[ 2] 和CURE[ 7 ] 。傳統的基於劃分的演算法包括k-means、k-modes等等, 其中k-means是現存聚類演算法中最經典的聚類演算法[ 8, 9] 。
增量聚類是維持或改變k 個簇的結構的問題。比如, 一個特定序列中的新的數據點可能被劃分到已有k 個簇的一個簇中, 也可能被劃分到新的簇中,此時會需要將另外兩個簇變成一個[ 10 ] 。自從H art igan在文獻[ 11]中提出的演算法被實現[ 12] , 增量聚類就吸引了眾人的關注。D. Fisher[ 13] 提出的COBWEB 演算法是一種涉及到增量形式數據點的增量聚類演算法。文獻[ 14, 15]中給出了與資料庫的動態方面相關的增量聚類的詳細闡述, 文獻[ 16 18]中列出了其廣泛應用的領域。對增量聚類產生興趣的動力是主存空間有限, 有些信息不需要存儲起來,例如數據點之間的距離, 同時增量聚類演算法可以根據數據點集的大小和屬性數進行擴展[ 19] 。文獻[ 10, 17]中也對於求解增量聚類問題的演算法進行了研究。
現在很多聚類演算法都是對單一數據類型的數據進行聚類, 但是現實數據中非常多的數據都是混合數據類型的數據, 既包含數值屬性數據, 還是分類屬性數據, 簡單地丟棄其中一種數據類型, 或者將其中一種數據類型轉換成另一種, 都會影響聚類的精度。因此, 混合屬性數據增量聚類的研究具有非常重要的意義。
2 基於傳統聚類方法及其變形的增量聚類演算法
現在對於增量聚類方法的增量處理主要集中在三個方面, 一類是基於傳統聚類方法及其各種變形的增量聚類演算法, 一類是基於生物智能的增量聚類演算法, 另一類是針對數據流的聚類演算法。
E. 聚類分析聚類演算法中包含哪些數據類型
聚類分析聚類演算法中包含哪些數據類型
許多基於內存的聚類演算法採用以下兩種數據結構:
(1)數據矩陣(Data Matrix,或稱對象一變盤結構):用p個變數來表示n個對象,例如使用年齡、身高、性別、體重等屬性變數來表示對象人,也叫二模矩陣,行與列代表不同實體:
(2)相異度矩陣(Dissimilarity Matrix,又稱為對象一對象結構):存儲所有成對的n個對象兩兩之間的近似性(鄰近度),也叫單模矩陣,行和列代表相同的實體。其中d(ij)是對象i和對象j之間的測量差或相異度。d(i,f)是一個非負的數值,d(ij)越大,兩個對象越不同;d (i,j)越接近於0,則兩者之間越相似(相近)。
許多聚類演算法都是以相異度矩陣為基礎的,如果數據是用數據矩陣形式表示,則往往要將其先轉化為相異度矩陣。
相異度d(i,j)的具體計算會因所使用的數據類型不同而不同,常用的數據類型包括:區間標度變數,二元變數,標稱型、序數型和比例標度型變數,混合類型的變數。
F. 聚類演算法有哪幾種
聚類分析計算方法主要有: 層次的方法(hierarchical method)、劃分方法(partitioning method)、基於密度的方法(density-based method)、基於網格的方法(grid-based method)、基於模型的方法(model-based method)等。其中,前兩種演算法是利用統計學定義的距離進行度量。
k-means 演算法的工作過程說明如下:首先從n個數據對象任意選擇 k 個對象作為初始聚類中心;而對於所剩下其它對象,則根據它們與這些聚類中心的相似度(距離),分別將它們分配給與其最相似的(聚類中心所代表的)聚類;然 後再計算每個所獲新聚類的聚類中心(該聚類中所有對象的均值);不斷重復這一過程直到標准測度函數開始收斂為止。一般都採用均方差作為標准測度函數. k個聚類具有以下特點:各聚類本身盡可能的緊湊,而各聚類之間盡可能的分開。
其流程如下:
(1)從 n個數據對象任意選擇 k 個對象作為初始聚類中心;
(2)根據每個聚類對象的均值(中心對象),計算每個對象與這些中心對象的距離;並根據最小距離重新對相應對象進行劃分;
(3)重新計算每個(有變化)聚類的均值(中心對象);
(4)循環(2)、(3)直到每個聚類不再發生變化為止(標准測量函數收斂)。
優點: 本演算法確定的K個劃分到達平方誤差最小。當聚類是密集的,且類與類之間區別明顯時,效果較好。對於處理大數據集,這個演算法是相對可伸縮和高效的,計算的復雜度為 O(NKt),其中N是數據對象的數目,t是迭代的次數。
缺點:
1. K 是事先給定的,但非常難以選定;
2. 初始聚類中心的選擇對聚類結果有較大的影響。
G. 如何用層次聚類演算法預測下一次犯罪地點
這個問題其實是無解的,數據不同,演算法的分類效果、實際運行時間也是不同。 若單從運算速度而言,k-means比層次更快。 原因是K-means是找中心,然後計算距離;層次是逐個樣本逐層合並,層次的演算法復雜度更高。 更重要的是
H. 常用的聚類方法有哪幾種
聚類分析的演算法可以分為劃分法、層次法、基於密度的方法、基於網格的方法、基於模型的方法。
1、劃分法,給定一個有N個元組或者紀錄的數據集,分裂法將構造K個分組,每一個分組就代表一個聚類,K<N。
2、層次法,這種方法對給定的數據集進行層次似的分解,直到某種條件滿足為止。
3、基於密度的方法,基於密度的方法與其它方法的一個根本區別是:它不是基於各種各樣的距離的,而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。
4、圖論聚類方法解決的第一步是建立與問題相適應的圖,圖的節點對應於被分析數據的最小單元,圖的邊(或弧)對應於最小處理單元數據之間的相似性度量。
5、基於網格的方法,這種方法首先將數據空間劃分成為有限個單元的網格結構,所有的處理都是以單個的單元為對象的。
6、基於模型的方法,基於模型的方法給每一個聚類假定一個模型,然後去尋找能夠很好的滿足這個模型的數據集。
(8)測量聚類演算法擴展閱讀:
在商業上,聚類可以幫助市場分析人員從消費者資料庫中區分出不同的消費群體來,並且概括出每一類消費者的消費模式或者說習慣。
它作為數據挖掘中的一個模塊,可以作為一個單獨的工具以發現資料庫中分布的一些深層的信息,並且概括出每一類的特點,或者把注意力放在某一個特定的類上以作進一步的分析;並且,聚類分析也可以作為數據挖掘演算法中其他分析演算法的一個預處理步驟。
許多聚類演算法在小於 200 個數據對象的小數據集合上工作得很好;但是,一個大規模資料庫可能包含幾百萬個對象,在這樣的大數據集合樣本上進行聚類可能會導致有偏的結果。
許多聚類演算法在聚類分析中要求用戶輸入一定的參數,例如希望產生的簇的數目。聚類結果對於輸入參數十分敏感。參數通常很難確定,特別是對於包含高維對象的數據集來說。這樣不僅加重了用戶的負擔,也使得聚類的質量難以控制。