A. 聚类算法可以和时间序列相结合做预测吗
你好,
如果你处理的数据本身就是时间序列数据,如果采用聚类的话,就会忽略数据的顺序信息。也就是说并不知道得到那些簇之间的先后顺序,既然不知道顺序用时间序列来坐预测就没有什么意义。
你对数据先聚类后预测,我大致能了解你的意图。你可以试着把聚类算法换成序列模式挖掘算法。比如,利用PrefixSpan找出频繁出现的序列模式,那样的话,给定一个序列模式,直接去匹配最符合的频繁模式,就可以做简单的预测。
此外,针对时间序列预测,有专门的比如ARIMA这种算法来进行预测,为什么要先聚类了?
B. 什么是基于聚类的离群点监测方法
本论文提出来一个聚类方法用以检测离群点。通过使用k均值聚类算法来从数据集中划分聚类。离聚类中心比较近的点不太可能是离群点,同时我们可以从聚类中去除掉这些点。接下来计算剩下的点和离群点的距离。需要计算的离群点度的降低可能是由于一些点的去除。我们声明离群度最高的点作为离群点。实验数据使用真实数据集,并论证得知,即使所计算的数据比较少,但所提出的方法比现存的方法优越。
C. 在大数据量时,K-means算法和层次聚类算法谁更有优势
这个问题其实是无解的,数据不同,算法的分类效果、实际运行时间也是不同。
若单从运算速度而言,k-means比层次更快。
原因是K-means是找中心,然后计算距离;层次是逐个样本逐层合并,层次的算法复杂度更高。
更重要的是,在大数量下,K-means算法和层次聚类算法的分类效果真的只能用见仁见智来形容了。
D. 增量聚类算法包括哪些
bigshuai
增量聚类算法
目前有关增量聚类的研究主要是将增量数据看成是时间序列数据或按特定顺序的数据, 主要可以分成两类: 一类是每次将所有数据进行迭代,即从第一个数据到最后一个数据进行迭代运算, 其优点是精度高, 不足之处是不能利用前一次聚类的结果, 浪费资源; 另一类是利用上一次聚类的结果,每次将一个数据点划分到已有簇中, 即新增的数据点被划入中心离它最近的簇中并将中心移向新增的数据点, 也就是说新增的数据点不会影响原有划分, 其优点是不需要每次对所有数据进行重新聚类, 不足之处是泛化能力弱, 监测不出孤立点。因此, 如何设计增量聚类算法以提高聚类效率, 成为当前聚类分析的一个重要挑战。
目前存在各种各样的聚类方法[ 3] , 传统的聚类方法主要被划分成五类: 基于层次的、基于划分的、基于密度的、基于网格的和基于模型的聚类。基于层次的聚类和基于划分的聚类是实际生活中应用最为广泛的两类。前者可以进一步划分为自底向上和自顶向下两种[ 1] , 例如CLIQUE[ 3] 、ENCLUS 和MAFIA[ 4] 属于自底向上算法, PROCLUS[ 5] 和ORCLUS[ 6 ]属于自顶向下的算法。但是, 传统的层次聚类算法由于计算量过大不适用于大数据集, 例如BIRCH[ 2] 和CURE[ 7 ] 。传统的基于划分的算法包括k-means、k-modes等等, 其中k-means是现存聚类算法中最经典的聚类算法[ 8, 9] 。
增量聚类是维持或改变k 个簇的结构的问题。比如, 一个特定序列中的新的数据点可能被划分到已有k 个簇的一个簇中, 也可能被划分到新的簇中,此时会需要将另外两个簇变成一个[ 10 ] 。自从H art igan在文献[ 11]中提出的算法被实现[ 12] , 增量聚类就吸引了众人的关注。D. Fisher[ 13] 提出的COBWEB 算法是一种涉及到增量形式数据点的增量聚类算法。文献[ 14, 15]中给出了与数据库的动态方面相关的增量聚类的详细阐述, 文献[ 16 18]中列出了其广泛应用的领域。对增量聚类产生兴趣的动力是主存空间有限, 有些信息不需要存储起来,例如数据点之间的距离, 同时增量聚类算法可以根据数据点集的大小和属性数进行扩展[ 19] 。文献[ 10, 17]中也对于求解增量聚类问题的算法进行了研究。
现在很多聚类算法都是对单一数据类型的数据进行聚类, 但是现实数据中非常多的数据都是混合数据类型的数据, 既包含数值属性数据, 还是分类属性数据, 简单地丢弃其中一种数据类型, 或者将其中一种数据类型转换成另一种, 都会影响聚类的精度。因此, 混合属性数据增量聚类的研究具有非常重要的意义。
2 基于传统聚类方法及其变形的增量聚类算法
现在对于增量聚类方法的增量处理主要集中在三个方面, 一类是基于传统聚类方法及其各种变形的增量聚类算法, 一类是基于生物智能的增量聚类算法, 另一类是针对数据流的聚类算法。
E. 聚类分析聚类算法中包含哪些数据类型
聚类分析聚类算法中包含哪些数据类型
许多基于内存的聚类算法采用以下两种数据结构:
(1)数据矩阵(Data Matrix,或称对象一变盘结构):用p个变量来表示n个对象,例如使用年龄、身高、性别、体重等属性变量来表示对象人,也叫二模矩阵,行与列代表不同实体:
(2)相异度矩阵(Dissimilarity Matrix,又称为对象一对象结构):存储所有成对的n个对象两两之间的近似性(邻近度),也叫单模矩阵,行和列代表相同的实体。其中d(ij)是对象i和对象j之间的测量差或相异度。d(i,f)是一个非负的数值,d(ij)越大,两个对象越不同;d (i,j)越接近于0,则两者之间越相似(相近)。
许多聚类算法都是以相异度矩阵为基础的,如果数据是用数据矩阵形式表示,则往往要将其先转化为相异度矩阵。
相异度d(i,j)的具体计算会因所使用的数据类型不同而不同,常用的数据类型包括:区间标度变量,二元变量,标称型、序数型和比例标度型变量,混合类型的变量。
F. 聚类算法有哪几种
聚类分析计算方法主要有: 层次的方法(hierarchical method)、划分方法(partitioning method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)、基于模型的方法(model-based method)等。其中,前两种算法是利用统计学定义的距离进行度量。
k-means 算法的工作过程说明如下:首先从n个数据对象任意选择 k 个对象作为初始聚类中心;而对于所剩下其它对象,则根据它们与这些聚类中心的相似度(距离),分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然 后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点:各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。
其流程如下:
(1)从 n个数据对象任意选择 k 个对象作为初始聚类中心;
(2)根据每个聚类对象的均值(中心对象),计算每个对象与这些中心对象的距离;并根据最小距离重新对相应对象进行划分;
(3)重新计算每个(有变化)聚类的均值(中心对象);
(4)循环(2)、(3)直到每个聚类不再发生变化为止(标准测量函数收敛)。
优点: 本算法确定的K个划分到达平方误差最小。当聚类是密集的,且类与类之间区别明显时,效果较好。对于处理大数据集,这个算法是相对可伸缩和高效的,计算的复杂度为 O(NKt),其中N是数据对象的数目,t是迭代的次数。
缺点:
1. K 是事先给定的,但非常难以选定;
2. 初始聚类中心的选择对聚类结果有较大的影响。
G. 如何用层次聚类算法预测下一次犯罪地点
这个问题其实是无解的,数据不同,算法的分类效果、实际运行时间也是不同。 若单从运算速度而言,k-means比层次更快。 原因是K-means是找中心,然后计算距离;层次是逐个样本逐层合并,层次的算法复杂度更高。 更重要的是
H. 常用的聚类方法有哪几种
聚类分析的算法可以分为划分法、层次法、基于密度的方法、基于网格的方法、基于模型的方法。
1、划分法,给定一个有N个元组或者纪录的数据集,分裂法将构造K个分组,每一个分组就代表一个聚类,K<N。
2、层次法,这种方法对给定的数据集进行层次似的分解,直到某种条件满足为止。
3、基于密度的方法,基于密度的方法与其它方法的一个根本区别是:它不是基于各种各样的距离的,而是基于密度的。这样就能克服基于距离的算法只能发现“类圆形”的聚类的缺点。
4、图论聚类方法解决的第一步是建立与问题相适应的图,图的节点对应于被分析数据的最小单元,图的边(或弧)对应于最小处理单元数据之间的相似性度量。
5、基于网格的方法,这种方法首先将数据空间划分成为有限个单元的网格结构,所有的处理都是以单个的单元为对象的。
6、基于模型的方法,基于模型的方法给每一个聚类假定一个模型,然后去寻找能够很好的满足这个模型的数据集。
(8)测量聚类算法扩展阅读:
在商业上,聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来,并且概括出每一类消费者的消费模式或者说习惯。
它作为数据挖掘中的一个模块,可以作为一个单独的工具以发现数据库中分布的一些深层的信息,并且概括出每一类的特点,或者把注意力放在某一个特定的类上以作进一步的分析;并且,聚类分析也可以作为数据挖掘算法中其他分析算法的一个预处理步骤。
许多聚类算法在小于 200 个数据对象的小数据集合上工作得很好;但是,一个大规模数据库可能包含几百万个对象,在这样的大数据集合样本上进行聚类可能会导致有偏的结果。
许多聚类算法在聚类分析中要求用户输入一定的参数,例如希望产生的簇的数目。聚类结果对于输入参数十分敏感。参数通常很难确定,特别是对于包含高维对象的数据集来说。这样不仅加重了用户的负担,也使得聚类的质量难以控制。