❶ 聚类算法 - 凝聚层次聚类
层次聚类 就是通过对数据集按照某种方法进行层次分解，直到满足某种条件为止。按照分类原理的不同，可以分为凝聚和分裂两种方法。
层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足为止。具体又可分为 凝聚 和 分裂 的两种方案：
凝聚的层次聚类是一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有的对象都在一个簇中，或者某个终结条件被满足，绝大多数层次聚类方法属于这一类，它们只是在簇间相似度的定义上有所不同。.
分裂的层次聚类与凝聚的层次聚类相反，采用自顶向下的策略，它首先将所有对象置于同一个簇中，然后逐渐细分为越来越小的簇，直到每个对象自成一簇，或者达到了某个终止条件。
本篇主要讨论凝聚的层次聚类。
第一步 ，将训练样本集中的每个数据点都当做一个聚类
第二步 ，计算每两个聚类之间的距离，将距离最近的或最相似的两个聚类进行合并，如同下图中的p1和p2、p5和p6
第三步 ，重复上述步骤，依旧计算每个聚类的距离，当然这次因为已经有聚合起来的簇了因此距离的计算方式有多种： 【单链】簇内的最近的点的距离、【全链】簇内的最远的点的距离、【组平均】簇的平均距离、簇的相似度等
第四步 ，直到得到的当前聚类数是合并前聚类数的10%，即90%的聚类都被合并了；当然还可以设置其他终止条件，这样设置是为了防止过度合并，此时需要几个簇，那么就可以用一条横线去截取分出的簇，如下图分出3类、4类、5类的横线截止
ps：距离在通常的情况下可以计算欧几里得距离，就是普通的直线距离，还可以计算余弦相似度
具体的动画效果可以参考视频，这是----> 传送门
1）距离和规则的相似度容易定义，限制少
2）不像kmeans，不需要预先制定聚类数
3）可以发现类的层次关系
1）计算复杂度太高
2）奇异值也能产生很大影响
3）由于根据距离来聚合数据，算法很可能聚类成链状
❷ 用于数据挖掘的聚类算法有哪些，各有何优势
聚类方法的分类，主要分为层次化聚类算法，划分式聚类算法，基于密度的聚类算法，基于网格的聚类算法，基于模型的聚类算法等。
而衡量聚类算法优劣的标准主要是这几个方面：处理大的数据集的能力；处理任意形状，包括有间隙的嵌套的数据的能力；算法处理的结果与数据输入的顺序是否相关，也就是说算法是否独立于数据输入顺序；处理数据噪声的能力；是否需要预先知道聚类个数，是否需要用户给出领域知识；算法处理有很多属性数据的能力，也就是对数据维数是否敏感。
.聚类算法主要有两种算法，一种是自下而上法（bottom-up），一种是自上而下法（top-down）。这两种路径本质上各有优势，主要看实际应用的时候要根据数据适用于哪一种，Hierarchical methods中比较新的算法有BIRCH主要是在数据体量很大的时候使用；ROCK优势在于异常数据抗干扰性强……
关于数据挖掘的相关学习，推荐CDA数据师的相关课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。
❸ 常用聚类(K-means,DBSCAN)以及聚类的度量指标：
一年前需要用聚类算法时，自己从一些sklearn文档和博客粗略整理了一些相关的知识，记录在电子笔记里备忘，现在发到网上，当时就整理的就很乱，以后有空慢慢把内容整理、完善，用作备忘。之前把电影标签信息的聚类结果作为隐式反馈放进SVD++中去训练，里面有两个小例子
利用条件熵定义的同质性度量：
sklearn.metrics.homogeneity_score:每一个聚出的类仅包含一个类别的程度度量。
sklearn.metrics.completeness:每一个类别被指向相同聚出的类的程度度量。
sklearn.metrics.v_measure_score:上面两者的一种折衷：
v = 2 * (homogeneity * completeness) / (homogeneity + completeness)
可以作为聚类结果的一种度量。
sklearn.metrics.adjusted_rand_score:调整的兰德系数。
ARI取值范围为[-1,1],从广义的角度来讲，ARI衡量的是两个数据分布的吻合程度
sklearn.metrics.adjusted_mutual_info_score:调整的互信息。
利用基于互信息的方法来衡量聚类效果需要实际类别信息，MI与NMI取值范围为[0,1],AMI取值范围为[-1,1]。
在scikit-learn中， Calinski-Harabasz Index对应的方法是metrics.calinski_harabaz_score.
CH指标通过计算类中各点与类中心的距离平方和来度量类内的紧密度，通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度，CH指标由分离度与紧密度的比值得到。从而，CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。
silhouette_sample
对于一个样本点(b - a)/max(a, b)
a平均类内距离，b样本点到与其最近的非此类的距离。
silihouette_score返回的是所有样本的该值,取值范围为[-1,1]。
这些度量均是越大越好
K-means算法应该算是最常见的聚类算法，该算法的目的是选择出质心，使得各个聚类内部的inertia值最小化，计算方法如下：
inertia可以被认为是类内聚合度的一种度量方式，这种度量方式的主要缺点是：
（1）inertia假设数据内的聚类都是凸的并且各向同性（ convex and isotropic），
各项同性是指在数据的属性在不同方向上是相同的。数据并不是总能够满足这些前提假设的，
所以当数据事细长簇的聚类，或者不规则形状的流形时，K-means算法的效果不理想。
（2）inertia不是一种归一化度量方式。一般来说，inertia值越小，说明聚类效果越好。
但是在高维空间中，欧式距离的值可能会呈现迅速增长的趋势，所以在进行K-means之前首先进行降维操作，如PCA等，可以解决高维空间中inertia快速增长的问题，也有主意提高计算速度。
K-means算法可以在足够长的时间内收敛，但有可能收敛到一个局部最小值。
聚类的结果高度依赖质心的初始化，因此在计算过程中，采取的措施是进行不止一次的聚类，每次都初始化不同的质心。
sklearn中可以通过设置参数init='kmeans++'来采取k-means++初始化方案，
即初始化的质心相互之间距离很远，这种方式相比于随机初始质心，能够取得更好的效果。
另外，sklearn中可以通过参数n_job，使得K-means采用并行计算的方式。
##sklearn 中K-means的主要参数：
1) n_clusters: 设定的k值
2）max_iter： 最大的迭代次数，一般如果是凸数据集的话可以不管这个值，如果数据集不是凸的，可能很难收敛，此时可以指定最大的迭代次数让算法可以及时退出循环。
3）n_init：用不同的初始化质心运行算法的次数。由于K-Means是结果受初始值影响的局部最优的迭代算法，因此需要多跑几次以选择一个较好的聚类效果，默认是10。如果你的k值较大，则可以适当增大这个值。
4）init： 即初始值选择的方式，可以为完全随机选择'random',优化过的'k-means++'或者自己指定初始化的k个质心。一般建议使用默认的'k-means++'。
5）algorithm：有“auto”, “full” or “elkan”三种选择。"full"就是我们传统的K-Means算法， “elkan”elkan K-Means算法。默认的"auto"则会根据数据值是否是稀疏的，来决定如何选择"full"和“elkan”。一般来说建议直接用默认的"auto"
聚类的中心
print clf.cluster_centers_
每个样本所属的簇
print clf.labels_
用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数
print clf.inertia_
Sum of distances of samples to their closest cluster center.
两个小例子（很久以前弄的，写得比较简略比较乱，有空再改，数据是movielen中的电影标签信息）：
例1：
例2，在区间[2,200]上遍历k,并生成两个聚类内部评价指标CH分、轮廓系数以及kmeans自带inertia分和对应的k值的图片来选择k：
其中两点相似度s(i, j)的度量默认采用负欧氏距离。
sklearn.cluster.AffinityPropagation
有参数preference（设定每一个点的偏好，将偏好于跟其他节点的相似性进行比较，选择
高的作为exmplar,未设定则使用所有相似性的中位数）、damping （阻尼系数，
利用阻尼系数与1-阻尼系数对r 及 a进行有关迭代步数的凸组合，使得算法收敛
default 0.5 可以取值与[0.5, 1]）
cluster_centers_indices_:中心样本的指标。
AP算法的主要思想是通过数据点两两之间传递的信息进行聚类。
该算法的主要优点是能够自主计算聚类的数目，而不用人为制定类的数目。
其缺点是计算复杂度较大 ，计算时间长同时空间复杂度大，
因此该算法适合对数据量不大的问题进行聚类分析。
数据点之间传递的信息包括两个，吸引度（responsibility）r(i,k)和归属度（availability）a(i,k)。
吸引度r(i,k)度量的是质心k应当作为点i的质心的程度，
归属度a(i,k)度量的是点i应当选择质心k作为其质心的程度。
其中t是迭代的次数，λ是阻尼因子，其值介于[0,1]，在sklearn.cluster.AffinityPropagation中通过参数damping进行设置。
每次更新完矩阵后，就可以为每个数据点分配质心，分配方式?是针对数据点i，遍历所有数据点k（包括其自身），
找到一个k使得r(i,k)+a(i,k)的值最大，则点k就是点i所属的质心，迭代这个过程直至收敛。
所谓收敛就是所有点所属的质心不再变化
首先说明不引入核函数时的情况。
算法大致流程为：随机选取一个点作为球心，以一定半径画一个高维球（数据可能是高维的），
在这个球范围内的点都是这个球心的邻居。这些邻居相对于球心都存在一个偏移向量，
将这些向量相加求和再平均，就得到一个mean shift，起点在原球心，重点在球内的其他位置。
以mean shift的重点作为新的球心，重复上述过程直至收敛。
这个计算过程中，高维球内的点，无论其距离球心距离多远，对于mean shift的计算权重是一样的。
为了改善这种情况，在迭代计算mean shift的过程中引入了核函数
sklearn中相关实现是sklearn.cluster.MeanShift。
sklearn中实现的是自底向上的层次聚类，实现方法是sklearn.cluster.AgglomerativeClustering。
初始时，所有点各自单独成为一类，然后采取某种度量方法将相近的类进行合并，并且度量方法有多种选择。
合并的过程可以构成一个树结构，其根节点就是所有数据的集合，叶子节点就是各条单一数据。
sklearn.cluster.AgglomerativeClustering中可以通过参数linkage选择不同的度量方法，用来度量两个类之间的距离，
可选参数有ward,complete,average三个。
ward:选择这样的两个类进行合并，合并后的类的离差平方和最小。
complete:两个类的聚类被定义为类内数据的最大距离，即分属两个类的距离最远的两个点的距离。
选择两个类进行合并时，从现有的类中找到两个类使得这个值最小，就合并这两个类。
average:两个类内数据两两之间距离的平均值作为两个类的距离。
同样的，从现有的类中找到两个类使得这个值最小，就合并这两个类。
Agglomerative cluster有一个缺点，就是rich get richer现象，
这可能导致聚类结果得到的类的大小不均衡。
从这个角度考虑，complete策略效果最差，ward得到的类的大小最为均衡。
但是在ward策略下，affinity参数只能是“euclidean”，即欧式距离。
如果在欧氏距离不适用的环境中，average is a good alternative。
另外还应该注意参数affinity，这个参数设置的是计算两个点之间距离时采用的策略，
注意和参数linkage区分，linkage设置的是衡量两个类之间距离时采用的策略，
而点之间的距离衡量是类之间距离衡量的基础。
affinity的可选数值包括 “euclidean”, “l1”, “l2”, “manhattan”, “cosine”,
‘precomputed’. If linkage is “ward”, only “euclidean” is accepted.
DBSCAN算法的主要思想是，认为密度稠密的区域是一个聚类，各个聚类是被密度稀疏的区域划分开来的。
也就是说，密度稀疏的区域构成了各个聚类之间的划分界限。与K-means等算法相比，该算法的主要优点包括：可以自主计算聚类的数目，不需要认为指定；不要求类的形状是凸的，可以是任意形状的。
DBSCAN中包含的几个关键概念包括core sample，non-core sample，min_sample，eps。
core samle是指，在该数据点周围eps范围内，至少包含min_sample个其他数据点，则该点是core sample，
这些数据点称为core sample的邻居。与之对应的，non-sample是该点周围eps范围内，所包含的数据点个数少于min_sample个。从定义可知，core sample是位于密度稠密区域的点。
一个聚类就是一个core sample的集合，这个集合的构建过程是一个递归的构成。
首先，找到任意个core sample，然后从它的邻居中找到core sample，
接着递归的从这些邻居中的core sample的邻居中继续找core sample。
要注意core sample的邻居中不仅有其他core sample，也有一些non-core smaple，
也正是因为这个原因，聚类集合中也包含少量的non-core sample，它们是聚类中core sample的邻居，
但自己不是core sample。这些non-core sample构成了边界。
在确定了如何通过单一core sample找到了一个聚类后，下面描述DBSCAN算法的整个流程。
首先，扫描数据集找到任意一个core sample，以此core sample为起点，按照上一段描述的方法进行扩充，确定一个聚类。然后，再次扫描数据集，找到任意一个不属于以确定类别的core sample，重复扩充过程，再次确定一个聚类。
迭代这个过程，直至数据集中不再包含有core sample。
这也是为什么DBSCAN不用认为指定聚类数目的原因。
DBSCAN算法包含一定的非确定性。数据中的core sample总是会被分配到相同的聚类中的，哪怕在统一数据集上多次运行DBSCAN。其不确定性主要体现在non-core sample的分配上。
一个non-core sample可能同时是两个core sample的邻居，而这两个core sample隶属于不同的聚类。
DBSCAN中，这个non-core sample会被分配给首先生成的那个聚类，而哪个聚类先生成是随机的。
sklearn中DBSCAN的实现中，邻居的确定使用的ball tree和kd-tree思想，这就避免了计算距离矩阵。
❹ 数据挖掘干货总结（四）--聚类算法
本文共计2680字，预计阅读时长七分钟
聚类算法
一 、 本质
将数据划分到不同的类里，使相似的数据在同一类里，不相似的数据在不同类里
二 、 分类算法用来解决什么问题
文本聚类、图像聚类和商品聚类，便于发现规律，以解决数据稀疏问题
三 、 聚类算法基础知识
1. 层次聚类 vs 非层次聚类
– 不同类之间有无包含关系
2. 硬聚类 vs 软聚类
– 硬聚类：每个对象只属于一个类
– 软聚类：每个对象以某个概率属于每个类
3. 用向量表示对象
– 每个对象用一个向量表示，可以视为高维空间的一个点
– 所有对象形成数据空间（矩阵）
– 相似度计算：Cosine、点积、质心距离
4. 用矩阵列出对象之间的距离、相似度
5. 用字典保存上述矩阵（节省空间）
D={(1,1):0,(1,2):2,(1,3):6...(5,5):0}
6. 评价方法
– 内部评价法（Internal Evalution）：
• 没有外部标准，非监督式
• 同类是否相似，跨类是否相异
DB值越小聚类效果越好，反之，越不好
– 外部评价法（External Evalution）：
• 准确度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22)
• 精度（Precision）: C11 / (C11 + C21 )
• 召回（Recall）: C11 / (C11 + C12 )
• F值（F-measure）：
β表示对精度P的重视程度，越大越重视，默认设置为1，即变成了F值，F较高时则能说明聚类效果较好。
四 、 有哪些聚类算法
主要分为 层次化聚类算法 ， 划分式聚类算法 ， 基于密度的聚类算法 ， 基于网格的聚类算法 ， 基于模型的聚类算法等 。
4.1 层次化聚类算法
又称树聚类算法，透过一种层次架构方式，反复将数据进行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法,Between groups average算法,Furthest neighbor算法,Neares neighbor算法等。
凝聚型层次聚类 ：
先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。
算法流程：
1. 将每个对象看作一类，计算两两之间的最小距离；
2. 将距离最小的两个类合并成一个新类；
3. 重新计算新类与所有类之间的距离；
4. 重复2、3，直到所有类最后合并成一类。
特点：
1. 算法简单
2. 层次用于概念聚类（生成概念、文档层次树）
3. 聚类对象的两种表示法都适用
4. 处理大小不同的簇
5. 簇选取步骤在树状图生成之后
4.2 划分式聚类算法
预先指定聚类数目或聚类中心，反复迭代逐步降低目标函数误差值直至收敛，得到最终结果。K-means,K-modes-Huang,K-means-CP,MDS_CLUSTER, Feature weighted fuzzy clustering，CLARANS等
经典K-means：
算法流程：
1. 随机地选择k个对象，每个对象初始地代表了一个簇的中心；
2. 对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇；
3. 重新计算每个簇的平均值，更新为新的簇中心；
4. 不断重复2、3，直到准则函数收敛。
特点：
1.K的选择
2.中心点的选择
– 随机
– 多轮随机：选择最小的WCSS
3.优点
– 算法简单、有效
– 时间复杂度：O(nkt)
4.缺点
– 不适于处理球面数据
– 密度、大小不同的聚类，受K的限制，难于发现自然的聚类
4.3 基于模型的聚类算法
为每簇假定了一个模型，寻找数据对给定模型的最佳拟合，同一”类“的数据属于同一种概率分布，即假设数据是根据潜在的概率分布生成的。主要有基于统计学模型的方法和基于神经网络模型的方法，尤其以基于概率模型的方法居多。一个基于模型的算法可能通过构建反应数据点空间分布的密度函数来定位聚类。基于模型的聚类试图优化给定的数据和某些数据模型之间的适应性。
SOM 神经网络算法 ：
该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。
SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。
算法流程：
1. 网络初始化，对输出层每个节点权重赋初值；
2. 将输入样本中随机选取输入向量，找到与输入向量距离最小的权重向量；
3. 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；
4. 提供新样本、进行训练；
5. 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。
4.4 基于密度聚类算法
只要邻近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类，擅于解决不规则形状的聚类问题，广泛应用于空间信息处理,SGC,GCHL，DBSCAN算法、OPTICS算法、DENCLUE算法。
DBSCAN：
对于集中区域效果较好，为了发现任意形状的簇，这类方法将簇看做是数据空间中被低密度区域分割开的稠密对象区域；一种基于高密度连通区域的基于密度的聚类方法，该算法将具有足够高密度的区域划分为簇，并在具有噪声的空间数据中发现任意形状的簇。
4.5 基于网格的聚类算法
基于网格的方法把对象空间量化为有限数目的单元，形成一个网格结构。所有的聚类操作都在这个网格结构（即量化空间）上进行。这种方法的主要优点是它的处理 速度很快，其处理速度独立于数据对象的数目，只与量化空间中每一维的单元数目有关。但这种算法效率的提高是以聚类结果的精确性为代价的。经常与基于密度的算法结合使用。代表算法有STING算法、CLIQUE算法、WAVE-CLUSTER算法等。
❺ 层次聚类分析案例（三）
之前的笔记：
聚类介绍： 点这里
层次聚类分析案例（一）
层次聚类分析案例（二）
获取全基因组表达数据的能力是一项计算复杂度非常高的任务。由于人脑的局限性，是无法解决这个问题。但是，通过将基因分类进数量较少的类别后再进行分析，就能将基因数据加工到更易理解的水平。
聚类的目标是将一组基因进行划分，使相似的基因落入同一个簇，同时不相似的基因落入不同的簇。这里需要考虑的关键问题是如何定义相似性，以及处理已分类基因。这里我们使用两种基因类型的感光性来探索基因聚类问题。
准备工作
为了进行层次聚类，我们使用从实验鼠身上采集的数据集。
第1步：收集和描述数据
该任务使用名为GSE4051_data和GSE4051_design的数据集。该数据集以标准格式存储在名为GSE4051_data.csv和GSE4051_design.csv的CSV格式的文件中。数据获取路径： 在这里
GSE4051_data数据集包含29949行数据和39个变量。数值型变量如下：
GSE4051_design数据集包含39行数据和4个变量。数值型变量是：sidNum
非数值型变量是：sidChar；devStage；gType；
具体实施步骤以下为实现细节。
第2步：探索数据
RColorBrewer包是一个R包，可从 http://colorbrewer2.org 获取，它提供地图和其他图形的彩色模板。
pvclust包用来实现非确定性的层次聚类分析。在层次聚类中，每个簇通过多尺度有放回抽样计算p值。一个簇的p值在0～1之间。p值有两种类型：近似无偏（approximately unbiased，AU）和有放回概率（bootstrap probability，BP）值。AU p值通过多尺度有放回采样方法计算，经典的有放回采样方法用来计算BP p值。AU p值相比BP p值存在优效性偏见。
xtable包可以生成LaTeX格式的表格。使用xtable可以将特定的R对象转换成xtables。这些xtables能够以LaTeX或HTML的格式输出。
plyr包被用来进行分置合并（split-apply-combine，SAC）过程。它将一个大的问题切分成易处理的小块，在每个小块上进行操作，然后将所有小块合并起来。
载入以下包：
让我们探索并理解变量间的关系。从导入名为GSE4051_data.csv的CSV文件开始。我们将该文件数据存储到GSE4051_data数据框中：
接下来，输出GSE4051_data数据框的信息。str（）函数返回GSE4051_data的结构信息。它简略显示了GSE4051_data数据框的内部结构。max.level指明了为了显示网状结构的最大等级。
结果如下：
下面，我们导入名为GSE4051_design.csv的CSV文件，将其数据保存到GSE4051_design数据框中：
输出GSE4051_design数据框的内部结构。
结果如下：
第3步：转换数据
为了便于后续的可视化阶段，需要对每一行数据进行拉伸操作。这是由于在目前的要求下，不同基因表达之间存在绝对值的差距，因此需要对每一行数据进行拉伸。
中心化变量和创建z值是两个常见的数据分析方法。scale函数中心化并拉伸数值型矩阵的列。
变换矩阵。传入GSE4051_data数据框用t（）函数进行数据框变换。
接下来，我们输出GSE4051_data数据框的信息。通过设置give.attr=FALSE，次级结构的属性不会被显示。
结果如下：
round（）函数用于舍入到最接近的整数。语法形式只有1种：Y = round(X)，这里的X可以是数，向量，矩阵，输出对应。
head（）函数返回一个向量、矩阵、表、数据框或函数的头部。GSE4051_data和trans_GSE4051_data数据框被当作对象传入。rowMeans（）函数计算每列的平均值。data.frame（）函数创建数据框耦合变量集合，并且共享许多指标的性质：
结果如下：
第4步：训练模型
接下来是训练模型。第一步是计算距离矩阵。dist（）函数用来计算并返回距离矩阵，可以使用特定的距离度量方法来计算数据矩阵中各行间的距离。这里可使用的距离度量方法有欧式距离、最大距离、曼哈顿距离、堪培拉距离、二进制距离，或闵可夫斯基距离。这里使用欧式距离。欧式距离计算两个向量间的距离公式为sqrt（sum（（x_i-y_i）^2））。转换后的trans_GSE4051_data数据框被用来计算距离。结果存储在pair_dist_GSE4051_data数据框中。
接下来，使用interaction（）函数计算并返回gType、devStage变量间相互作用的无序因子。无序因子的结果连同GSE4051_design数据框一同被传入with（）函数。该函数计算产生一个新的因子代表gType、devStage变量的相互作用：
summary（）函数用来生成GSE4051_design$group数据框的结果总结：
结果如下：
下面，使用多种不同的联合类型计算层次聚类。
使用hclust（）函数对n个不同对象进行聚类分析。第一个阶段，每个对象被指派给自己的簇。算法在每个阶段迭代聚合两个最相似的簇。持续该过程直到只剩一个单独的簇。hclust（）函数要求我们以距离矩阵的形式提供数据。pair_dist_GSE4051_data数据框被传入。
在第一个例子中使用single聚类方法：
结果如下：
在第二个例子中使用complete聚集方法。
调用pr.hc.complete的结果是显示所使用的聚集方法、距离计算方法和对象数量：
结果如下：
在第三个例子中使用average聚类方法：
调用pr.hc.complete的结果是显示所使用的聚集方法、距离计算方法和对象数量：
结果如下：
在第四个例子中使用ward聚类方法：
pr.hc.ward的调用结果是显示所使用的聚集方法、距离计算方法和对象数量：
结果如下：
plot（）函数是绘制R对象的通用函数。
第一次调用plot（）函数，传递pr.hc.single数据框作为输入对象：
结果如下：
第二次调用plot（）函数，传入pr.hc.complete数据框作为输入对象：
结果如下：
第三次调用plot（）函数，传入pr.hc.average数据框作为输入对象：
结果如下：
第四次调用plot（）函数，传入pr.hc.ward数据框作为输入对象：
结果如下：
第5步：绘制模型
plot（）函数是绘制R对象的通用函数。这里，plot（）函数用来绘制系统树图。
rect.hclust（）函数强调不同的簇，并在系统树图的枝干上绘制长方形。系统树图首先在某个等级上被剪切，之后在选定的枝干上绘制长方形。
RColorBrewer使用从 http://colorbrewer2.org 获得的包来选择绘制R图像的颜色模板。
颜色分为三组：
最重要的一个RColorBrewer函数是brewer.pal（）。通过向该函数传入颜色的数量和配色的名字，可以从display.brewer.all（）函数中选择一个配色方案。
在第一个例子中，pr.hc.single作为一个对象传入plot（）函数：
结果如下：
下面创建热度图，使用single聚集方法。heatmap（）函数默认使用euclidean聚集方法：
结果如下：
在第二例子中，pr.hc.complete作为对象传入plot（）函数：
结果如下：
下面使用complete聚集方法创建热度图：
结果如下：
在第三个例子中，pr.hc.average作为对象传入plot（）函数：
结果如下：
下面创建average聚集方法的热度图：
结果如下：
在第四个例子中，pr.hc.ward作为对象传入plot（）函数：
结果如下：
下面绘制ward聚集方法的热度图：
结果如下：
❻ 空间聚类算法简述
空间数据聚类算法主要包括四大类：（1）给予划分的聚类；（2）基于层次的聚类；（3）基于密度的聚类；（4）基于网格的聚类。时空数据聚类算法是空间数据聚类算法的验身，它将时许维度纳入聚类计算中。
1.1基于划分的空间聚类算法
k-means算法 ：用户定义k个簇的质心位置——将每个数据点聚合到与之最近的质心所在的簇——重新为每个簇计算质心所在位置——重复步骤二和三直到质心收敛。其计算复杂度为 ,T为步骤四中迭代次数，他对于用户给定的簇中心点的初始位置和噪声点非常敏感。同时，在处理海量数据的时候运行时间较长。
1.2基于层次的空间聚类算法
层次聚的目的是将数据对象分配到一个层次结构中，它遵循两种剧本策略：向上凝聚和向下分裂。向上凝聚方法将每一个对象看做独立的簇，然后从整个层次结构的底层开始对具有相似特征的簇聚合，逐层递归至顶层。相反，向下分裂方法把所有的数据对象看做同一个簇，然后从整个层次结构的顶层开始，对具有不同特征的簇进行分裂，逐层递归至底层。其计算的事件复杂度是
1.3基于密度的空间聚类算法
基于茄竖密度的聚类算法在发现任意形状和数据造成方面具有独特的优势，且不要求对簇的数量进行初始设置。其算法包括：DBSCAN算法，OPTICS算法，DENCLUE算法，CURD算法，Incremental DBSCAN算法，SDBDC算法，ST-DBSCAN算法等。DBSCAN是第一个被提出的基于密度的聚类算法。而密度主要通过两个基本参数进行定义：空间半径 和密度阈值MinPts.
DBSCAN基本概念：
算法的主要缺点是它的运算时间复 ,因此对海量空间数据的聚类过程需要经过一个无法忍受的耗时。它的另一个缺陷是无法支持多密度聚类埋枝、增量聚类和并行计算。许多工作针对这些问题进行了研究他们可以被概括为两大类工弯纳敏作：⑴算法改进；（2）算法并行化。传统的改进方法采用空间索引技术来快速锁定数据对象。GirDBSCAN被称为最先进的DBSCAN算法它基于网格划分策略极大的减低了算法的时间复杂度，且没有计算精度损失。得益于网格的超规则空间结构，任意两个格子之间的最短空间距离可以很容易被获取。对于任意点 ，其关于 的近邻点只存在于一个固定的格子集合范围内；换言之，那些格子集合范围外的点一定不是其的近邻点，因此这些点与点 之间的距离计算可以被省略，从而提高DBSCAN算法的计算效率。基于这个想法，Gunawan将整个网格划分为以 为边长的正方形格子，用于2维空间数据的基于密度聚类计算，使得每个正方格子内的最大空间距离为因此一旦格子内的点的数量达到或超过MinPts，则该格子里的所有点都是核心点，且属于同一个簇。因此一个簇可以通过密度相连格子和密度可达格子的最大集合进行计算，从而省略了许多点与点之间的距离计算。同时采用了Voronoi图技术，进一步改进了DBSCAN算法的运算效率。但是，构建一个Voronoi图本身需要消耗大量的时间。基于这个想法，Gan和Tao提出了一种关于p近似DBSCAN算法来获得近似精度的计算结果，但只需要关于N的线性计算时间，用于取代传统的DBSCAN算法。
1.4基于网格的聚类
基于网格聚类算法将数据空间划分为规则的互不相交的格子，再将所有的数据对象映射带网格中基于格子进行聚类。总结一下就是：将对象空间量化为有限数目的单元，形成一个网状结构，所有聚类都在这个网状结构上进行。
我们将学习一下STING算法以及CLIQUE算法。