A. 16种常用的数据分析方法-聚类分析
聚类（Clustering）就是一种寻找数据之间内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作簇。处于相同簇中的数据实例彼此相同，处于不同簇中的实例彼此不同。
聚类分析定义
聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。目的是，组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内相似性越大，组间差距越大，说明聚类效果越好。
聚类效果的好坏依赖于两个因素：1.衡量距离的方法（distance measurement） 2.聚类算法（algorithm）
聚类分析常见算法
K-均值聚类也称为快速聚类法，在最小化误差函数的基础上将数据划分为预定的类数K。该算法原理简单并便于处理大量数据。
K-均值算法对孤立点的敏感性，K-中心点算法不采用簇中对象的平均值作为簇中心，而选用簇中离平均值最近的对象作为簇中心。
也称为层次聚类，分类的单位由高到低呈树形结构，且所处的位置越低，其所包含的对象就越少，但这些对象间的共同特征越多。该聚类方法只适合在小数据量的时候使用，数据量大的时候速度会非常慢。
案例
有20种12盎司啤酒成分和价格的数据，变量包括啤酒名称、热量、钠含量、酒精含量、价格。
问题一：选择那些变量进行聚类？——采用“R 型聚类”
现在我们有4个变量用来对啤酒分类，是否有必要将4个变量都纳入作为分类变量呢？热量、钠含量、酒精含量这3个指标是要通过化验员的辛苦努力来测定，而且还有花费不少成本。
所以，有必要对4个变量进行降维处理，这里采用spss R型聚类（变量聚类），对4个变量进行降维处理。输出“相似性矩阵”有助于我们理解降维的过程。
4个分类变量各自不同，这一次我们先用相似性来测度，度量标准选用pearson系数，聚类方法选最远元素，此时，涉及到相关，4个变量可不用标准化处理，将来的相似性矩阵里的数字为相关系数。若果有某两个变量的相关系数接近1或-1，说明两个变量可互相替代。
只输出“树状图”就可以了,从proximity matrix表中可以看出热量和酒精含量两个变量相关系数0.903，最大，二者选其一即可，没有必要都作为聚类变量，导致成本增加。
至于热量和酒精含量选择哪一个作为典型指标来代替原来的两个变量，可以根据专业知识或测定的难易程度决定。（与因子分析不同，是完全踢掉其中一个变量以达到降维的目的。）这里选用酒精含量，至此，确定出用于聚类的变量为：酒精含量，钠含量，价格。
问题二：20 中啤酒能分为几类？—— 采用“Q 型聚类”
现在开始对20中啤酒进行聚类。开始不确定应该分为几类，暂时用一个3-5类范围来试探。Q型聚类要求量纲相同，所以我们需要对数据标准化，这一回用欧式距离平方进行测度。
主要通过树状图和冰柱图来理解类别。最终是分为4类还是3类，这是个复杂的过程，需要专业知识和最初的目的来识别。
这里试着确定分为4类。选择“保存”，则在数据区域内会自动生成聚类结果。
问题三：用于聚类的变量对聚类过程、结果又贡献么，有用么？——采用“单因素方差分析”
聚类分析除了对类别的确定需讨论外，还有一个比较关键的问题就是分类变量到底对聚类有没有作用有没有贡献，如果有个别变量对分类没有作用的话，应该剔除。
这个过程一般用单因素方差分析来判断。注意此时，因子变量选择聚为4类的结果，而将三个聚类变量作为因变量处理。方差分析结果显示，三个聚类变量sig值均极显着，我们用于分类的3个变量对分类有作用，可以使用，作为聚类变量是比较合理的。
问题四：聚类结果的解释？——采用”均值比较描述统计“
聚类分析最后一步，也是最为困难的就是对分出的各类进行定义解释，描述各类的特征，即各类别特征描述。这需要专业知识作为基础并结合分析目的才能得出。
我们可以采用spss的means均值比较过程，或者excel的透视表功能对各类的各个指标进行描述。其中，report报表用于描述聚类结果。对各类指标的比较来初步定义类别，主要根据专业知识来判定。这里到此为止。
以上过程涉及到spss层次聚类中的Q型聚类和R型聚类，单因素方差分析，means过程等，是一个很不错的多种分析方法联合使用的案例。
聚类分析的应用
聚类分析是细分市场的有效工具，被用来发现不同的客户群，并且它通过对不同的客户群的特征的刻画，被用于研究消费者行为，寻找新的潜在市场。
聚类分析被用来对动植物和基因进行分类，以获取对种群固有结构的认识。
聚类分析可以通过平均消费来鉴定汽车保险单持有者的分组，同时可以根据住宅类型、价值、地理位置来鉴定城市的房产分组。
聚类分析被用来在网上进行文档归类。
聚类分析通过分组聚类出具有相似浏览行为的客户，并分析客户的共同特征，从而帮助电子商务企业了解自己的客户，向客户提供更合适的服务。
B. 建议收藏！10 种 python 聚类算法完整操作示例
聚类或聚类分析是无监督学习问题。它通常被用作数据分析技术，用于发现数据中的有趣模式，例如基于其行为的客户群。有许多聚类算法可供选择，对于所有情况，没有单一的最佳聚类算法。相反，最好探索一系列聚类算法以及每种算法的不同配置。在本教程中，你将发现如何在 python 中安装和使用顶级聚类算法。完成本教程后，你将知道：
聚类分析，即聚类，是一项无监督的机器学习任务。它包括自动发现数据中的自然分组。与监督学习（类似预测建模）不同，聚类算法只解释输入数据，并在特征空间中找到自然组或群集。
群集通常是特征空间中的密度区域，其中来自域的示例（观测或数据行）比其他群集更接近群集。群集可以具有作为样本或点特征空间的中心(质心)，并且可以具有边界或范围。
聚类可以作为数据分析活动提供帮助，以便了解更多关于问题域的信息，即所谓的模式发现或知识发现。例如：
聚类还可用作特征工程的类型，其中现有的和新的示例可被映射并标记为属于数据中所标识的群集之一。虽然确实存在许多特定于群集的定量措施，但是对所识别的群集的评估是主观的，并且可能需要领域专家。通常，聚类算法在人工合成数据集上与预先定义的群集进行学术比较，预计算法会发现这些群集。
有许多类型的聚类算法。许多算法在特征空间中的示例之间使用相似度或距离度量，以发现密集的观测区域。因此，在使用聚类算法之前，扩展数据通常是良好的实践。
一些聚类算法要求您指定或猜测数据中要发现的群集的数量，而另一些算法要求指定观测之间的最小距离，其中示例可以被视为“关闭”或“连接”。因此，聚类分析是一个迭代过程，在该过程中，对所识别的群集的主观评估被反馈回算法配置的改变中，直到达到期望的或适当的结果。scikit-learn 库提供了一套不同的聚类算法供选择。下面列出了10种比较流行的算法：
每个算法都提供了一种不同的方法来应对数据中发现自然组的挑战。没有最好的聚类算法，也没有简单的方法来找到最好的算法为您的数据没有使用控制实验。在本教程中，我们将回顾如何使用来自 scikit-learn 库的这10个流行的聚类算法中的每一个。这些示例将为您复制粘贴示例并在自己的数据上测试方法提供基础。我们不会深入研究算法如何工作的理论，也不会直接比较它们。让我们深入研究一下。
在本节中，我们将回顾如何在 scikit-learn 中使用10个流行的聚类算法。这包括一个拟合模型的例子和可视化结果的例子。这些示例用于将粘贴复制到您自己的项目中，并将方法应用于您自己的数据。
1.库安装
首先，让我们安装库。不要跳过此步骤，因为你需要确保安装了最新版本。你可以使用 pip Python 安装程序安装 scikit-learn 存储库，如下所示：
接下来，让我们确认已经安装了库，并且您正在使用一个现代版本。运行以下脚本以输出库版本号。
运行该示例时，您应该看到以下版本号或更高版本。
2.聚类数据集
我们将使用 make _ classification ()函数创建一个测试二分类数据集。数据集将有1000个示例，每个类有两个输入要素和一个群集。这些群集在两个维度上是可见的，因此我们可以用散点图绘制数据，并通过指定的群集对图中的点进行颜色绘制。这将有助于了解，至少在测试问题上，群集的识别能力如何。该测试问题中的群集基于多变量高斯，并非所有聚类算法都能有效地识别这些类型的群集。因此，本教程中的结果不应用作比较一般方法的基础。下面列出了创建和汇总合成聚类数据集的示例。
运行该示例将创建合成的聚类数据集，然后创建输入数据的散点图，其中点由类标签（理想化的群集）着色。我们可以清楚地看到两个不同的数据组在两个维度，并希望一个自动的聚类算法可以检测这些分组。
已知聚类着色点的合成聚类数据集的散点图接下来，我们可以开始查看应用于此数据集的聚类算法的示例。我已经做了一些最小的尝试来调整每个方法到数据集。3.亲和力传播亲和力传播包括找到一组最能概括数据的范例。
它是通过 AffinityPropagation 类实现的，要调整的主要配置是将“ 阻尼 ”设置为0.5到1，甚至可能是“首选项”。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，我无法取得良好的结果。
数据集的散点图，具有使用亲和力传播识别的聚类
4.聚合聚类
聚合聚类涉及合并示例，直到达到所需的群集数量为止。它是层次聚类方法的更广泛类的一部分，通过 AgglomerationClustering 类实现的，主要配置是“ n _ clusters ”集，这是对数据中的群集数量的估计，例如2。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，可以找到一个合理的分组。
使用聚集聚类识别出具有聚类的数据集的散点图
5.BIRCHBIRCH
聚类（ BIRCH 是平衡迭代减少的缩写，聚类使用层次结构)包括构造一个树状结构，从中提取聚类质心。
它是通过 Birch 类实现的，主要配置是“ threshold ”和“ n _ clusters ”超参数，后者提供了群集数量的估计。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，可以找到一个很好的分组。
使用BIRCH聚类确定具有聚类的数据集的散点图
6.DBSCANDBSCAN
聚类（其中 DBSCAN 是基于密度的空间聚类的噪声应用程序）涉及在域中寻找高密度区域，并将其周围的特征空间区域扩展为群集。
它是通过 DBSCAN 类实现的，主要配置是“ eps ”和“ min _ samples ”超参数。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，尽管需要更多的调整，但是找到了合理的分组。
使用DBSCAN集群识别出具有集群的数据集的散点图
7.K均值
K-均值聚类可以是最常见的聚类算法，并涉及向群集分配示例，以尽量减少每个群集内的方差。
它是通过 K-均值类实现的，要优化的主要配置是“ n _ clusters ”超参数设置为数据中估计的群集数量。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，可以找到一个合理的分组，尽管每个维度中的不等等方差使得该方法不太适合该数据集。
使用K均值聚类识别出具有聚类的数据集的散点图
8.Mini-Batch
K-均值Mini-Batch K-均值是 K-均值的修改版本，它使用小批量的样本而不是整个数据集对群集质心进行更新，这可以使大数据集的更新速度更快，并且可能对统计噪声更健壮。
它是通过 MiniBatchKMeans 类实现的，要优化的主配置是“ n _ clusters ”超参数，设置为数据中估计的群集数量。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，会找到与标准 K-均值算法相当的结果。
带有最小批次K均值聚类的聚类数据集的散点图
9.均值漂移聚类
均值漂移聚类涉及到根据特征空间中的实例密度来寻找和调整质心。
它是通过 MeanShift 类实现的，主要配置是“带宽”超参数。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，可以在数据中找到一组合理的群集。
具有均值漂移聚类的聚类数据集散点图
10.OPTICSOPTICS
聚类（ OPTICS 短于订购点数以标识聚类结构）是上述 DBSCAN 的修改版本。
它是通过 OPTICS 类实现的，主要配置是“ eps ”和“ min _ samples ”超参数。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，我无法在此数据集上获得合理的结果。
使用OPTICS聚类确定具有聚类的数据集的散点图
11.光谱聚类
光谱聚类是一类通用的聚类方法，取自线性线性代数。
它是通过 Spectral 聚类类实现的，而主要的 Spectral 聚类是一个由聚类方法组成的通用类，取自线性线性代数。要优化的是“ n _ clusters ”超参数，用于指定数据中的估计群集数量。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，找到了合理的集群。
使用光谱聚类聚类识别出具有聚类的数据集的散点图
12.高斯混合模型
高斯混合模型总结了一个多变量概率密度函数，顾名思义就是混合了高斯概率分布。它是通过 Gaussian Mixture 类实现的，要优化的主要配置是“ n _ clusters ”超参数，用于指定数据中估计的群集数量。下面列出了完整的示例。
运行该示例符合训练数据集上的模型，并预测数据集中每个示例的群集。然后创建一个散点图，并由其指定的群集着色。在这种情况下，我们可以看到群集被完美地识别。这并不奇怪，因为数据集是作为 Gaussian 的混合生成的。
使用高斯混合聚类识别出具有聚类的数据集的散点图
在本文中，你发现了如何在 python 中安装和使用顶级聚类算法。具体来说，你学到了：
C. 数据挖掘 聚类算法概述
文 | 宿痕
来源 | 知乎
本篇重点介绍聚类算法的原理，应用流程、使用技巧、评估方法、应用案例等。具体的算法细节可以多查阅相关的资料。聚类的主要用途就是客户分群。
1.聚类 VS 分类
分类是“监督学习”，事先知道有哪些类别可以分。
聚类是“无监督学习”，事先不知道将要分成哪些类。
举个例子，比如苹果、香蕉、猕猴桃、手机、电话机。
根据特征的不同，我们聚类会分为【苹果、香蕉、猕猴桃】为水果的一类，和【手机、电话机】为数码产品的一类。
而分类的话，就是我们在判断“草莓”的时候，把它归为“水果”一类。
所以通俗的解释就是：分类是从训练集学习对数据的判断能力，再去做未知数据的分类判断；而聚类就是把相似的东西分为一类，它不需要训练数据进行学习。
学术解释：分类是指分析数据库中的一组对象，找出其共同属性。然后根据分类模型，把它们划分为不同的类别。分类数据首先根据训练数据建立分类模型，然后根据这些分类描述分类数据库中的测试数据或产生更恰当的描述。
聚类是指数据库中的数据可以划分为一系列有意义的子集，即类。在同一类别中，个体之间的距离较小，而不同类别上的个体之间的距离偏大。聚类分析通常称为“无监督学习”。
2.聚类的常见应用
我们在实际情况的中的应用会有：
marketing：客户分群
insurance：寻找汽车保险高索赔客户群
urban planning：寻找相同类型的房产
比如你做买家分析、卖家分析时，一定会听到客户分群的概念，用标准分为高价值客户、一般价值客户和潜在用户等，对于不同价值的客户提供不同的营销方案；
还有像在保险公司，那些高索赔的客户是保险公司最care的问题，这个就是影响到保险公司的盈利问题；
还有在做房产的时候，根据房产的地理位置、价格、周边设施等情况聚类热房产区域和冷房产区域。
3.k-means
（1）假定K个clusters（2）目标：寻找紧致的聚类
a.随机初始化clusters
b.分配数据到最近的cluster
c.重复计算clusters
d.repeat直到收敛
优点：局部最优
缺点：对于非凸的cluster有问题
其中K=？
K<=sample size
取决于数据的分布和期望的resolution
AIC，DIC
层次聚类避免了这个问题
4.评估聚类
鲁棒性？
聚类如何，是否过度聚合？
很多时候是取决于聚合后要干什么。
5.case案例
case 1：卖家分群云图
作者：宿痕 授权转载
原文链接：http：//zhuanlan.hu.com/dataman/20397891
D. 层次聚类分析案例（三）
之前的笔记：
聚类介绍： 点这里
层次聚类分析案例（一）
层次聚类分析案例（二）
获取全基因组表达数据的能力是一项计算复杂度非常高的任务。由于人脑的局限性，是无法解决这个问题。但是，通过将基因分类进数量较少的类别后再进行分析，就能将基因数据加工到更易理解的水平。
聚类的目标是将一组基因进行划分，使相似的基因落入同一个簇，同时不相似的基因落入不同的簇。这里需要考虑的关键问题是如何定义相似性，以及处理已分类基因。这里我们使用两种基因类型的感光性来探索基因聚类问题。
准备工作
为了进行层次聚类，我们使用从实验鼠身上采集的数据集。
第1步：收集和描述数据
该任务使用名为GSE4051_data和GSE4051_design的数据集。该数据集以标准格式存储在名为GSE4051_data.csv和GSE4051_design.csv的CSV格式的文件中。数据获取路径： 在这里
GSE4051_data数据集包含29949行数据和39个变量。数值型变量如下：
GSE4051_design数据集包含39行数据和4个变量。数值型变量是：sidNum
非数值型变量是：sidChar；devStage；gType；
具体实施步骤以下为实现细节。
第2步：探索数据
RColorBrewer包是一个R包，可从 http://colorbrewer2.org 获取，它提供地图和其他图形的彩色模板。
pvclust包用来实现非确定性的层次聚类分析。在层次聚类中，每个簇通过多尺度有放回抽样计算p值。一个簇的p值在0～1之间。p值有两种类型：近似无偏（approximately unbiased，AU）和有放回概率（bootstrap probability，BP）值。AU p值通过多尺度有放回采样方法计算，经典的有放回采样方法用来计算BP p值。AU p值相比BP p值存在优效性偏见。
xtable包可以生成LaTeX格式的表格。使用xtable可以将特定的R对象转换成xtables。这些xtables能够以LaTeX或HTML的格式输出。
plyr包被用来进行分置合并（split-apply-combine，SAC）过程。它将一个大的问题切分成易处理的小块，在每个小块上进行操作，然后将所有小块合并起来。
载入以下包：
让我们探索并理解变量间的关系。从导入名为GSE4051_data.csv的CSV文件开始。我们将该文件数据存储到GSE4051_data数据框中：
接下来，输出GSE4051_data数据框的信息。str（）函数返回GSE4051_data的结构信息。它简略显示了GSE4051_data数据框的内部结构。max.level指明了为了显示网状结构的最大等级。
结果如下：
下面，我们导入名为GSE4051_design.csv的CSV文件，将其数据保存到GSE4051_design数据框中：
输出GSE4051_design数据框的内部结构。
结果如下：
第3步：转换数据
为了便于后续的可视化阶段，需要对每一行数据进行拉伸操作。这是由于在目前的要求下，不同基因表达之间存在绝对值的差距，因此需要对每一行数据进行拉伸。
中心化变量和创建z值是两个常见的数据分析方法。scale函数中心化并拉伸数值型矩阵的列。
变换矩阵。传入GSE4051_data数据框用t（）函数进行数据框变换。
接下来，我们输出GSE4051_data数据框的信息。通过设置give.attr=FALSE，次级结构的属性不会被显示。
结果如下：
round（）函数用于舍入到最接近的整数。语法形式只有1种：Y = round(X)，这里的X可以是数，向量，矩阵，输出对应。
head（）函数返回一个向量、矩阵、表、数据框或函数的头部。GSE4051_data和trans_GSE4051_data数据框被当作对象传入。rowMeans（）函数计算每列的平均值。data.frame（）函数创建数据框耦合变量集合，并且共享许多指标的性质：
结果如下：
第4步：训练模型
接下来是训练模型。第一步是计算距离矩阵。dist（）函数用来计算并返回距离矩阵，可以使用特定的距离度量方法来计算数据矩阵中各行间的距离。这里可使用的距离度量方法有欧式距离、最大距离、曼哈顿距离、堪培拉距离、二进制距离，或闵可夫斯基距离。这里使用欧式距离。欧式距离计算两个向量间的距离公式为sqrt（sum（（x_i-y_i）^2））。转换后的trans_GSE4051_data数据框被用来计算距离。结果存储在pair_dist_GSE4051_data数据框中。
接下来，使用interaction（）函数计算并返回gType、devStage变量间相互作用的无序因子。无序因子的结果连同GSE4051_design数据框一同被传入with（）函数。该函数计算产生一个新的因子代表gType、devStage变量的相互作用：
summary（）函数用来生成GSE4051_design$group数据框的结果总结：
结果如下：
下面，使用多种不同的联合类型计算层次聚类。
使用hclust（）函数对n个不同对象进行聚类分析。第一个阶段，每个对象被指派给自己的簇。算法在每个阶段迭代聚合两个最相似的簇。持续该过程直到只剩一个单独的簇。hclust（）函数要求我们以距离矩阵的形式提供数据。pair_dist_GSE4051_data数据框被传入。
在第一个例子中使用single聚类方法：
结果如下：
在第二个例子中使用complete聚集方法。
调用pr.hc.complete的结果是显示所使用的聚集方法、距离计算方法和对象数量：
结果如下：
在第三个例子中使用average聚类方法：
调用pr.hc.complete的结果是显示所使用的聚集方法、距离计算方法和对象数量：
结果如下：
在第四个例子中使用ward聚类方法：
pr.hc.ward的调用结果是显示所使用的聚集方法、距离计算方法和对象数量：
结果如下：
plot（）函数是绘制R对象的通用函数。
第一次调用plot（）函数，传递pr.hc.single数据框作为输入对象：
结果如下：
第二次调用plot（）函数，传入pr.hc.complete数据框作为输入对象：
结果如下：
第三次调用plot（）函数，传入pr.hc.average数据框作为输入对象：
结果如下：
第四次调用plot（）函数，传入pr.hc.ward数据框作为输入对象：
结果如下：
第5步：绘制模型
plot（）函数是绘制R对象的通用函数。这里，plot（）函数用来绘制系统树图。
rect.hclust（）函数强调不同的簇，并在系统树图的枝干上绘制长方形。系统树图首先在某个等级上被剪切，之后在选定的枝干上绘制长方形。
RColorBrewer使用从 http://colorbrewer2.org 获得的包来选择绘制R图像的颜色模板。
颜色分为三组：
最重要的一个RColorBrewer函数是brewer.pal（）。通过向该函数传入颜色的数量和配色的名字，可以从display.brewer.all（）函数中选择一个配色方案。
在第一个例子中，pr.hc.single作为一个对象传入plot（）函数：
结果如下：
下面创建热度图，使用single聚集方法。heatmap（）函数默认使用euclidean聚集方法：
结果如下：
在第二例子中，pr.hc.complete作为对象传入plot（）函数：
结果如下：
下面使用complete聚集方法创建热度图：
结果如下：
在第三个例子中，pr.hc.average作为对象传入plot（）函数：
结果如下：
下面创建average聚集方法的热度图：
结果如下：
在第四个例子中，pr.hc.ward作为对象传入plot（）函数：
结果如下：
下面绘制ward聚集方法的热度图：
结果如下：
E. “聚类分析”16聚类分析之KMeans算法与K中心点算法
1.聚类
聚类属于无监督式学习。在无监督式学习中，训练样本的标记信息是未知的，算法通过对 无标记样本 的学习来揭示蕴含于数据中的性质和规律。聚类算法的任务是根据数据特征将数据集相似的数据划分到同一簇。
2.聚类分析
聚类分析是将物理的或者抽象的数据集合划分为多个类别的过程，聚类之后的每个类别中任意两个数据样本之间具有较高的相似度，而不同类别的数据样本之间具有较低的相似度。
3.聚类算法常用分类
①划分聚类方法
②层次聚类方法
③基于密度的聚类方法
④基于网格的聚类方法
4.聚类分析中相似度的计算方法
（1）连续型属性的相似度计算方法：欧式距离
（2）二值离散型属性的相似度计算方法
数据样本的二值离散型属性的取值情况：
（3）多值离散型属性的相似度计算方法：多值离散型属性转化为二值离散型属性
（4）混合类型属性的相似度计算方法
将属性按照类型分组，每个新的数据集中只包含一种类型的属性，然后对每个数据集进行单独的聚类分析，随后把混合类型的属性放在一起处理，进行一次聚类分析。
5.KMeans算法（划分法）
KMeans也称为K均值，是一种聚类算法。它可以根据数据特征将数据集分成K个不同的簇，簇的个数K是由用户指定的。KMeans算法基于 距离 来度量实例间的相似程度（与KNN算法一样，大多数问题采用欧氏距离），然后把较为相似的实例划分到同一簇。
（1）聚类的性能度量大致有以下两类：
①外部指标：将聚类结果与某个“参考模型”进行比较。
②内部指标：直接考察聚类结果而不利于参考模型。
（2）聚类算法的过程：
①随机选择k个点作为聚类中心；
②计算各个点到这k个点的距离；
③将对应的点聚到与它最近的这个聚类中心；
④重新计算聚类中心；
⑤比较当前聚类中心与前一次聚类中心，如果是同一个点，得到聚类结果，如果不是，则重复②③④⑤。
（3）聚类算法的实现：
【注】 模型效果评估指标说明：
1）inertias_：是K-Means模型对象的属性，它作为没有真实分类结果标签下的非监督式评估指标。表示样本到最近的聚类中心的距离总和。 值越小越好，越小表示样本在类间的分布越集中。
2）兰德指数（Rand index）:需要给定实际类别信息C，假设n是聚类结果，a表示在C与K中都是同类别的元素对数，b表示在C与K中都是不同类别的元素对数，则兰德指数为：
RI取值范围为[0,1]， 值越大意味着聚类结果与真实情况越吻合。
对于随机结果，RI并不能保证分数接近零。为了实现“在聚类结果随机产生的情况下，指标应该接近零”，调整兰德系数（Adjusted rand index）被提出，它具有更高的区分度：
ARI取值范围为[−1,1]， 值越大意味着聚类结果与真实情况越吻合。 从广义的角度来讲，ARI衡量的是两个数据分布的吻合程度。
3）同质化得分（Homogeneity）：如果所有的聚类都只包含属于单个类的成员的数据点，则聚类结果满足同质性。取值范围[0,1]， 值越大意味着聚类结果与真实情况越符合。
4）完整性得分（Complenteness）：如果作为给定类的成员的所有数据点是相同集群的元素，则聚类结果满足完整性。取值范围[0,1]， 值越大意味着聚类结果与真实情况越符合。
5）v_meansure_score：同质化和完整性之间的谐波平均值，v=2*（同质化*完整性）/（同质化+完整性），取值范围[0,1]， 值越大意味着聚类结果与真实情况越符合。
6.k中心点算法
（1）原理
①随机选取k个中心点；
②遍历所有数据，将每个数据划分到最近的中心点中；
③计算每个聚类的平均值，并作为新的中心点；
④重复②③，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代。
（2）与KMeans算法对比
K-中心点聚类的 基本思想 和K-Means的思想相同，实质上是对K-means算法的优化和改进。在K-means中， 异常数据对其的算法过程会有较大的影响 。在K-means算法执行过程中，可以通过随机的方式选择初始质心，也只有初始时通过随机方式产生的质心才是实际需要聚簇集合的中心点，而后面通过不断迭代产生的新的质心很可能并不是在聚簇中的点。如果某些异常点距离质心相对较大时，很可能导致重新计算得到的质心偏离了聚簇的真实中心。
F. 常见的几种聚类方法
作为无监督学习的一个重要方法，聚类的思想就是把属性相似的样本归到一类。对于每一个数据点，我们可以把它归到一个特定的类，同时每个类之间的所有数据点在某种程度上有着共性，比如空间位置接近等特性。多用于数据挖掘、数据分析等一些领域。
下面简单介绍一下几种比较常见的聚类算法。
K-means聚类方法大家应该都听说过，在各种机器学习书籍教程中也是无监督学习部分非常经典的例子。其核心主要为两个部分：其一是K，K在这里代表着类的数目，我们要把数据聚为多少类。其二是means，表示在每一次计算聚类中心的时候采取的是计算平均值。
我们假设样本总数为n，K-means聚类法可以简单表示为一下几个步骤：
1. 在样本中随机选取K个点，作为每一类的中心点。
2. 计算剩下 n-K 个样本点到每个聚类中心的距离（距离有很多种，假设这里采用欧式距离）。对于每一个样本点，将它归到和他距离最近的聚类中心所属的类。
3. 重新计算每个聚类中心的位置：步骤 2 中得到的结果是 n 个点都有自己所属的类，将每一个类内的所有点取平均值（这里假设是二维空间，即对 x 和 y 坐标分别取平均），计算出新的聚类中心。
4. 重复步骤 2 和 3 的操作，直到所有的聚类中心不再改变。
分析一下，算法本身的思想并不难。但是K值如何选择就见仁见智了，这里可以引入类内距离 J，每一类都会对应一个 J 值，其计算就是把类内所有点之间的距离累加起来。我们肯定希望 J 越小越好，因为小的类内间距代表这一类样本的相似程度更高（离得更近）。
如果 K 很小，则聚类可能不彻底，即隔着很远的两波点也被聚为一类，会使 J 变得很大；相反的，过大的 K 虽然会降低类内间距 J ，但有时候分得过细会对数据的泛化性造成损害，没有必要弄这么多类。因此 K 的选择应该是具体问题具体分析。
还有一个问题就是初始聚类中心的选择。不当的初始化会给算法的收敛带来更多的计算开销。试想一下，如果一开始把离得很近的 K 个点都设为聚类中心，那么算法的迭代次数会更多一些。
HAC也是一种比较经典的聚类方法，其主要思想是先把每一个样本点归为一类，再通过计算类间的距离，来对最相似或者距离最近的类进行归并，合成位一个新的类。反复循环，直到满足特定的迭代条件即可。
HAC的核心思想主要分为如下几个步骤：
1. 将每个样本点都视作一类，一共有n个类。
2. 计算所有类之间两两的类间距离（类间距离计算方式多种多样，可以取最近、最远、找重心等等，这里不做详述），然后把距离最近的两个类进行合并，组成一个新的更大的类。
3. 重复步骤 2 中的操作，直到达到特定的迭代条件（例如当前类的数目是初始时的 10% ，即 90% 的类都得到了合并；最小的类间距离大于预先设定的阈值等等），算法结束。
和K-means算法中的 K 值选取一样，HAC中如何选择迭代的终止条件也是一个比较复杂的问题，需要根据一定的经验，并且具体问题具体分析。
这种方法的核心思想是先计算出聚类中心，再把所有的样本点按照就近原则，归到离自身最近的聚类中心所对应的类。最大最小是指在所有的最小距离中选取最大的。其主要的算法步骤如下：
1. 随机选择一个点，作为第一个类的聚类中心 Z1。
2. 选择与步骤 1 中距离最远的样本点，作为第二个类的聚类中心 Z2。
3. 逐个计算每个点到所有聚类中心的距离，并把所有的最短的距离记录下来。
4. 在这些最短距离中挑选最大的值，如果这个最大值大于 ，其中 ,那么将这个最大距离所对应的另一个样本点作为新的聚类中心；否则整个算法结束。
5. 重复步骤 3 和 4 的操作，直到 4 中不再出现新的聚类中心。
6. 将所有的样本归到与他自身最近的聚类中心。
参考：
https://www.jianshu.com/p/4f032dccdcef
https://www.jianshu.com/p/bbac132b15a5
https://blog.csdn.net/u011511601/article/details/81951939
G. K-Means 聚类算法
问题导入
假如有这样一种情况，在一天你想去某个城市旅游，这个城市里你想去的有70个地方，现在你只有每一个地方的地址，这个地址列表很长，有70个位置。事先肯定要做好攻略，你要把一些比较接近的地方放在一起组成一组，这样就可以安排交通工具抵达这些组的“某个地址”，然后步行到每个组内的地址。那么，如何确定这些组，如何确定这些组的“某个地址”？答案就是聚类。而本文所提供的k-means聚类分析方法就可以用于解决这类问题。
一，聚类思想
所谓聚类算法是指将一堆没有标签的数据自动划分成几类的方法，属于无监督学习方法，这个方法要保证同一类的数据有相似的特征，如下图：
根据样本之间的距离或者说相似性，把越相似，差异越小的样本聚成一类（簇），最后形成多个簇，使同一个簇内部的样本相似度高，不同簇之间差异性高。
二，K-Means聚类分析算法
K-Means是一种基于自下而上的聚类分析方法，基本概念就是空间中有N个点，初始选择K个点作为中心聚类点，将N个点分别与K个点计算距离，选择自己最近的点作为自己的中心点，不断地更新中心聚集点。
相关概念：
K值：要得到的簇的个数
质心：每个簇的均值向量，即向量各维取品军即可
距离度量：常用欧几里得距离和余弦相似度(先标准化)
两点之间的距离：
算法流程：
1 首先确定一个K值，即我们希望将数据集经过聚类得到 K个集合；
2 从数据集中随机选择K个数据点作为质心；
3 对数据集中每一个点，计算其与每个质心的距离(如欧式距离)，离哪个质心近，就划分到哪个质心所属的集合
4 把所有数据归好集合，一共有K个集合，然后重新计算每个集合的质心；
5 如果新计算出来的质心和原来的质心之间的距离小于某一个设置的阈值(表示重新计算的质心的位置变化不大，趋于稳定，或者说收敛)，我们可以认为聚类已经达到期望的结果，算法终止。
6 如果新质心和原质心距离变化大，需要迭代3-5步骤
K-means实现过程
K-means 聚类算法是一种非监督学习算法，被用于非标签数据（data without defined categories or groups）。该算法使用迭代细化来产生最终结果。算法输入的是集群的数量 K 和数据集。数据集是每个数据点的一组功能。
算法从 Κ 质心的初始估计开始，其可以随机生成或从数据集中随机选择 。然后算法在下面两个步骤之间迭代：
1.数据分配：
每个质心定义一个集群。在此步骤中，基于平方欧氏距离将每个数据点分配到其最近的质心。更正式一点， ci 属于质心集合 C ，然后每个数据点 x 基于下面的公式被分配到一个集群中。
其中 dist（·）是标准（L2）欧氏距离。让指向第 i 个集群质心的数据点集合定为 Si 。
2. 质心更新：
在此步骤中，重新计算质心。这是通过获取分配给该质心集群的所有数据点的平均值来完成的。公式如下：
K-means 算法在步骤 1 和步骤 2 之间迭代，直到满足停止条件（即，没有数据点改变集群，距离的总和最小化，或者达到一些最大迭代次数）。
K 值的选择
上述算法找到特定预选 K 值和数据集标签。为了找到数据中的集群数，用户需要针对一系列 K 值运行 K-means 聚类算法并比较结果。通常，没有用于确定 K 的精确值的方法，但是可以使用以下技术获得准确的估计。
Elbow point 拐点方法
通常用于比较不同 K 值的结果的度量之一是数据点与其聚类质心之间的平均距离。由于增加集群的数量将总是减少到数据点的距离，因此当 K 与数据点的数量相同时，增加 K 将总是减小该度量，达到零的极值。因此，该指标不能用作唯一目标。相反，绘制了作为 K 到质心的平均距离的函数，并且可以使用减小率急剧变化的“拐点”来粗略地确定 K 。
DBI（Davies-Bouldin Index）
DBI 是一种评估度量的聚类算法的指标，通常用于评估 K-means 算法中 k 的取值。简单的理解就是：DBI 是聚类内的距离与聚类外的距离的比值。所以，DBI 的数值越小，表示分散程度越低，聚类效果越好。
还存在许多用于验证 K 的其他技术，包括交叉验证，信息标准，信息理论跳跃方法，轮廓方法和 G 均值算法等等。
三，数学原理
K-Means采用的启发式很简单，可以用下面一组图来形象的描述：
上述a表达了初始的数据集，假设 k=2 。在图b中，我们随机选择了两个 k 类所对应的类别质点，即图中的红色质点和蓝色质点，然后分别求样本中所有点到这两个质心的距离，并标记每个样本类别为和该样本距离最小的质心的类别，如图c所示，经过计算样本和红色质心和蓝色质心的距离，我们得到了所有样本点的第一轮迭代后的类别。此时我们对我们当前标记为红色和蓝色的点分别求其新的质心，如图d所示，新的红色质心和蓝色质心大热位置已经发生了变化。图e和图f重复了我们在图c和图d的过程，即将所有点的类别标记为距离最近的质心的类别并求出新的质心。最终我们得到的两个类别如图f.
四，实例
坐标系中有六个点：
1、我们分两组，令K等于2，我们随机选择两个点：P1和P2
2、通过勾股定理计算剩余点分别到这两个点的距离：
3、第一次分组后结果：
组A：P1
组B：P2、P3、P4、P5、P6
4、分别计算A组和B组的质心：
A组质心还是P1=（0，0）
B组新的质心坐标为：P哥=（（1+3+8+9+10）/5，（2+1+8+10+7）/5）=（6.2，5.6）
5、再次计算每个点到质心的距离：
6、第二次分组结果：
组A：P1、P2、P3
组B：P4、P5、P6
7、再次计算质心：
P哥1=（1.33，1）
P哥2=（9，8.33）
8、再次计算每个点到质心的距离：
9、第三次分组结果：
组A：P1、P2、P3
组B：P4、P5、P6
可以发现，第三次分组结果和第二次分组结果一致，说明已经收敛，聚类结束。
五、K-Means的优缺点
优点：
1、原理比较简单，实现也是很容易，收敛速度快。
2、当结果簇是密集的，而簇与簇之间区别明显时, 它的效果较好。
3、主要需要调参的参数仅仅是簇数k。
缺点：
1、K值需要预先给定，很多情况下K值的估计是非常困难的。
2、K-Means算法对初始选取的质心点是敏感的，不同的随机种子点得到的聚类结果完全不同 ，对结果影响很大。
3、对噪音和异常点比较的敏感。用来检测异常值。
4、采用迭代方法， 可能只能得到局部的最优解，而无法得到全局的最优解 。
六、细节问题
1、K值怎么定？
答：分几类主要取决于个人的经验与感觉，通常的做法是多尝试几个K值，看分成几类的结果更好解释，更符合分析目的等。或者可以把各种K值算出的 E 做比较，取最小的 E 的K值。
2、初始的K个质心怎么选？
答：最常用的方法是随机选，初始质心的选取对最终聚类结果有影响，因此算法一定要多执行几次，哪个结果更reasonable，就用哪个结果。 当然也有一些优化的方法，第一种是选择彼此距离最远的点，具体来说就是先选第一个点，然后选离第一个点最远的当第二个点，然后选第三个点，第三个点到第一、第二两点的距离之和最小，以此类推。第二种是先根据其他聚类算法（如层次聚类）得到聚类结果，从结果中每个分类选一个点。
3、关于离群值？
答：离群值就是远离整体的，非常异常、非常特殊的数据点，在聚类之前应该将这些“极大”“极小”之类的离群数据都去掉，否则会对于聚类的结果有影响。但是，离群值往往自身就很有分析的价值，可以把离群值单独作为一类来分析。
4、单位要一致！
答：比如X的单位是米，Y也是米，那么距离算出来的单位还是米，是有意义的。但是如果X是米，Y是吨，用距离公式计算就会出现“米的平方”加上“吨的平方”再开平方，最后算出的东西没有数学意义，这就有问题了。
5、标准化
答：如果数据中X整体都比较小，比如都是1到10之间的数，Y很大，比如都是1000以上的数，那么，在计算距离的时候Y起到的作用就比X大很多，X对于距离的影响几乎可以忽略，这也有问题。因此，如果K-Means聚类中选择欧几里德距离计算距离，数据集又出现了上面所述的情况，就一定要进行数据的标准化（normalization），即将数据按比例缩放，使之落入一个小的特定区间。
H. 如何正确选择聚类算法
作者 | Josh Thompson
来源 | 数据派THU
Choosing the Right Clustering Algorithm for your Dataset - KDnuggets
聚类算法十分容易上手，但是选择恰当的聚类算法并不是一件容易的事。
数据聚类是搭建一个正确数据模型的重要步骤。数据分析应当根据数据的共同点整理信息。然而主要问题是，什么通用性参数可以给出最佳结果，以及什么才能称为“最佳”。
本文适用于菜鸟数据科学家或想提升聚类算法能力的专家。下文包括最广泛使用的聚类算法及其概况。根据每种方法的特殊性，本文针对其应用提出了建议。
四种基本算法以及如何选择
聚类模型可以分为四种常见的算法类别。尽管零零散散的聚类算法不少于100种，但是其中大部分的流行程度以及应用领域相对有限。
基于整个数据集对象间距离计算的聚类方法，称为基于连通性的聚类（connectivity-based）或层次聚类。根据算法的“方向”，它可以组合或反过来分解信息——聚集和分解的名称正是源于这种方向的区别。最流行和合理的类型是聚集型，你可以从输入所有数据开始，然后将这些数据点组合成越来越大的簇，直到达到极限。
层次聚类的一个典型案例是植物的分类。数据集的“树”从具体物种开始，以一些植物王国结束，每个植物王国都由更小的簇组成（门、类、阶等）。
层次聚类算法将返回树状图数据，该树状图展示了信息的结构，而不是集群上的具体分类。这样的特点既有好处，也有一些问题：算法会变得很复杂，且不适用于几乎没有层次的数据集。这种算法的性能也较差：由于存在大量的迭代，因此整个处理过程浪费了很多不必要的时间。最重要的是，这种分层算法并不能得到精确的结构。
同时，从预设的类别一直分解到所有的数据点，类别的个数不会对最终结果产生实质性影响，也不会影响预设的距离度量，该距离度量粗略测量和近似估计得到的。
根据我的经验，由于简单易操作，基于质心的聚类（Centroid-based）是最常出现的模型。 该模型旨在将数据集的每个对象划分为特定的类别。 簇数（k）是随机选择的，这可能是该方法的最大问题。 由于与k最近邻居（kNN）相似，该k均值算法在机器学习中特别受欢迎。
计算过程包括多个步骤。首先，输入数据集的目标类别数。聚类的中心应当尽可能分散，这有助于提高结果的准确性。
其次，该算法找到数据集的每个对象与每个聚类中心之间的距离。最小坐标距离（若使用图形表示）确定了将对象移动到哪个群集。
之后，将根据类别中所有点的坐标平均值重新计算聚类的中心。重复算法的上一步，但是计算中要使用簇的新中心点。除非达到某些条件，否则此类迭代将继续。例如，当簇的中心距上次迭代没有移动或移动不明显时，聚类将结束。
尽管数学和代码都很简单，但k均值仍有一些缺点，因此我们无法在所有情景中使用它。缺点包括：
因为优先级设置在集群的中心，而不是边界，所以每个集群的边界容易被疏忽。 无法创建数据集结构，其对象可以按等量的方式分类到多个群集中。 需要猜测最佳类别数（k），或者需要进行初步计算以指定此量规。相比之下，期望最大化算法可以避免那些复杂情况，同时提供更高的准确性。简而言之，它计算每个数据集点与我们指定的所有聚类的关联概率。用于该聚类模型的主要工具是高斯混合模型（GMM）–假设数据集的点服从高斯分布。
k-means算法可以算是EM原理的简化版本。它们都需要手动输入簇数，这是此类方法要面对的主要问题。除此之外，计算原理（对于GMM或k均值）很简单：簇的近似范围是在每次新迭代中逐渐更新的。
与基于质心的模型不同，EM算法允许对两个或多个聚类的点进行分类-它仅展示每个事件的可能性，你可以使用该事件进行进一步的分析。更重要的是，每个聚类的边界组成了不同度量的椭球体。这与k均值聚类不同，k均值聚类方法用圆形表示。但是，该算法对于不服从高斯分布的数据集根本不起作用。这也是该方法的主要缺点：它更适用于理论问题，而不是实际的测量或观察。
最后，基于数据密度的聚类成为数据科学家心中的最爱。
这个名字已经包括了模型的要点——将数据集划分为聚类，计数器会输入ε参数，即“邻居”距离。因此，如果目标点位于半径为ε的圆（球）内，则它属于该集群。
具有噪声的基于密度的聚类方法（DBSCAN）将逐步检查每个对象，将其状态更改为“已查看”，将其划分到具体的类别或噪声中，直到最终处理整个数据集。用DBSCAN确定的簇可以具有任意形状，因此非常精确。此外，该算法无需人为地设定簇数 —— 算法可以自动决定。
尽管如此，DBSCAN也有一些缺点。如果数据集由可变密度簇组成，则该方法的结果较差；如果对象的位置太近，并且无法轻易估算出ε参数，那么这也不是一个很好的选择。
总而言之，我们并不能说选择了错误的算法，只能说其中有些算法会更适合特定的数据集结构。为了采用最佳的（看起来更恰当的）算法，你需要全面了解它们的优缺点。
例如，如果某些算法不符合数据集规范，则可以从一开始就将其排除在外。为避免繁琐的工作，你可以花一些时间来记住这些信息，而无需反复试验并从自己的错误中学习。
我们希望本文能帮助你在初始阶段选择最好的算法。继续这了不起的工作吧！