python求特征值的函数

‘壹’ python 数据可视化：分类特征统计图

上一课已经体验到了 Seaborn 相对 Matplotlib 的优势，本课将要介绍的是 Seaborn 对分类数据的统计，也是它的长项。

针对分类数据的统计图，可以使用 sns.catplot 绘制，其完整参数如下：

本课使用演绎的方式来学习，首先理解这个函数的基本使用方法，重点是常用参数的含义。

其他的参数，根据名称也能基本理解。

下面就依据 kind 参数的不同取值，分门别类地介绍各种不同类型的分类统计图。

读入数据集：

然后用这个数据集制图，看看效果：

输出结果：

毫无疑问，这里绘制的是散点图。但是，该散点图的横坐标是分类特征 time 中的三个值，并且用 hue='kind' 又将分类特征插入到图像中，即用不同颜色的的点代表又一个分类特征 kind 的值，最终得到这些类别组合下每个记录中的 pulse 特征值，并以上述图示表示出来。也可以理解为，x='time', hue='kind' 引入了图中的两个特征维度。

语句 ① 中，就没有特别声明参数 kind 的值，此时是使用默认值 'strip'。

与 ① 等效的还有另外一个对应函数 sns.stripplot。

输出结果：

② 与 ① 的效果一样。

不过，在 sns.catplot 中的两个参数 row、col，在类似 sns.stripplot 这样的专有函数中是没有的。因此，下面的图，只有用 sns.catplot 才能简洁直观。

输出结果：

不过，如果换一个叫角度来说，类似 sns.stripplot 这样的专有函数，表达简单，参数与 sns.catplot 相比，有所精简，使用起来更方便。

仔细比较，sns.catplot 和 sns.stripplot 两者还是稍有区别的，虽然在一般情况下两者是通用的。

因此，不要追求某一个是万能的，各有各的用途，存在即合理。

不过，下面的声明请注意： 如果没有非常的必要，比如绘制分区图，在本课中后续都演示如何使用专有名称的函数。

前面已经初步解释了这个函数，为了格式完整，这里再重复一下，即 sns.catplot 中参数 kind='strip'。

如果非要将此函数翻译为汉语，可以称之为“条状散点图”。以分类特征为一坐标轴，在另外一个坐标轴上，根据分类特征，将该分类特征数据所在记录中的连续值沿坐标轴描点。

从语句 ② 的结果图中可以看到，这些点虽然纵轴的数值有相同的，但是没有将它们重叠。因此，我们看到的好像是“一束”散点，实际上，所有点的横坐标都应该是相应特征分类数据，也不要把分类特征的值理解为一个范围，分散开仅仅是为了图示的视觉需要。

输出结果：

④ 相对 ② 的图示，在于此时同一纵轴值的都重合了——本来它们的横轴值都是一样的。实现此效果的参数是 jitter=0，它可以表示点的“振动”，如果默认或者 jitter=True，意味着允许描点在某个范围振动——语句 ② 的效果；还可设置为某个 0 到 1 的浮点，表示许可振动的幅度。请对比下面的操作。

输出结果：

语句 ② 中使用 hue='kind' 参数向图中提供了另外一个分类特征，但是，如果感觉图有点乱，还可以这样做：

输出结果：

dodge=True 的作用就在于将 hue='kind' 所引入的特征数据分开，相对 ② 的效果有很大差异。

并且，在 ⑤ 中还使用了 paletter='Set2' 设置了色彩方案。

sns.stripplot 函数中的其他有关参数，请读者使用帮助文档了解。

此函数即 sns.catplot 的参数 kind='swarm'。

输出结果：

再绘制一张简单的图，一遍研究这种图示的本质。

输出结果：

此图只使用了一个特征的数据，简化表象，才能探究 sns.swarmplot 的本质。它同样是将该特征中的数据，依据其他特征的连续值在图中描点，并且所有点在默认情况下不彼此重叠——这方面与 sns.stripplot 一样。但是，与之不同的是，这些点不是随机分布的，它们经过调整之后，均匀对称分布在分类特征数值所在直线的两侧，这样能很好地表示数据的分布特点。但是，这种方式不适合“大数据”。

sns.swarmplot 的参数似乎也没有什么太特殊的。下面使用几个，熟悉一番基本操作。

在分类维度上还可以再引入一个维度，用不同颜色的点表示另外一种类别，即使用 hue 参数来实现。

输出结果：

这里用 hue = 'smoker' 参数又引入了一个分类特征，在图中用不同颜色来区分。

如果觉得会 smoker 特征的值都混在一起有点乱，还可以使用下面方式把他们分开——老调重弹。

输出结果：

生成此效果的参数就是 dodge=True，它的作用就是当 hue 参数设置了特征之后，将 hue 的特征数据进行分类。

sns.catplot 函数的参数 kind 可以有三个值，都是用于绘制分类的分布图：

下面依次对这三个专有函数进行阐述。

‘贰’ 谱聚类（Spectral clustering）（python实现）

谱聚类概念 ：
谱聚类是一种基于图论的聚类方法，通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而达到对样本数据聚类的母的。谱聚类可以理解为将高维空间的数据映射到低维，然后在低维空间用其它聚类算法（如KMeans）进行聚类。

算法步骤

1 计算相似度矩阵 W
2 计算度矩阵 D
3 计算拉普拉斯矩阵L=D-W
4 计算L的特征值，将特征值从小到大排序，取前k个特征值.将这个特征值向量转换为矩阵
5 通过其他聚类算法对其进行聚类，如k-means
详细公式和概念请到 大佬博客

相比较PCA降维中取前k大的特征值对应的特征向量，这里取得是前k小的特征值对应的特征向量。但是上述的谱聚类算法并不是最优的，接下来我们一步一步的分解上面的步骤，总结一下在此基础上进行优化的谱聚类的版本。

python实现
例子一：使用谱聚类从噪声背景中分割目标

效果图

例子2：分割图像中硬币的区域

效果图

注意
1）当聚类的类别个数较小的时候，谱聚类的效果会很好，但是当聚类的类别个数较大的时候，则不建议使用谱聚类；

（2）谱聚类算法使用了降维的技术，所以更加适用于高维数据的聚类；

（3）谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效。这点传统聚类算法（比如K-Means）很难做到

（4）谱聚类算法建立在谱图理论基础上，与传统的聚类算法相比，它具有能在任意形状的样本空间上聚类且收敛于全局最优解
（5）谱聚类对相似度图的改变和聚类参数的选择非常的敏感；

（6）谱聚类适用于均衡分类问题，即各簇之间点的个数相差不大，对于簇之间点个数相差悬殊的聚类问题，谱聚类则不适用；

参考
谱聚类算法介绍
sklearn官网

‘叁’ 特征值，特征向量，标准正交向量组与numpy

使用python的数值计算库numpy来计算矩阵的特征值，特征向量与标准正交向量组

1.求矩阵 的特征值和各特征值所对应的特征向量

2.求矩阵 的特征值和各特征值所对应的特征向量

3.由向量组 构造一组标准正交向量组

‘肆’ python中有没有求灰度共生矩阵的函数

matlab提供了现成的函数
graycomatrix生成共生矩阵
graycoprops计算其特征值
具体用法：
glcm = graycomatrix(I)通过计算具有灰度级i和灰度级j的像素对在水平方向相邻出现的频繁程度。glcm中的每个元素说明了水平方向相邻像素对出现的次数。

‘伍’ Python数据分析在数学建模中的应用汇总（持续更新中！）

1、Numpy常用方法使用大全（超详细）

1、Series和DataFrame简单入门
2、Pandas操作CSV文件的读写
3、Pandas处理DataFrame，Series进行作图

1、Matplotlib绘图之属性设置
2、Matplotlib绘制误差条形图、饼图、等高线图、3D柱形图

1、层次分析法（AHP）——算数平均值法、几何平均值法、特征值法（Python实现，超详细注释）
2、Python实现TOPSIS分析法（优劣解距离法）
3、Python实现线性插值和三次样条插值
4、Python实现线性函数的拟合算法
5、Python实现统计描述以及计算皮尔逊相关系数
6、Python实现迪杰斯特拉算法和贝尔曼福特算法求解最短路径

‘陆’ 怎样求特征值和特征向量

求特征值的传统方法是令特征多项式｜ AE－A｜ ＝ 0，求出A的特征值，对于A的任一特征值h，特征方程（ aE－ A）X＝ 0的所有非零解X即为矩阵A的属于特征值N的特征向量两者的计算是分割的，一个是计算行列式，另一个是解齐次线性方程组，且计算量都较大。使用matlab可以方便的计算任何复杂的方阵的特征值和特征向量：

1、首先需要知道计算矩阵的特征值和特征向量要用eig函数，可以在命令行窗口中输入help eig，查看一下eig函数的用法，如下图所示：

注意事项：

特征值和特征向量的应用：

1、可以用在研究物理、化学领域的微分方程、连续的或离散的动力系统中。例如，在力学中，惯量的特征向量定义了刚体的主轴。惯量是决定刚体围绕质心转动的关键数据；

2、数学生态学家用来预测原始森林遭到何种程度的砍伐，会造成猫头鹰的种群灭亡；

3、着名的图像处理中的PCA方法，选取特征值最高的k个特征向量来表示一个矩阵，从而达到降维分析+特征显示的方法，还有图像压缩的K-L变换。再比如很多人脸识别，数据流模式挖掘分析等方面。

‘柒’ python求特征值和特征向量

拍子在求特征值和特征向量的过程中，你可以一定要变成这些正确编写，正确之后的话就能够直接出来了。

‘捌’ python pca怎么得到主成份

一般步骤来实现PCA算法

（1）零均值化

假如原始数据集为矩阵dataMat，dataMat中每一行代表一个样本，每一列代表同一个特征。零均值化就是求每一列的平均值，然后该列上的所有数都减去这个均值。也就是说，这里零均值化是对每一个特征而言的，零均值化都，每个特征的均值变成0。实现代码如下：

[python]view plain

• defzeroMean(dataMat):

• meanVal=np.mean(dataMat,axis=0)#按列求均值，即求各个特征的均值

• newData=dataMat-meanVal

• returnnewData,meanVal

函数中用numpy中的mean方法来求均值，axis=0表示按列求均值。

该函数返回两个变量，newData是零均值化后的数据，meanVal是每个特征的均值，是给后面重构数据用的。

（2）求协方差矩阵

[python]view plain

• newData,meanVal=zeroMean(dataMat)

• covMat=np.cov(newData,rowvar=0)


numpy中的cov函数用于求协方差矩阵，参数rowvar很重要！若rowvar=0，说明传入的数据一行代表一个样本，若非0，说明传入的数据一列代表一个样本。因为newData每一行代表一个样本，所以将rowvar设置为0。

covMat即所求的协方差矩阵。

（3）求特征值、特征矩阵

调用numpy中的线性代数模块linalg中的eig函数，可以直接由covMat求得特征值和特征向量：

[python]view plain

• eigVals,eigVects=np.linalg.eig(np.mat(covMat))

eigVals存放特征值，行向量。

eigVects存放特征向量，每一列带别一个特征向量。

特征值和特征向量是一一对应的



（4）保留主要的成分[即保留值比较大的前n个特征]

第三步得到了特征值向量eigVals，假设里面有m个特征值，我们可以对其排序，排在前面的n个特征值所对应的特征向量就是我们要保留的，它们组成了新的特征空间的一组基n_eigVect。将零均值化后的数据乘以n_eigVect就可以得到降维后的数据。代码如下：

[python]view plain

• eigValIndice=np.argsort(eigVals)#对特征值从小到大排序

• n_eigValIndice=eigValIndice[-1:-(n+1):-1]#最大的n个特征值的下标

• n_eigVect=eigVects[:,n_eigValIndice]#最大的n个特征值对应的特征向量

• lowDDataMat=newData*n_eigVect#低维特征空间的数据

• reconMat=(lowDDataMat*n_eigVect.T)+meanVal#重构数据

• returnlowDDataMat,reconMat


代码中有几点要说明一下，首先argsort对特征值是从小到大排序的，那么最大的n个特征值就排在后面，所以eigValIndice[-1:-(n+1):-1]就取出这个n个特征值对应的下标。【python里面，list[a:b:c]代表从下标a开始到b，步长为c。】

‘玖’ 在Python中如何提取多个图片的特征值

importnumpyasnp

importmatplotlib.pyplotasplt

importscipy

caffe_root='/home/hser/Project/caffe/'

importsys

sys.path.insert(0,caffe_root+'python/')

importcaffe


plt.rcParams['figure.figsize']=(10,10)

plt.rcParams['image.interpolation']='nearest'

plt.rcParams['image.cmap']='gray'

net=caffe.Classifier(caffe_root+'models/bvlc_reference_caffenet/deploy.prototxt',

caffe_root+'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel')

net.set_phase_test()

net.set_mode_cpu()

net.set_mean('data',np.load(caffe_root+'python/caffe/imagenet/ilsvrc_2012_mean.npy'))

net.set_raw_scale('data',255)

net.set_channel_swap('data',(2,1,0))


#infact,youcaninputalistofimages.

scores=net.predict([caffe.io.load_image(caffe_root+"examples/yilin/data/building.jpg"),caffe.io.load_image(caffe_root+"examples/yilin/data/thumb.jpg")])

output=open("feature.txt","w")

#printscores[0].argmax()

#print[(k,v.data.shape)fork,vinnet.blobs.items()]


#thefc6isthefc6layerfeature,data[4]meansthefivecropimages,-images.

#feat=net.blobs['fc6'].data[4]

feat=net.blobs['prob'].data[4]

plt.plot(feat.flat)

plt.show()


feat2=net.blobs['fc6'].data[14]

plt.plot(feat2.flat)

plt.show()