python两组数据差

㈠ python数据统计分析

1. 常用函数库

  scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。

 scipy的stats包含一些比较基本的工具，比如：t检验，正态性检验，卡方检验之类，statsmodels提供了更为系统的统计模型，包括线性模型，时序分析，还包含数据集，做图工具等等。

2. 小样本数据的正态性检验

(1) 用途

 夏皮罗维尔克检验法 (Shapiro-Wilk) 用于检验参数提供的一组小样本数据线是否符合正态分布，统计量越大则表示数据越符合正态分布，但是在非正态分布的小样本数据中也经常会出现较大的W值。需要查表来估计其概率。由于原假设是其符合正态分布，所以当P值小于指定显着水平时表示其不符合正态分布。

 正态性检验是数据分析的第一步，数据是否符合正态性决定了后续使用不同的分析和预测方法，当数据不符合正态性分布时，我们可以通过不同的转换方法把非正太态数据转换成正态分布后再使用相应的统计方法进行下一步操作。

(2) 示例

(3) 结果分析

 返回结果 p-value=0.029035290703177452，比指定的显着水平（一般为5%）小，则拒绝假设：x不服从正态分布。

3. 检验样本是否服务某一分布

(1) 用途

 科尔莫戈罗夫检验(Kolmogorov-Smirnov test)，检验样本数据是否服从某一分布，仅适用于连续分布的检验。下例中用它检验正态分布。

(2) 示例

(3) 结果分析

 生成300个服从N(0,1)标准正态分布的随机数，在使用k-s检验该数据是否服从正态分布，提出假设：x从正态分布。最终返回的结果，p-value=0.9260909172362317，比指定的显着水平（一般为5%）大，则我们不能拒绝假设：x服从正态分布。这并不是说x服从正态分布一定是正确的，而是说没有充分的证据证明x不服从正态分布。因此我们的假设被接受，认为x服从正态分布。如果p-value小于我们指定的显着性水平，则我们可以肯定地拒绝提出的假设，认为x肯定不服从正态分布，这个拒绝是绝对正确的。

4.方差齐性检验

(1) 用途

 方差反映了一组数据与其平均值的偏离程度，方差齐性检验用以检验两组或多组数据与其平均值偏离程度是否存在差异，也是很多检验和算法的先决条件。

(2) 示例

(3) 结果分析

 返回结果 p-value=0.19337536323599344, 比指定的显着水平（假设为5%）大，认为两组数据具有方差齐性。

5. 图形描述相关性

(1) 用途

 最常用的两变量相关性分析，是用作图描述相关性，图的横轴是一个变量，纵轴是另一变量，画散点图，从图中可以直观地看到相关性的方向和强弱，线性正相关一般形成由左下到右上的图形；负面相关则是从左上到右下的图形，还有一些非线性相关也能从图中观察到。

(2) 示例

(3) 结果分析

 从图中可以看到明显的正相关趋势。

6. 正态资料的相关分析

(1) 用途

 皮尔森相关系数（Pearson correlation coefficient）是反应两变量之间线性相关程度的统计量，用它来分析正态分布的两个连续型变量之间的相关性。常用于分析自变量之间，以及自变量和因变量之间的相关性。

(2) 示例

(3) 结果分析

 返回结果的第一个值为相关系数表示线性相关程度，其取值范围在[-1,1]，绝对值越接近1，说明两个变量的相关性越强，绝对值越接近0说明两个变量的相关性越差。当两个变量完全不相关时相关系数为0。第二个值为p-value，统计学上，一般当p-value<0.05时，可以认为两变量存在相关性。

7. 非正态资料的相关分析

(1) 用途

 斯皮尔曼等级相关系数(Spearman’s correlation coefficient for ranked data )，它主要用于评价顺序变量间的线性相关关系，在计算过程中，只考虑变量值的顺序（rank, 值或称等级），而不考虑变量值的大小。常用于计算类型变量的相关性。

(2) 示例

(3) 结果分析

 返回结果的第一个值为相关系数表示线性相关程度，本例中correlation趋近于1表示正相关。第二个值为p-value，p-value越小，表示相关程度越显着。

8. 单样本T检验

(1) 用途

 单样本T检验，用于检验数据是否来自一致均值的总体，T检验主要是以均值为核心的检验。注意以下几种T检验都是双侧T检验。

(2) 示例

(3) 结果分析

 本例中生成了2列100行的数组，ttest_1samp的第二个参数是分别对两列估计的均值，p-value返回结果，第一列1.47820719e-06比指定的显着水平（一般为5%）小，认为差异显着，拒绝假设；第二列2.83088106e-01大于指定显着水平，不能拒绝假设：服从正态分布。

9. 两独立样本T检验

(1) 用途

 由于比较两组数据是否来自于同一正态分布的总体。注意：如果要比较的两组数据不满足方差齐性， 需要在ttest_ind()函数中添加参数equal_var = False。

(2) 示例

(3) 结果分析

 返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.19313343989106416，比指定的显着水平（一般为5%）大，不能拒绝假设，两组数据来自于同一总结，两组数据之间无差异。

10. 配对样本T检验

(1) 用途

 配对样本T检验可视为单样本T检验的扩展，检验的对象由一群来自正态分布独立样本更改为二群配对样本观测值之差。它常用于比较同一受试对象处理的前后差异，或者按照某一条件进行两两配对分别给与不同处理的受试对象之间是否存在差异。

(2) 示例

(3) 结果分析

 返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.80964043445811551，比指定的显着水平（一般为5%）大，不能拒绝假设。

11. 单因素方差分析

(1) 用途

 方差分析(Analysis of Variance，简称ANOVA)，又称F检验，用于两个及两个以上样本均数差别的显着性检验。方差分析主要是考虑各组之间的平均数差别。

 单因素方差分析（One-wayAnova），是检验由单一因素影响的多组样本某因变量的均值是否有显着差异。

 当因变量Y是数值型，自变量X是分类值，通常的做法是按X的类别把实例成分几组，分析Y值在X的不同分组中是否存在差异。

(2) 示例

(3) 结果分析

 返回结果的第一个值为统计量，它由组间差异除以组间差异得到，上例中组间差异很大，第二个返回值p-value=6.2231520821576832e-19小于边界值（一般为0.05）,拒绝原假设, 即认为以上三组数据存在统计学差异，并不能判断是哪两组之间存在差异 。只有两组数据时，效果同 stats.levene 一样。

12. 多因素方差分析

(1) 用途

 当有两个或者两个以上自变量对因变量产生影响时，可以用多因素方差分析的方法来进行分析。它不仅要考虑每个因素的主效应，还要考虑因素之间的交互效应。

(2) 示例

(3) 结果分析

 上述程序定义了公式，公式中，"~"用于隔离因变量和自变量，”+“用于分隔各个自变量， ":"表示两个自变量交互影响。从返回结果的P值可以看出，X1和X2的值组间差异不大，而组合后的T:G的组间有明显差异。

13. 卡方检验

(1) 用途

 上面介绍的T检验是参数检验，卡方检验是一种非参数检验方法。相对来说，非参数检验对数据分布的要求比较宽松，并且也不要求太大数据量。卡方检验是一种对计数资料的假设检验方法，主要是比较理论频数和实际频数的吻合程度。常用于特征选择，比如，检验男人和女人在是否患有高血压上有无区别，如果有区别，则说明性别与是否患有高血压有关，在后续分析时就需要把性别这个分类变量放入模型训练。

 基本数据有R行C列, 故通称RC列联表(contingency table), 简称RC表，它是观测数据按两个或更多属性（定性变量）分类时所列出的频数表。

(2) 示例

(3) 结果分析

 卡方检验函数的参数是列联表中的频数，返回结果第一个值为统计量值，第二个结果为p-value值，p-value=0.54543425102570975，比指定的显着水平（一般5%）大，不能拒绝原假设，即相关性不显着。第三个结果是自由度，第四个结果的数组是列联表的期望值分布。

14. 单变量统计分析

(1) 用途

 单变量统计描述是数据分析中最简单的形式，其中被分析的数据只包含一个变量，不处理原因或关系。单变量分析的主要目的是通过对数据的统计描述了解当前数据的基本情况，并找出数据的分布模型。

 单变量数据统计描述从集中趋势上看，指标有：均值，中位数，分位数，众数；从离散程度上看，指标有：极差、四分位数、方差、标准差、协方差、变异系数，从分布上看，有偏度，峰度等。需要考虑的还有极大值，极小值（数值型变量）和频数，构成比（分类或等级变量）。

 此外，还可以用统计图直观展示数据分布特征，如：柱状图、正方图、箱式图、频率多边形和饼状图。

15. 多元线性回归

(1) 用途

 多元线性回归模型（multivariable linear regression model ），因变量Y（计量资料）往往受到多个变量X的影响，多元线性回归模型用于计算各个自变量对因变量的影响程度，可以认为是对多维空间中的点做线性拟合。

(2) 示例

(3) 结果分析

 直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显着性，P<0.05则认为自变量具有统计学意义，从上例中可以看到收入INCOME最有显着性。

16. 逻辑回归

(1) 用途

 当因变量Y为2分类变量（或多分类变量时）可以用相应的logistic回归分析各个自变量对因变量的影响程度。

(2) 示例

(3) 结果分析

 直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显着性，P<0.05则认为自变量具有统计学意义。

㈡ 用python求数据表中数据的均值与方差

以下为代码：

numstr = input("请输入全部数据：用英文逗号(,)，中文逗号(，)，

空格( )，制表符(tab键)或换行(请一次性复制过来)中的一种统一分隔数据：")

if "," in numstr:

numlist = numstr.split(",")

elif "，" in numstr:

numlist = numstr.split("，")

elif " " in numstr:

numlist = numstr.split(" ")

elif " " in numstr:

numlist = numstr.split(" ")

elif " " in numstr:

numlist = numstr.split(" ")

else:

numlist = [numstr]

numlist = list(map(lambda x:x.strip(",").strip("，").

strip(" ").strip(" ").strip(" "), numlist))

for i in numlist.():

try:

a = float(i)

except:

numlist.remove(i)

print("已过滤字符串：%s"%i)

#好了，上面很多只是方便用户而已（但还是有一些有用的），主要是下面

numlist = list(map(lambda x:float(x), numlist))#所有字符串转为浮点

print("最终数列：",numlist)#输出最终数列，进行核对

average = sum(numlist)/len(numlist)#用数列和除以出列长度得到平均数

variance = 0#方差，先记为0

for i in numlist:#遍历列表

variance += (i - average) ** 2#反正就是公式对吧，先加进去

variance /= len(numlist)#还是公式，那一长串还得除以一个数列长度

print("均值：%.2f 方差：%.2f"%(average, variance))#分两行输出

以下为输出效果：

请输入全部数据：用英文逗号(,)，中文逗号(，)，空格( )，制表符(tab键)或换行(请一次性复制过来)中的一种统一分隔数据：38,22,99,10,99,7, 25,,40

已过滤字符串：

最终数列： [38.0, 22.0, 99.0, 10.0, 99.0, 7.0, 25.0, 40.0]

均值：42.50

方差：1181.75

以下为解析：

平均值的思路就是总和除以列表长度，方差的思路就是把所有的(x-均值)²加起来，最后再除以一个长度即可。

本程序的优点：输入时逗号后出现空格与不小心多打逗号等情况都不会出问题，可以接受小数，可以先输出最终数列以供核对。

㈢ python 如何对两个数组做差处理

转成集合，通过集合的求差方法，然后将结果再转成list

㈣ python txt数据 作差

我的Python 版本为 : 3.6.2， 环境为 Windows 7

#-*-coding:utf-8-*-

importos

initFile='./test.txt'
resultFile='./test1.txt'


definit():
	print('初始化数据中,请稍等....
')
	withopen(initFile,'w')asf:
		initValue=1
		currentValue=1
		while(True):
			ifcurrentValue>10000:break
			f.write(str(currentValue)+'
')
			currentValue+=initValue
			initValue+=1
	print('初始数据文件已经生成成功,它位于[{}]
'.format(initFile))


defaction():
	ifnotos.path.exists(initFile):
		returnprint('初始文件不存在,请选初始化数据
')
	print('这是所有式子:
')
	withopen(resultFile,'w')as_f:
		withopen(initFile,'r')asf:
			mark=None
			forlineinf.readlines():
				line=int(line.strip())
				ifmark==None:
					mark=line
				else:
					print('{}-{}={}'.format(line,mark,line-mark))
					_f.write(
						str(line-mark)+'
'
					)
					mark=line
	print('结果文件已经成功生成,它位于[{}]
'.format(resultFile))


defmenu():
	print('请选择你的需求：')
	id=int(input('1、初始化数据2、已有数据,生成结果
'))
	if(id==1):init()
	if(id==2):action()
	returnmenu()

menu()

㈤ python怎么提取一组数据中差值为10以内的数

python提取一组数据中差值为10以内的数：潘森提取速度入账数据，可以将数组读取出来，然后一个一个的进行提取，按照数组的几维来进行读取。

a=[10, 8, 2, 45, 69, 38, 11, 15] #假设该列表为需要输入的一组数，a.sort(reverse = True) #首先对这组数进行从大到小的排序。

print a #输出排序结果。

min = a[0] #令min变量记录该列表中最大的值。

for i in range( len(a) -1 ): #i用来控制列表下标, 元素个数-1为了防止下面的相减越界。

if a[i] - a[i+1] < min: #当前一个数减后一个小于当前min里的值时, 更新最小值。

可移植性：

由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）。这些平台包括linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/39。

、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE、PocketPC、Symbian以及Google基于linux开发的android平台。

一个用编译性语言比如C或C++写的程序可以从源文件（即C或C++语言）转换到一个你的计算机使用的语言（二进制代码，即0和1）。这个过程通过编译器和不同的标记、选项完成。

㈥ 2 如何用Python进行数据计算

numpy计算平均数 标准差 相关系数等基本知识

NumPy 是python 语言的一个第三方库，其支持大量高维度数组与矩阵运算。此外，NumPy 也针对数组运算提供大量的数学函数。

#导入Numpy库，并命名为np

import numpy as np

#创建一维数组

a = np.array([1, 2, 3])

# NumPy可以很方便地创建连续数组，比如我使用arange或linspace函数进行创建：

b = np.arange(1,5,1) // 返回一个有终点和起点、固定步长的排列，如起点是1，终点是4，步长为1，即【1,2,3,4】，

c = np.linspace(1,9,5) 返回一个有终点和起点、元素个数的的排列，如起点是1，终点是9，元素个数为5,即【1,3,5,7,9】

#通过NumPy可以自由地创建等差数组，同时也可以进行加、减、乘、除、求n次方和取余数。

求和：np.sum(a)

求取平均值：np.mean(a)

求取中位数：np.median(a)

求取加权平均数：np.average(a)

求取方差：var() np.var(a)

求取最小值：np.amin(a)

求取最大值：np.amax(a)

将两个数相加：np.add(x1, x2)

将两个数相减：np.subtract(x1, x2)

将两个数相乘：np.multiply(x1, x2)

将两个数相除：np.divide(x1, x2)

立方：np.power(x1, x2)

除余：np.remainder(x1, x2)

相关系数计算：np.corrcoef(a1, a2) (a1、a2都是矩阵)

㈦ 利用Python画Venn韦恩图分析数据差异及共同点

有时候我们的数据之间需要比较异同点，这时我们可以利用Python画Venn韦恩图来分析

示例速览

例如我有两组数据（字符串行表），一组自己的数据，一组文献上的数据，需要分析共同的个数

结果：
可得到如下数据图表 两组数据之间有39个相同的