python样本比例检验

㈠ 怎么用python算p值和t检验

引入相关模块，这次我们使用stats的
产生两列随机变量，用到了stats。norm.rvs，参数loc表示平均数，scale表示标准差，size是样本量这是产生的两个变量的数据的一部分
ttest_rel的用法：输出t和p值从p值可以看出，这两列数据是没有差异的。
当然，ttest_rel还可以接受pandas.DataFrame数据，先从excel中读取数据我们可以看一下数据的基本内容：
我们可以选择scoreA和ScoreB这两列数据进行T检验输出的结果可见两列变量均值无差异
我们还可以同时对多个变量进行检验，比如：这是产生的结果可见：第一个array表示t值，两个表示p值，因此我们可以知道p(scoreA)=0.126>0.05

㈡ python随机森林分类模型，测试集和训练集的样本数没有准确按照70%和30%分配

进行比例划分的时候 从 int 型 转化为了 float 型， float型总是会有微小的误差的，这个不是大问题。
比如你输入 1- 0.9 ， 可能返回 0.1， 也可能返回0.09999999 或者 0.100000000001 , 这是计算机存储机制导致的。

㈢ 如何用python写 数据分析工具

• 数据导入

• 导入本地的或者web端的CSV文件；

• 数据变换；

• 数据统计描述；

• 假设检验

• 单样本t检验；

• 可视化；

• 创建自定义函数。

数据导入

这是很关键的一步，为了后续的分析我们首先需要导入数据。通常来说，数据是CSV格式，就算不是，至少也可以转换成CSV格式。在Python中，我们的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

为了读取本地CSV文件，我们需要pandas这个数据分析库中的相应模块。其中的read_csv函数能够读取本地和web数据。

数据变换

既然在工作空间有了数据，接下来就是数据变换。统计学家和科学家们通常会在这一步移除分析中的非必要数据。我们先看看数据：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 1591023349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

对R语言程序员来说，上述操作等价于通过print(head(df))来打印数据的前6行，以及通过print(tail(df))来打印数据的后6行。当然Python中，默认打印是5行，而R则是6行。因此R的代码head(df, n = 10)，在Python中就是df.head(n = 10)，打印数据尾部也是同样道理。

在R语言中，数据列和行的名字通过colnames和rownames来分别进行提取。在Python中，我们则使用columns和index属性来提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

数据转置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他变换，例如排序就是用sort属性。现在我们提取特定的某列数据。Python中，可以使用iloc或者ix属性。但是我更喜欢用ix，因为它更稳定一些。假设我们需数据第一列的前5行，我们有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

顺便提一下，Python的索引是从0开始而非1。为了取出从11到20行的前3列数据，我们有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相当于df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

为了舍弃数据中的列，这里是列1(Apayao)和列2(Benguet)，我们使用drop属性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis参数告诉函数到底舍弃列还是行。如果axis等于0，那么就舍弃行。

统计描述

下一步就是通过describe属性，对数据的统计特性进行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假设检验

Python有一个很好的统计推断包。那就是scipy里面的stats。ttest_1samp实现了单样本t检验。因此，如果我们想检验数据Abra列的稻谷产量均值，通过零假设，这里我们假定总体稻谷产量均值为15000，我们有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值组成的元祖：

• t : 浮点或数组类型
  t统计量

• prob : 浮点或数组类型
  two-tailed p-value 双侧概率值

通过上面的输出，看到p值是0.267远大于α等于0.05，因此没有充分的证据说平均稻谷产量不是150000。将这个检验应用到所有的变量，同样假设均值为15000，我们有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一个数组是t统计量，第二个数组则是相应的p值。

可视化

Python中有许多可视化模块，最流行的当属matpalotlib库。稍加提及，我们也可选择bokeh和seaborn模块。之前的博文中，我已经说明了matplotlib库中的盒须图模块功能。

;

• 重复100次; 然后

• 计算出置信区间包含真实均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代码读起来很简单，但是循环的时候就很慢了。下面针对上述代码进行了改进，这多亏了Python专家，看我上篇博文的15条意见吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些对于本文ipython notebook版本感兴趣的，请点击这里。这篇文章由Nuttens Claude负责转换成ipython notebook 。

㈣ 相关比例检验

网站投放广告的时候，一开始给大家看到的落地页是访问课程资料,现在又推出了开始免费试学这个落地页，网站的两个不同的落地页（老版本，新版本），想知道哪个版本的落地页能带来更多的转化率，这时候就要检测两个落地页的转化效果，下面是测试的24天数据

#读取数据

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

df = pd.read_csv('C:/Users/mxl/Desktop/小鸟计划/ab_data.csv')

df.head()

user_id-用户，timestamp-用户访问页面的时间，group-旧方案control和新方案trement分组， landing_page-落地页是旧页（访问课程资料）或新页（开始免费试学），converted-1表示已转化

#查看每一列的数据类型

df.dtypes

#描述统计信息

df.describe()

#数据集中有treament和new_page不一致的数据，要对数据集中的这些数据进行剔除,观察treatment有写成treament

df.loc[(df["group"] == "treatment")!=(df["landing_page"] == "new_page")].count()

#剔除错误记录，剩下的作为测试数据

df_test = df.loc[~((df["group"] == "treatment")!=(df["landing_page"] == "new_page"))]

#查看有没有重复用户,若有就去重

df_test.user_id.nunique()

#对重复的数据用plicate进行删除，对象是User_id，保留第一个

df_test = df_test.drop_plicates(subset=["user_id"],keep='first')

#样本均值

a_mean=df_test.loc[df_test['landing_page']=='new_page']['converted'].mean()

b_mean=df_test.loc[df_test['landing_page']=='old_page']['converted'].mean()

#样本数量

n_a=df_test.loc[df_test['group']=='treatment'].shape[0]

n_b=df_test.loc[df_test['group']=='control'].shape[0]

print('A版本平均值=',a_mean,'转化量')

print('B版本平均值=',b_mean,'转化量')

自变量是指原因。因变量是指结果，也就是自变量发生变化导致改变的值就是因变量。

自变量：我们有两组实验数据，第一组是落地页是新网页。第二组落地页是旧网页。所以自变量是落地页的类型

因变量：落地页带来的转化量

所以，我们要考察的是自变量（落地页）两种情况下对因变量（网页成交转化量）的影响。

测试用户分为两部分，一部分用新页面A，一部分用旧页面B，经过一定时间后，收集到两方案的观测数据，要研究的问题是A和B方案的转化率的差异性。由于我们期望是A方案页面的成交转化率高于B方案页面的成交转化率，所以提出下面两个互为相反的假设：

零假设：u_a-u_b= 0

零假设总是表述为研究没有改变，没有效果，不起作用等。

备选假设：u_a-u_b>0

A版本和B版本有差别，也就是A版本平均值大于B版本平均值。

由于两种数据是相关样本，采用的是相关比例检验

相关比例检验只关注每组数据相关比例的差值

备选假设是A版本和B版本有差别，也就是A版本转化率平均值大于B版本转化率平均值，所以我们使用右尾检验。

在零假设成立前提下，得到样本平均值的概率p是多少？

'''用python统计包statsmodels.stats.proportion.proportions_ztest自动计算

'''

#导入统计模块

import statsmodels.stats.proportion as sm

#计算转化在新网页和旧网页的样本比例

convert_new = df_test.query('group == "treatment" & converted == 1').shape[0]

convert_old = df_test.query('group == "control" & converted == 1').shape[0]

z_score,p_value = sm.proportions_ztest([convert_new,convert_old],[n_a,n_b],alternative='smaller')

这里alternative表示备择假设可以是双侧检验two-sided，也可以是单侧检验之一，smaller表示备择假设为prop < value，较大的表示prop >value。在两个样本检验中，smaller表示备择假设为p1 < p2，较大的表示p1 > p2，其中p1为第一个样本比例，p2第二个样本的比例。

z_score,p_value

显着水平 alpha=0.05

#右尾判断条件：p_value<alpha时，拒绝原假设

if(p_value<alpha):

    print('拒绝零假设，有统计显着，也就是接受备选假设')

    print('备选假设：A版本和B版本有差异')

else:

    print('接受零假设，没有统计显着')

    print('零假设：A版本和B版本没有差异')

#1）置信水平对于的z值

#2）计算上下限

#置信区间上限=样本平均值-z_score*标准误差

#置信区间下限=样本平均值+z_score*标准误差

a=(a_mean-b_mean)-z_score*np.sqrt(a_mean*(1-a_mean)/n_a + b_mean*(1-b_mean)/n_b)

b=(a_mean-b_mean)+z_score*np.sqrt(a_mean*(1-a_mean)/n_a + b_mean*(1-b_mean)/n_b)

#总体比例差平均值差值对应的值是0

pop_mean=0

#样本比例差平均值差值对应的值是0

sample_mean=a_mean-b_mean

#总体比例差平均值差值的标准差

sample_std=np.sqrt(a_mean*(1-a_mean)/n_a + b_mean*(1-b_mean)/n_b)

d=(sample_mean - pop_mean) / sample_std

print('d=',d)

A版本平均值= 0.11880806551510564 转化量

B版本平均值= 0.1203863045004612 转化量

1）假设检验

本次假设检验是基于正态(z)检验的比例检验 z_score=-1.3109241984234394,p_value=0.094941687240975514，单侧检验（右侧） 统计上不存在显着差异，接受零假设

2）置信区间

总体比例差的95%的置信区间 CI=[-3.5520257269348876e-09,-0.0031564744186853865]

3）效应量

d= -1.31092714883，效果显着

参考链接：

1、数据集

2、数据分析AB测试实战项目

㈤ 数据分析员用python做数据分析是怎么回事，需要用到python中的那些内容，具体是怎么操作的

大数据！大数据！其实是离不开数据二字，但是总体来讲，自己之前对数据的认知是不太够的，更多是在关注技术的提升上。换句话讲，自己是在做技术，这些技术处理的是数据，而不能算是自己是在做数据的。大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。

与数据分析相关的Python库很多，比如Numpy、pandas、matplotlib、scipy等，数据分析的操作包括数据的导入和导出、数据筛选、数据描述、数据处理、统计分析、可视化等等。接下来我们看一下如何利用Python完成数据的分析。
生成数据表
常见的生成方法有两种，第一种是导入外部数据，第二种是直接写入数据，Python支持从多种类型的数据导入。在开始使用Python进行数据导入前需要先导入pandas库，为了方便起见，我们也同时导入Numpy库。代码是最简模式，里面有很多可选参数设置，例如列名称、索引列、数据格式等等。
检查数据表
Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数，你可以对整个数据表进行检查，也可以单独对某一列进行空值检查，返回的结果是逻辑值，包含空值返回True，不包含则返回False。使用unique函数查看唯一值，使用Values函数用来查看数据表中的数值。
数据表清洗
Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_plicates函数删除重复值，replace函数实现数据替换。
数据预处理
数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。
数据提取
主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外，还可以按具体的条件进行数据，比如使用loc和isin两个函数配合使用，按指定条件对数据进行提取。
数据筛选汇总
Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数，使用方法很简单，制定要分组的列名称就可以，也可以同时制定多个列名称，groupby 按列名称出现的顺序进行分组。

㈥ 如何用Python进行线性回归以及误差分析

数据挖掘中的预测问题通常分为2类：回归与分类。

简单的说回归就是预测数值，而分类是给数据打上标签归类。

本文讲述如何用Python进行基本的数据拟合，以及如何对拟合结果的误差进行分析。

本例中使用一个2次函数加上随机的扰动来生成500个点，然后尝试用1、2、100次方的多项式对该数据进行拟合。

拟合的目的是使得根据训练数据能够拟合出一个多项式函数，这个函数能够很好的拟合现有数据，并且能对未知的数据进行预测。

代码如下：

• importmatplotlib.pyplot as plt

• importnumpy as np

• importscipy as sp

• fromscipy.statsimportnorm

• fromsklearn.pipelineimportPipeline

• fromsklearn.linear_modelimportLinearRegression

• fromsklearn.

• fromsklearnimportlinear_model

• ''''' 数据生成 '''

• x = np.arange(0,1,0.002)

• y = norm.rvs(0, size=500, scale=0.1)

• y = y + x**2

• ''''' 均方误差根 '''

• defrmse(y_test, y):

• returnsp.sqrt(sp.mean((y_test - y) **2))

• ''''' 与均值相比的优秀程度，介于[0~1]。0表示不如均值。1表示完美预测.这个版本的实现是参考scikit-learn官网文档 '''

• defR2(y_test, y_true):

• return1- ((y_test - y_true)**2).sum() / ((y_true - y_true.mean())**2).sum()

• ''''' 这是Conway&White《机器学习使用案例解析》里的版本 '''

• defR22(y_test, y_true):

• y_mean = np.array(y_true)

• y_mean[:] = y_mean.mean()

• return1- rmse(y_test, y_true) / rmse(y_mean, y_true)

• plt.scatter(x, y, s=5)

• degree = [1,2,100]

• y_test = []

• y_test = np.array(y_test)

• fordindegree:

• clf = Pipeline([('poly', PolynomialFeatures(degree=d)),

• ('linear', LinearRegression(fit_intercept=False))])

• clf.fit(x[:, np.newaxis], y)

• y_test = clf.predict(x[:, np.newaxis])

• print(clf.named_steps['linear'].coef_)

• print('rmse=%.2f, R2=%.2f, R22=%.2f, clf.score=%.2f'%

• (rmse(y_test, y),

• R2(y_test, y),

• R22(y_test, y),

• clf.score(x[:, np.newaxis], y)))

• plt.plot(x, y_test, linewidth=2)

• plt.grid()

• plt.legend(['1','2','100'], loc='upper left')

• plt.show()

该程序运行的显示结果如下：



[ 0. 0.75873781]

rmse=0.15, R2=0.78, R22=0.53, clf.score=0.78

[ 0. 0.35936882 0.52392172]

rmse=0.11, R2=0.87, R22=0.64, clf.score=0.87

[ 0.00000000e+00 2.63903249e-01 3.14973328e-01 2.43389461e-01

1.67075328e-01 1.10674280e-01 7.30672237e-02 4.88605804e-02

......

3.70018540e-11 2.93631291e-11 2.32992690e-11 1.84860002e-11

1.46657377e-11]

rmse=0.10, R2=0.90, R22=0.68, clf.score=0.90

㈦ python pandas的describe的25%是什么意思

25%, 50%和75%是对应的四分位数。

四分位数（Quartile）是指在统计学中把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值。

第一四分位数 (Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字。

第二四分位数 (Q2)，又称“中位数”，等于该样本中所有数值由小到大排列后第50%的数字。

第三四分位数 (Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。

第三四分位数与第一四分位数的差距又称四分位距（InterQuartile Range,IQR）。

㈧ Python中的加权随机样本问题，怎么解决

我们平时比较多会遇到的一种情景是从一堆的数据中随机选择一个, 大多数我们使用random就够了, 但是假如我们要选取的这堆数据分别有自己的权重, 也就是他们被选择的概率是不一样的, 在这种情况下, 就需要使用加权随机来处理这些数据
1. 简单线性方法
下面是一种简单的方案, 传入权重的列表(weights), 然后会返回随机结果的索引值(index), 比如我们传入[2, 3, 5], 那么就会随机的返回0(概率0.2), 1(概率0.3), 2(概率0.5)
简单的思路就是把所有的权重加和, 然后随机一个数, 看看落在哪个区间
import random

def weighted_choice(weights):
totals = []
running_total = 0

for w in weights:
running_total += w
totals.append(running_total)

rnd = random.random() * running_total
for i, total in enumerate(totals):
if rnd < total:
return i

2. 加速搜索
上面这个方法看起来非常简单, 已经可以完成我们所要的加权随机, 然是最后的这个for循环貌似有些啰嗦, Python有个内置方法bisect可以帮我们加速这一步
import random
import bisect

def weighted_choice(weights):
totals = []
running_total = 0

for w in weights:
running_total += w
totals.append(running_total)

rnd = random.random() * running_total
return bisect.bisect_right(totals, rnd)

bisect方法可以帮我们查找rnd在totals里面应该插入的位置, 两个方法看起来差不多, 但是第二个会更快一些, 取决于weights这个数组的长度, 如果长度大于1000, 大约会快30%左右
3. 去掉临时变量
其实在这个方法里面totals这个数组并不是必要的, 我们调整下策略, 就可以判断出weights中的位置
def weighted_choice(weights):
rnd = random.random() * sum(weights)
for i, w in enumerate(weights):
rnd -= w
if rnd < 0:
return i

这个方法比第二种方法竟然快了一倍, 当然, 从算法角度角度, 复杂度是一样的, 只不过我们把赋值临时变量的功夫省下来了, 其实如果传进来的weights是已经按照从大到小排序好的话, 速度会更快, 因为rnd递减的速度最快(先减去最大的数)
4. 更多的随机数
如果我们使用同一个权重数组weights, 但是要多次得到随机结果, 多次的调用weighted_choice方法, totals变量还是有必要的, 提前计算好它, 每次获取随机数的消耗会变得小很多
class WeightedRandomGenerator(object):
def __init__(self, weights):
self.totals = []
running_total = 0

for w in weights:
running_total += w
self.totals.append(running_total)

def next(self):
rnd = random.random() * self.totals[-1]
return bisect.bisect_right(self.totals, rnd)

def __call__(self):
return self.next()

在调用次数超过1000次的时候, WeightedRandomGenerator的速度是weighted_choice的100倍
所以我们在对同一组权重列表进行多次计算的时候选择方法4, 如果少于100次, 则使用方法3
5. 使用accumulate
在python3.2之后, 提供了一个itertools.accumulate方法, 可以快速的给weights求累积和
>>>> from itertools import accumulate
>>>> data = [2, 3, 5, 10]
>>>> list(accumulate(data))
[2, 5, 10, 20]

㈨ Python中如何实现分层抽样

分层抽样也叫按比例抽样，根本样本在总体中所占的比例进行抽样

㈩ 初学python，怎样用python做pearson相关系数的检验呢，求指导啊

scipy.stats.pearsonr(x, y)

x和y为相同长度的两组数据

返回值 r, p-value

r是相关系数，取值-1~1. 表示线性相关程度
p-value越小，表示相关程度越显着。按照文档的说法“The p-values are not entirely reliable but are probably reasonable for datasets larger than 500 or so.”，p-value在500个样本值以上有较高的可靠性