python中ix

① python可以做数据分析，好处是什么呢怎么学习

链接：https://pan..com/s/1FJZAznKSbwv-X52AM7uSfg

炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。

课程目录：

Python基础

Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符

了解Python流程控制——条件、循环语句与其他语句

常用函数——函数的定义与使用方法、主要内置函数的介绍

.....

② Python数据分析师主要做什么Python基础

伴随着大数据时代的到来，Python的热度居高不下，已成为职场人士必备的技能，它不仅可以从事网络爬虫、人工智能、Web开发、游戏开发等工作，还是数据分析的首选语言。那么问题来了，利用Python数据分析可以做什么呢?简单来讲，可以做的事情有很多，具体如下。

第一、检查数据表

Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Lsnull是Python中检查空置的函数，你可以对整个数据进行检查，也可以单独对某一列进行空置检查，返回的结果是逻辑值，包括空置返回True，不包含则返回False。使用unique函数查看唯一值，使用Values函数用来查看数据表中的数值。

第二，数据表清洗

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包括空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是asstype函数，用来更改数据格式，Rename是更改名称的函数，drop_plicate函数函数重复值，replace函数实现数据转换。

第三，数据预处理

数据预处理是对清洗完的数据进行整理以便后期统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组以及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。

第四，数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标准值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提取数据意外，还可以按照具体的条件进行提取。

第五，数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和count函数还能实现Excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。

③ 如何用python写 数据分析工具

• 数据导入

• 导入本地的或者web端的CSV文件；

• 数据变换；

• 数据统计描述；

• 假设检验

• 单样本t检验；

• 可视化；

• 创建自定义函数。

数据导入

这是很关键的一步，为了后续的分析我们首先需要导入数据。通常来说，数据是CSV格式，就算不是，至少也可以转换成CSV格式。在Python中，我们的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

为了读取本地CSV文件，我们需要pandas这个数据分析库中的相应模块。其中的read_csv函数能够读取本地和web数据。

数据变换

既然在工作空间有了数据，接下来就是数据变换。统计学家和科学家们通常会在这一步移除分析中的非必要数据。我们先看看数据：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 1591023349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

对R语言程序员来说，上述操作等价于通过print(head(df))来打印数据的前6行，以及通过print(tail(df))来打印数据的后6行。当然Python中，默认打印是5行，而R则是6行。因此R的代码head(df, n = 10)，在Python中就是df.head(n = 10)，打印数据尾部也是同样道理。

在R语言中，数据列和行的名字通过colnames和rownames来分别进行提取。在Python中，我们则使用columns和index属性来提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

数据转置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他变换，例如排序就是用sort属性。现在我们提取特定的某列数据。Python中，可以使用iloc或者ix属性。但是我更喜欢用ix，因为它更稳定一些。假设我们需数据第一列的前5行，我们有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

顺便提一下，Python的索引是从0开始而非1。为了取出从11到20行的前3列数据，我们有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相当于df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

为了舍弃数据中的列，这里是列1(Apayao)和列2(Benguet)，我们使用drop属性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis参数告诉函数到底舍弃列还是行。如果axis等于0，那么就舍弃行。

统计描述

下一步就是通过describe属性，对数据的统计特性进行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假设检验

Python有一个很好的统计推断包。那就是scipy里面的stats。ttest_1samp实现了单样本t检验。因此，如果我们想检验数据Abra列的稻谷产量均值，通过零假设，这里我们假定总体稻谷产量均值为15000，我们有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值组成的元祖：

• t : 浮点或数组类型
  t统计量

• prob : 浮点或数组类型
  two-tailed p-value 双侧概率值

通过上面的输出，看到p值是0.267远大于α等于0.05，因此没有充分的证据说平均稻谷产量不是150000。将这个检验应用到所有的变量，同样假设均值为15000，我们有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一个数组是t统计量，第二个数组则是相应的p值。

可视化

Python中有许多可视化模块，最流行的当属matpalotlib库。稍加提及，我们也可选择bokeh和seaborn模块。之前的博文中，我已经说明了matplotlib库中的盒须图模块功能。

;

• 重复100次; 然后

• 计算出置信区间包含真实均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代码读起来很简单，但是循环的时候就很慢了。下面针对上述代码进行了改进，这多亏了Python专家，看我上篇博文的15条意见吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些对于本文ipython notebook版本感兴趣的，请点击这里。这篇文章由Nuttens Claude负责转换成ipython notebook 。