使用python製作一個數據分析軟體

『壹』 為什麼要使用python進行數據分析

我使用python這門語言也有三年了，被其簡潔、易讀、強大的庫所折服，我已經深深愛上了python。其pythonic語言特性，對人極其友好，可以說，一個完全不懂編程語言的人，看懂python語言也不是難事。
在數據分析和交互、探索性計算以及數據可視化等方面，相對於R、MATLAB、SAS、Stata等工具，Python都有其優勢。近年來，由於Python庫的不斷發展（如pandas），使其在數據挖掘領域嶄露頭角。結合其在通用編程方面的強大實力，我們完全可以只使用Python這一種語言去構建以數據為中心的應用程序。
由於python是一種解釋性語言，大部分編譯型語言都要比python代碼運行速度快，有些同學就因此鄙視python。但是小編認為，python是一門高級語言，其生產效率更高，程序員的時間通常比CPU的時間值錢，因此為了權衡利弊，考慮用python是值得的。

Python強大的計算能力依賴於其豐富而強大的庫：
Numpy
Numerical Python的簡稱，是Python科學計算的基礎包。其功能：
1. 快速高效的多維數組對象ndarray。
2. 用於對數組執行元素級計算以及直接對數組執行數學運算的函數。
3. 線性代數運算、傅里葉變換，以及隨機數生成。
4. 用於將C、C++、Fortran代碼集成到Python的工具。

除了為Python提供快速的數組處理能力，NumPy在數據分析方面還有另外一個主要作用，即作為在演算法之間傳遞數據的容器。對於數值型數據，NumPy數組在存儲和處理數據時要比內置的Python數據結構高效得多。此外，由低級語言（比如C和Fortran）編寫的庫可以直接操作NumPy數組中的數據，無需進行任何數據復制工作。

SciPy
是一組專門解決科學計算中各種標准問題域的包的集合，主要包括下面這些包：
1. scipy.integrate：數值積分常式和微分方程求解器。
2. scipy.linalg：擴展了由numpy.linalg提供的線性代數常式和矩陣分解功能。
3. scipy.optimize：函數優化器（最小化器）以及根查找演算法。
4. scipy.signal：信號處理工具。
5. scipy.sparse：稀疏矩陣和稀疏線性系統求解器。
6. scipy.special：SPECFUN（這是一個實現了許多常用數學函數（如伽瑪函數）的Fortran庫）的包裝器。
7. scipy.stats：標准連續和離散概率分布（如密度函數、采樣器、連續分布函數等）、各種統計檢驗方法，以及更好的描述統計法。
8. scipy.weave：利用內聯C++代碼加速數組計算的工具。

註：NumPy跟SciPy的有機結合完全可以替代MATLAB的計算功能（包括其插件工具箱）。

SymPy
是python的數學符號計算庫，用它可以進行數學表達式的符號推導和演算。

pandas
提供了使我們能夠快速便捷地處理結構化數據的大量數據結構和函數。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。
pandas兼具NumPy高性能的數組計算功能以及電子表格和關系型資料庫(如SQL)靈活的數據處理功能。它提供了復雜精細的索引功能，以便更為便捷地完成重塑、切片和切塊、聚合以及選取數據子集等操作。
對於使用R語言進行統計計算的用戶，肯定不會對DataFrame這個名字感到陌生，因為它源自於R的data.frame對象。但是這兩個對象並不相同。R的data.frame對象所提供的功能只是DataFrame對象所提供的功能的一個子集。也就是說pandas的DataFrame功能比R的data.frame功能更強大。

matplotlib
是最流行的用於繪制數據圖表的Python庫。它最初由John D. Hunter（JDH）創建，目前由一個龐大的開發人員團隊維護。它非常適合創建出版物上用的圖表。它跟IPython（馬上就會講到）結合得很好，因而提供了一種非常好用的互動式數據繪圖環境。繪制的圖表也是互動式的，你可以利用繪圖窗口中的工具欄放大圖表中的某個區域或對整個圖表進行平移瀏覽。

TVTK
是python數據三維可視化庫，是一套功能十分強大的三維數據可視化庫，它提供了Python風格的API，並支持Trait屬性(由於Python是動態編程語言，其變數沒有類型，這種靈活性有助於快速開發，但是也有缺點。而Trait庫可以為對象的屬性添加檢校功能，從而提高程序的可讀性，降低出錯率。) 和NumPy數組。此庫非常龐大，因此開發公司提供了一個查詢文檔，用戶可以通過下面語句運行它：
>>> from enthought.tvtk.toolsimport tvtk_doc
>>> tvtk_doc.main()

Scikit-Learn
是基於python的機器學習庫，建立在NumPy、SciPy和matplotlib基礎上，操作簡單、高效的數據挖掘和數據分析。其文檔、實例都比較齊全。

小編建議：初學者使用python(x, y)，其是一個免費的科學和工程開發包，提供數學計算、數據分析和可視化展示。非常方便！

『貳』 python如何做數據分析

Python做數據分析比較好用且流行的是numpy、pandas庫，有興趣的話，可以深入了解、學習一下。

『叄』 python怎麼做大數據分析

數據獲取：公開數據、Python爬蟲外部數據的獲取方式主要有以下兩種。（推薦學習：Python視頻教程）
第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………
以及，如何用 Python 庫（urlpb、BeautifulSoup、requests、scrapy）實現網頁爬蟲。
掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。
數據存取：SQL語言
在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。
SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：
提取特定情況下的數據
資料庫的增、刪、查、改
數據的分組聚合、如何建立多個表之間的聯系
數據預處理：Python（pandas）
很多時候我們拿到的數據是不幹凈的，數據的重復、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：
選擇：數據訪問
缺失值處理：對缺失數據行進行刪除或填充
重復值處理：重復值的判斷與刪除
異常值處理：清除不必要的空格和極端、異常數據
相關操作：描述性統計、Apply、直方圖等
合並：符合各種邏輯關系的合並操作
分組：數據劃分、分別執行函數、數據重組
Reshaping：快速生成數據透視表
概率論及統計學知識
需要掌握的知識點如下：
基本統計量：均值、中位數、眾數、百分位數、極值等
其他描述性統計量：偏度、方差、標准差、顯著性等
其他統計知識：總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗：各種分布、假設檢驗流程
其他概率論知識：條件概率、貝葉斯等
有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotpb 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。
Python 數據分析
掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：
回歸分析：線性回歸、邏輯回歸
基本的分類演算法：決策樹、隨機森林……
基本的聚類演算法：k-means……
特徵工程基礎：如何用特徵選擇優化模型
調參方法：如何調節參數優化模型
Python 數據分析包：scipy、numpy、scikit-learn等
在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。
當然，隨著你實踐量的增多，可能會遇到一些復雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。
然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。
你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。
更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python怎麼做大數據分析的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

『肆』 如何用python寫 數據分析工具

• 數據導入

• 導入本地的或者web端的CSV文件；

• 數據變換；

• 數據統計描述；

• 假設檢驗

• 單樣本t檢驗；

• 可視化；

• 創建自定義函數。

數據導入

這是很關鍵的一步，為了後續的分析我們首先需要導入數據。通常來說，數據是CSV格式，就算不是，至少也可以轉換成CSV格式。在Python中，我們的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

為了讀取本地CSV文件，我們需要pandas這個數據分析庫中的相應模塊。其中的read_csv函數能夠讀取本地和web數據。

數據變換

既然在工作空間有了數據，接下來就是數據變換。統計學家和科學家們通常會在這一步移除分析中的非必要數據。我們先看看數據：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 1591023349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

對R語言程序員來說，上述操作等價於通過print(head(df))來列印數據的前6行，以及通過print(tail(df))來列印數據的後6行。當然Python中，默認列印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，列印數據尾部也是同樣道理。

在R語言中，數據列和行的名字通過colnames和rownames來分別進行提取。在Python中，我們則使用columns和index屬性來提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

數據轉置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他變換，例如排序就是用sort屬性。現在我們提取特定的某列數據。Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因為它更穩定一些。假設我們需數據第一列的前5行，我們有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列數據，我們有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相當於df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

為了舍棄數據中的列，這里是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis參數告訴函數到底舍棄列還是行。如果axis等於0，那麼就舍棄行。

統計描述

下一步就是通過describe屬性，對數據的統計特性進行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假設檢驗

Python有一個很好的統計推斷包。那就是scipy裡面的stats。ttest_1samp實現了單樣本t檢驗。因此，如果我們想檢驗數據Abra列的稻穀產量均值，通過零假設，這里我們假定總體稻穀產量均值為15000，我們有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值組成的元祖：

• t : 浮點或數組類型
  t統計量

• prob : 浮點或數組類型
  two-tailed p-value 雙側概率值

通過上面的輸出，看到p值是0.267遠大於α等於0.05，因此沒有充分的證據說平均稻穀產量不是150000。將這個檢驗應用到所有的變數，同樣假設均值為15000，我們有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一個數組是t統計量，第二個數組則是相應的p值。

可視化

Python中有許多可視化模塊，最流行的當屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模塊。之前的博文中，我已經說明了matplotlib庫中的盒須圖模塊功能。

;

• 重復100次; 然後

• 計算出置信區間包含真實均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代碼讀起來很簡單，但是循環的時候就很慢了。下面針對上述代碼進行了改進，這多虧了Python專家，看我上篇博文的15條意見吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些對於本文ipython notebook版本感興趣的，請點擊這里。這篇文章由Nuttens Claude負責轉換成ipython notebook 。

『伍』 利用python進行數據分析 用什麼軟體

與數據分析相關的 Python 庫

NumPy

NumPy 是 Python 科學計算的基礎包，它提供：

• 快速高效的多維數組對象 ndarray；

• 直接對數組執行數學運算及對數組執行元素級計算的函數；

• 線性代數運算、隨機數生成;

• 將 C、C++、Fortran 代碼集成到 Python 的工具等。

它專為進行嚴格的數字處理而產生。多為很多大型金融公司使用，以及核心的科學計算組織如：Lawrence Livermore，NASA 用其處理一些本來使用 C++，Fortran 或Matlab 等所做的任務。

Pandas

Pandas 主要提供快速便捷地處理結構化數據的大量數據結構和函數。

Matplotlib

Matplotlib 是最流行的用於繪制數據圖表的 Python 庫。

IPython

IPython 是 Python 科學計算標准工具集的組成部分，是一個增強的 Python Shell，目的是提高編寫、測試、調試 Python 代碼的速度。主要用於互動式數據處理和利用matplotlib 對數據進行可視化處理。

SciPy

SciPy 是一組專門解決科學計算中各種標准問題域的包的集合。主要包括以下包：

• scipy.integrate: 數值積分常式和微分方程求解器；

• scipy.linalg: 擴展了由 numpy.linalg 提供的線性代數常式和矩陣分解功能；

• scipy.optimize: 函數優化器以及根查找演算法；

• scipy.signal: 信號處理工具；

• scipy.sparse: 稀疏矩陣和稀疏線性系統求解器；

• scipy.special: SPECFUN（這是一個實現了許多常用數學函數的 Fortran 庫）的包裝器。

• scipy.stats: 標准連續和離散概率分布、各種統計檢驗方法和更好的描述統計法；

• scipy.weave: 利用內聯 C++ 代碼加速數組計算的工具。

『陸』 python怎麼做數據分析

無論是自學還是怎麼的，記住自己學習Python的目標——從事數據科學，而非Python軟體開發。所以，Python入門的方向，應該是掌握Python所有的相關概念、基礎知識，為後續Python庫的學習打基礎。

需要掌握的數據分析基本庫有

Numpy

Numpy是Python科學計算的基礎包。

Pandas

它提供了復雜精細的索引功能，能更加便捷地完成重塑、切片和切塊、聚合以及選取數據子集等操作。因為數據操作、准備、清洗是數據分析最重要的技能，所以Pandas也是學習的重點。

Matplotlib

Matplotlib是最流行的用於繪制圖表和其它二維數據可視化的Python庫，它非常適合創建出版物上用的圖表。

Scikit-learn

Scikit-learn是Python的通用機器學習工具包。它的子模塊包括分類、回歸、聚類、降維、選型、預處理，對於Python成為高效數據科學編程語言起到了關鍵作用。

只需要學習Python入門的知識以及4個數據分析相關的庫，就能上手使用Python進行數據分析了。另外如果需要獲取外部網站數據的話，還需要學習爬蟲。