pythonweb分析工具

『壹』 有哪些好用的python庫

Python作為一門膠水語言，第三方庫眾多，下面我簡單介紹幾個好用的Python庫：

tensorflow

這是谷歌非常著名的一個開源機器學習框架，在業界非常受歡迎，可以靈活、快速的構建大規模機器學習應用（如神經網路等），性能和可移植性都非常不錯，支持GPU並行計算，如果你對機器學習比較感興趣，也想深入了解一下的話，可以學習一下這個框架，非常不錯：

pandas

如果你對數據分析比較感興趣，那麼pandas就是一個非常不錯的選擇，專門為數據分析而建，內置的函數和方法可以快速處理Excel，CSV等文件，而且提供了實時分析功能，代碼量更少，使用起來也更方便，對於數據處理來說，是一個非常不錯的分析工具：

matplotlib

這是Python的一個數據可視化庫，可以快速製作我們常見的圖表，如柱狀圖、餅狀圖、散點圖等，當然，也不僅僅限於這些，還有很多，如果你想畫出更多美麗的圖表，可以考慮學習一下這個庫，非常值得學習，當然，seaborn，pyecharts等這些可視化庫也非常不錯：

tushare

如果你對金融財經比較感興趣，想快速獲取股票等行情數據，也不想編寫復雜的處理代碼，那麼tushare就是一個非常不錯的選擇，自動整合了國內大部分金融財經數據，完成了數據從採集、清洗和存儲的全過程，只需簡單的幾行代碼就可以實時快速獲取到你所想要的數據，免費且開源：

PyQt

這是Python的一個GUI開發庫，如果你想快速創建一個桌面GUI程序，想直接拖拽控制項布局界面的話，那麼PyQt就是一個非常不錯的選擇，基於Qt的QtDesigner設計工具，你可以直接拖拽Qt大量的控制項快速構建出你自己的桌面應用，簡單而又快捷：

Kivy

如果你想利用Python開發一個安卓應用，那麼kivy就是一個非常不錯的選擇，這是Python的一個開源、跨平台的GUI庫，只需要編寫一套代碼，即可運行在大部分桌面及移動平台上，包括winsows，linux，ios，android等，非常不錯：

scrapy

這是Python的一個爬蟲框架，在也就非常受歡迎，如果你想快速的定製自己的爬蟲程序，又不想重復的造輪子的話，可以學習一下這個庫，只需要添加少量的代碼，就可啟動屬於自己的一個爬蟲應用，非常方便：

django

這是一個流行的PythonWeb框架，如果你想快速構建一個自己的web應用，那麼這個框架就非常值得學習，成熟穩重，基於MVC模式，使用起來非常方便，當然，也有輕量級的web框架，如flask，tornado等，也都非常不錯：

pygame

如果你想快速開發一個小型游戲，又不想低級語言的束縛，可以考慮學習一下這個庫，非常簡單，只需要少量的代碼便可構建一個游戲應用，當然，它也是一個非常不錯的GUI庫，對於桌面開發來說，也是一個不錯的選擇：

you-get

這是Python的一個視頻、音頻下載庫，如果你想免費快速下載優派卜酷、B站、騰訊等網站的視頻，安裝這個庫後，只塵豎穗需要簡單的一行命令就可直接下載，非常方便，纖嘩而且還可以在線觀看，查看視頻文件格式及清晰度等，當然，圖片也可直接下載：

就介紹這10個不錯的Python庫吧，對於日常學習開發來說，非常不錯，當然，還有許多其他好用的Python庫，這個可以到網上搜索一下，非常多，也歡迎大家留言補充。

『貳』 如何用python寫 數據分析工具

• 數據導入

• 導入本地的或者web端的CSV文件；

• 數據變換；

• 數據統計描述；

• 假設檢驗

• 單樣本t檢驗；

• 可視化；

• 創建自定義函數。

數據導入

這是很關鍵的一步，為了後續的分析我們首先需要導入數據。通常來說，數據是CSV格式，就算不是，至少也可以轉換成CSV格式。在Python中，我們的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

為了讀取本地CSV文件，我們需要pandas這個數據分析庫中的相應模塊。其中的read_csv函數能夠讀取本地和web數據。

數據變換

既然在工作空間有了數據，接下來就是數據變換。統計學家和科學家們通常會在這一步移除分析中的非必要數據。我們先看看數據：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 1591023349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

對R語言程序員來說，上述操作等價於通過print(head(df))來列印數據的前6行，以及通過print(tail(df))來列印數據的後6行。當然Python中，默認列印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，列印數據尾部也是同樣道理。

在R語言中，數據列和行的名字通過colnames和rownames來分別進行提取。在Python中，我們則使用columns和index屬性來提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

數據轉置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他變換，例如排序就是用sort屬性。現在我們提取特定的某列數據。Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因為它更穩定一些。假設我們需數據第一列的前5行，我們有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列數據，我們有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相當於df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

為了舍棄數據中的列，這里是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis參數告訴函數到底舍棄列還是行。如果axis等於0，那麼就舍棄行。

統計描述

下一步就是通過describe屬性，對數據的統計特性進行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假設檢驗

Python有一個很好的統計推斷包。那就是scipy裡面的stats。ttest_1samp實現了單樣本t檢驗。因此，如果我們想檢驗數據Abra列的稻穀產量均值，通過零假設，這里我們假定總體稻穀產量均值為15000，我們有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值組成的元祖：

• t : 浮點或數組類型
  t統計量

• prob : 浮點或數組類型
  two-tailed p-value 雙側概率值

通過上面的輸出，看到p值是0.267遠大於α等於0.05，因此沒有充分的證據說平均稻穀產量不是150000。將這個檢驗應用到所有的變數，同樣假設均值為15000，我們有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一個數組是t統計量，第二個數組則是相應的p值。

可視化

Python中有許多可視化模塊，最流行的當屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模塊。之前的博文中，我已經說明了matplotlib庫中的盒須圖模塊功能。

;

• 重復100次; 然後

• 計算出置信區間包含真實均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代碼讀起來很簡單，但是循環的時候就很慢了。下面針對上述代碼進行了改進，這多虧了Python專家，看我上篇博文的15條意見吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些對於本文ipython notebook版本感興趣的，請點擊這里。這篇文章由Nuttens Claude負責轉換成ipython notebook 。

『叄』 eviews和python的區別

EViews和Python是兩種不同的數據分析工具，具有一些區別和優缺點。

1. 語言：EViews是一種專門用於經濟數據分析的軟體，其語言主要是EViews命令語言（EViews Command Language，ECL），其語法和結構與其他編程語言兆指緩不同。Python是一種通用編程語言，可以用於各種領域的數據分析和編程任務。

2. 功能：EViews主要用於經濟數據分析和建模，包括時間序列分析、回歸分析、面板數據分析等。它提供了許多專門用於經濟數據分析的功能和工具，如ARIMA模型、VAR模型、協整分析等。Python則是一種通用編程語言，可以用於各種數據分析和編族模程任務，包括機器學習、數據可視化、Web開發等。

3. 學習曲線：EViews的學習曲線相對較低，逗汪因為它是專門為經濟學家和數據分析師設計的，並且提供了許多易於使用的功能和工具。Python的學習曲線較陡峭，因為它是一種通用編程語言，需要掌握基本的編程概念和語法。

4. 可擴展性：Python具有很高的可擴展性，可以通過安裝各種第三方庫和模塊來擴展其功能和應用范圍。EViews的可擴展性相對較低，因為它是一種專門用於經濟數據分析的軟體，其功能和工具主要是針對經濟數據分析而設計的。

綜上所述，EViews和Python都是非常有用的數據分析工具，具有各自的優缺點和適用范圍。選擇哪種工具取決於具體的應用需求和個人偏好。

『肆』 學習python爬蟲有什麼關於分析html頁面和請求過程的書和工具推薦

看書是基礎，除此之外還有學習路線，該怎麼學習，跟著路線來學的話，更加有效果。

第一階段—Python基礎准備：本階段主要是學習Python零基礎入門學習教程，html+css、javascript、jquery、python編程基礎、python初探等，讓你輕松入門python語言。

第二階段—Python Web開發: 本階段是主要Python開發基礎知識的講解，通過系統學習mysql資料庫、django、ajax、Tornado入門、個人博客系統實戰等相關技術，全面掌握python基礎開發技能技巧。

第三階段—Python擴展開發：本階段Python
開發進階，主要是Python開發實戰講解，針對有一定Python開發基礎學員，從Tkinter桌面編程、Python開發跨的記事本、編程實
戰、python爬蟲、論壇項目實戰等方面深入講解，讓學員快速精通python開發語言。

第四階段—Python開發選修：本節階段是Python開發的一個拓展講解，主要是Linux系統、Flask框架、redis框架、node.js框架、html5+css3等相關系統和框架及技術方面的結合使用學習，讓精通python開發的你，技藝更加精湛。

『伍』 python做可視化數據分析，究竟怎麼樣

當然非常不錯，作為一門應用廣泛的編程語言，python第三方庫擴展豐富，針對數據可視化，提供了許多高效、簡便的包可以直接使用，下面我簡單介紹3個，分別是matplotlib、seaborn和pyecharts，感興趣的朋友可以嘗試一下：

老牌工具matplotlib

這是python一個非常著名的可視化工具，相信許多做過可視化的朋友都對matplotlib非常熟悉，專業強大、功能齊全、擴展豐富，幾乎你能想到的各種圖表，matplotlib都可以輕松辦到，小到常見的柱狀圖、餅狀圖、折線圖，大到復雜的動圖、三維圖、自定義襪高圖，matplotlib都有深入涉及，種類繁多，代碼齊全，如果你想做數據可視化，繪制專業的圖表以供顯示，可以使用一下matplotlib，效果非常不錯：

精簡封裝seaborn

這也是一個非常不錯的python可視化包，基於matplotlib開發，對matplotlib的復雜參數和調用做了精簡封裝，因此使用起來更方便枯和，也更容易入手，常見的散點圖、曲線圖、柱狀圖、餅狀圖、熱力圖、箱型圖、小提琴圖，這個庫都有深入涉及，demo豐富，告敗尺代碼齊全，官方教程詳細，如果你想快速繪制專業強大的圖表，簡化復雜的參數配置，可以使用一下seaborn，代碼更少，也更容易學習：

簡單易用pyecharts

使用過echarts的朋友應該對pyecharts非常熟悉了，python對echarts的一個簡單封裝和調用，藉助於echarts強大的數據可視化功能，pyecharts也可以輕松繪制各種圖表，常見的柱狀圖、餅狀圖、散點圖、曲線圖，復雜的地圖、樹圖、k線圖、儀表盤、地理圖、三維圖，pyecharts都可以輕松辦到，專業強大、制圖漂亮、簡單易用，如果你想繪制簡潔大方的圖表，基於web頁面進行顯示，可以使用一下pyecharts，效果非常不錯：

目前就分享這3個不錯的python可視化庫吧，其實還有許多其他包也可以直接使用，像ggplot、bokeh等也都非常不錯，只要你有一定python基礎，熟悉一下相關代碼和示例，很快就能掌握的，網上也有相關教程和資料，介紹的非常詳細，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。

『陸』 Python 如何開發高效漂亮的輕量級 Web 應用

痛點

從我開始折騰數據分析工具的那一天，就沒有想明白一件事兒 —— 我打算把數據分析的成果做成一個 Web 應用，為什麼這么難？

我需要的核心功能，無非是在網頁上接收用戶輸入，然後做分析處理，把分析結果反饋給用戶，完事兒。

可是這談何容易？

很多人都會微笑著告訴你，想做 Web 應用？這得學前端編程， HTML + Javascript 了解一下吧！

什麼？你還需要在後台做數據分析？那你就得學 Web 框架了。

你說喜歡 Python ？那就學個 Django 或者 Flask 好了。

我也不是沒有看過 Django 和 Flask 的教程，還曾經付費學習過。光是 Django 配置環境，就夠寫一章出來。

作為學習的中間成果，我還寫了這篇《如何用 Python 做 Web 開發？——Django 環境配置》分享給你。

真正讓我痛苦的，不是 Web 框架的操作有多麼瑣碎，而是教程里的案例，為什麼都那麼奇怪？

幾乎所有的教程，都指向一個目標：

來，我教你做一個 blog 出來！

我用你教？！

我要是想用 blog ，可以直接注冊一個免費的啊！為什麼我要自己開發個 blog 出來？

為什麼你就不能告訴我，該怎麼把我目前的數據分析結果，迅速挪到 Web 頁面上，跟用戶實時交互？

雖然二者的結果，都是做一個 Web 應用出來。但是，它們關注的焦點，需要的功能，能一樣嗎？

但是人家寫書和做教程的人，就是不疾不徐，堅持一定要教會你，如何做一個 blog 出來……

你不學，又能怎麼辦呢？你難道想只憑 Python 腳本，就做一個 Web 應用出來？

還真別說，最近，這個事兒從幻想，變成了現實。

樣例

這不，我就用純 Python 腳本寫了個 Web 應用。

我編寫的代碼里，沒有一絲半毫的 Web 框架，Javascript，甚至是 HTML 。

這玩意兒能用嗎？

你自己來試試看。

請你打開瀏覽器，輸入以下鏈接：https://helloworld-streamlit.herokuapp.com/

你會看到下面的初始化界面。

初始化完畢之後，頁面會分成左右兩欄。左面是兩個下拉候選框，分別讓你指定需要分析的數據范圍。

上面一個，是事件類型；

下面一個，是事件發生歸屬地。

如果你看過我的文章《如何用 Python 和循環神經網路預測嚴重交通擁堵？》，應該對這個數據集很熟悉。

只不過，當時我們更注重的，是用循環神經網路搭建了一個嚴重擁堵事件預測模型。

而今天，我們是要進行探索性數據分析，也就是根據我們感興趣的目標，對數據進行整理操作，然後可視化顯示。

選定之後，你會看到右側提示兩個信息：

• 你篩選之後，數據框包含行數

• 在層疊地圖上的可視化結果。

  
  

怎麼樣？

麻雀雖小，五臟俱全。

雖然咱們這個 Web 應用很簡單，不過交互分析該有的功能和流程，基本上都涵蓋了。

你可能會問：

王老師，編這么一個應用出來，不簡單吧？

讓我帶你到幕後，看看是不是很復雜。

幕後

我把這個應用的全部源代碼，都為你存儲到了 Github 上。請你訪問這個網址獲取：https://github.com/wshuyi/demo-helloworld-streamlit

可以看到，一共包含了 4 個文件。

有意思的是，其中 3 個，包括：

• Procfile

• setup.sh

• requirements.txt

都只是部署到遠程伺服器時，需要用到的配置文件而已。

也就是說，只有最後一個helloworld.py是主角，它包含了實現咱們全部互動式數據分析功能的 Python 腳本文件。

這代碼，少說也得有幾百行吧？

別擔心，打開來看看：

上面這張截圖，就已經包含了實現交互數據分析功能的全部代碼。

神奇吧？

解讀

這么短的代碼，為什麼能有如此強大的功能？

這是因為它背後使用的一個軟體包，叫做streamlit。

它是干什麼用的？

一言以蔽之，給你賦能，讓你能夠不去操心什麼前端後端。只寫 Python ，只關注功能，你就能寫出一個互動式 Web 應用出來。

當然，既然最後是 Web 應用，那麼實際上前後端的功能都是齊備的。

只不過，這些交由 Streamlit 來幫你費心操辦。你根本不用管。

爆發

為什麼會有人做了這么一款神器出來？

原因很簡單，咱們前面提到的痛點，是大夥兒都有的。

咱們這些麻瓜（Muggle），遇到痛點只能忍著。

但是真正的魔法師（優秀程序員），是忍不了的。

在這段來自 PyData LA 2019 的視頻里，Streamlit 的 CEO Adrien Treuille 談及了他在數據智能企業中，長期遭遇的痛點。

最大的痛點，就是數據科學家訓練好機器學習模型後，需要驗證效果，和用戶反饋溝通。

但是，做機器學習的工程師本身，並不掌握這一整套的工具棧。

所以，就得在把全部的數據分析和模型訓練工作完成後，把這東西移交給一個工具製作團隊。

人家做完以後，就告訴數據科學團隊說，做好了。但是注意，現在處於需求凍結階段。這個應用你們可以隨便用，只是別亂改。改壞了我們管不了。因為最近兩個月，我們還得給其他若干數據分析團隊做 app 。大概幾個月以後，我們又能回來幫助你們了……

Adrien Treuille 很敏銳地捕捉到了這個長期痛點，於是在 2018 年， 創立了 streamlit 。

目標很簡單，給數據科學團隊提供簡單的工具，讓他們使用已經掌握的 Python 編程技能，就能直接做 Web 應用。

什麼 「等上兩三個月不許改」？！你們自己慢慢兒玩兒去吧，我們想怎麼改，就怎麼改！

至於做出來的東西嘛，可以是這樣的：

資源

看到這里，是不是心動了？也打算學習一下 Streamlit ？

沒問題，我前面給你提供的樣例，就在 github 上，你可以直接查看源碼。

如果你希望重現這個小應用，並且一步步學習掌握 Streamlit 的基礎知識和技能，我也已經為你寫好了一份手把手的教程。地址在這里https://sspai.com/post/58474。

它不僅教你如何設置環境，安裝工具，寫作代碼，甚至連如何免費部署到 heroku 平台，讓用戶使用，都毫無保留地教給了你。

那篇文章，我用於參加少數派年度徵文活動，所以就不能全文展示在這里了。

讀完以後，如果你覺得有收獲，歡迎在少數派平台上幫我點個贊。謝謝支持！

思考

嘗試過之後，你應該不難發現，Streamlit 給你帶來了什麼。

如果你學過 Javascript 和 Flask, Django 等 Web 應用開發技術，Streamlit 可以加快你的 Web 應用開發與測試進程。

如果你還沒有學過上述技術， Streamlit 可以給你賦能，讓你一下子有了把數據分析結果變成產品的能力。

給你講點兒更激進的。

有人已經希望能用它替代掉 Flask 用於產品發布了。

還有人說，將來寫技術文檔，也應該充分使用 Streamlit 。

甚至，還把它比作了數據科學界的 iPhone 。

這里，它是借喻 iPhone 開啟智能手機時代，說明 Streamlit 的劃時代性。

我不希望你也變得如此激進。

因為這里提到的每一種功用，現在還都有非常專業的工具做的更好，而且新的工具也在不斷涌現。

例如說，我們在多個教程中一直使用 Jupyter Notebook 。

現在憑借 Voila 擴展的加持，你也可以很輕松地把 Jupyter Notebook 變成 Web app ，而且可以免費運行在 mybinder 上面。

但是，你可以看到，一個新的工具，以一種簡單，而不是更繁復的辦法，解決一個功能痛點，是一件多麼令人欣喜的事兒。

看了這篇文章，可能會給你一種誤解，似乎 JavaScript 為代表的前端編程技術，再也不需要學了。

其實不是這樣的。

可以想像，開發門檻降低以後，將來會有更多的人使用 Python 來做 Web 應用。

用 Streamlit 這樣的方法，他們只是開發出了一個原型。

要是想打造精品，就必須精細調控很多細節。

這時候， 如果你精通 Javascript ，那你潛在的合作對象一下子就多了起來，你掌握的這門技術，也就有了更大的價值。

還記得嗎？我不止一次給你強調過，比起一個工具自身的能力來，協作網路更重要。忘了的話，記得復習《學 Python ，能提升你的競爭力嗎？》。

這就好像印刷術的發明，不是讓會寫字這件事兒變得失去價值，而是全社會都增大了對好作品的渴求。深刻的思考，加上有效的文字表達，會讓你生存得更好。

當然，如果你不希望精通寫作技藝，只是想做一個抄書匠糊口。那麼印刷術就可能會替代你的工作，結果就不那麼美妙了。

小結

這篇文章，我為你介紹了 Streamlit 這款有趣的工具。希望你讀過之後，掌握了以下知識點：

• 藉助 Streamlit ，你可以用純 Python 編制 Web 應用；

• 學 Web 設計依然很有前途，因為你的潛在合作群體正在迅速擴大；

• 不要惹魔法師（優秀程序員）。他們的痛點需求會轉化成無盡的戰鬥力，興許會直接替掉你的日常工作。
  

更多Python知識，請關註：Python自學網！！

『柒』 數據分析工具有哪些 python

IPython


IPython 是一個在多種編程語言之間進行交互計算的命令行 shell，最開始是用 python 開發的，提供增強的內省，富媒體，擴展的 shell
語法，tab 補全，豐富的歷史等功能。IPython 提供了如下特性：

更強的交互 shell(基於 Qt 的終端)

一個基於瀏覽器的記事本，支持代碼，純文本，數學公式，內置圖表和其他富媒體

支持交互數據可視化和圖形界面工具

靈活，可嵌入解釋器載入到任意一個自有工程里

簡單易用，用於並行計算的高性能工具

由數據分析總監，Galvanize 專家 Nir Kaldero 提供。



GraphLab Greate 是一個 Python 庫，由 C++ 引擎支持，可以快速構建大型高性能數據產品。

這有一些關於 GraphLab Greate 的特點：

可以在您的計算機上以交互的速度分析以 T 為計量單位的數據量。

在單一平台上可以分析表格數據、曲線、文字、圖像。

最新的機器學習演算法包括深度學習，進化樹和 factorization machines 理論。

可以用 Hadoop Yarn 或者 EC2 聚類在你的筆記本或者分布系統上運行同樣的代碼。

藉助於靈活的 API 函數專注於任務或者機器學習。

在雲上用預測服務便捷地配置數據產品。

為探索和產品監測創建可視化的數據。

由 Galvanize 數據科學家 Benjamin Skrainka 提供。

Pandas

pandas 是一個開源的軟體，它具有 BSD 的開源許可，為 Python
編程語言提供高性能，易用數據結構和數據分析工具。在數據改動和數據預處理方面，Python 早已名聲顯赫，但是在數據分析與建模方面，Python
是個短板。Pands 軟體就填補了這個空白，能讓你用 Python 方便地進行你所有數據的處理，而不用轉而選擇更主流的專業語言，例如 R 語言。

整合了勁爆的 IPyton 工具包和其他的庫，它在 Python 中進行數據分析的開發環境在處理性能，速度，和兼容方面都性能卓越。Pands
不會執行重要的建模函數超出線性回歸和面板回歸;對於這些，參考 statsmodel 統計建模工具和 scikit-learn 庫。為了把 Python
打造成頂級的統計建模分析環境，我們需要進一步努力，但是我們已經奮斗在這條路上了。

由 Galvanize 專家，數據科學家 Nir Kaldero 提供。

PuLP

線性編程是一種優化，其中一個對象函數被最大程度地限制了。PuLP 是一個用 Python
編寫的線性編程模型。它能產生線性文件，能調用高度優化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，來求解這些線性問題。

由 Galvanize 數據科學家 Isaac Laughlin 提供

Matplotlib



matplotlib 是基於 Python 的
2D(數據)繪圖庫，它產生(輸出)出版級質量的圖表，用於各種列印紙質的原件格式和跨平台的互動式環境。matplotlib 既可以用在 python 腳本，
python 和 ipython 的 shell 界面 (ala MATLAB? 或 Mathematica?)，web 應用伺服器，和6類 GUI
工具箱。

matplotlib 嘗試使容易事情變得更容易，使困難事情變為可能。你只需要少量幾行代碼，就可以生成圖表，直方圖，能量光譜(power
spectra)，柱狀圖，errorcharts，散點圖(scatterplots)等，。

為簡化數據繪圖，pyplot 提供一個類 MATLAB 的介面界面，尤其是它與 IPython
共同使用時。對於高級用戶，你可以完全定製包括線型，字體屬性，坐標屬性等，藉助面向對象介面界面，或項 MATLAB 用戶提供類似(MATLAB)的界面。

Galvanize 公司的首席科學官 Mike Tamir 供稿。

Scikit-Learn



Scikit-Learn 是一個簡單有效地數據挖掘和數據分析工具(庫)。關於最值得一提的是，它人人可用，重復用於多種語境。它基於
NumPy，SciPy 和 mathplotlib 等構建。Scikit 採用開源的 BSD 授權協議，同時也可用於商業。Scikit-Learn
具備如下特性：

分類(Classification) – 識別鑒定一個對象屬於哪一類別

回歸(Regression) – 預測對象關聯的連續值屬性

聚類(Clustering) – 類似對象自動分組集合

降維(Dimensionality Rection) – 減少需要考慮的隨機變數數量

模型選擇(Model Selection) –比較、驗證和選擇參數和模型

預處理(Preprocessing) – 特徵提取和規范化

Galvanize 公司數據科學講師，Isaac Laughlin提供

Spark



Spark 由一個驅動程序構成，它運行用戶的 main 函數並在聚類上執行多個並行操作。Spark
最吸引人的地方在於它提供的彈性分布數據集(RDD)，那是一個按照聚類的節點進行分區的元素的集合，它可以在並行計算中使用。RDDs 可以從一個 Hadoop
文件系統中的文件(或者其他的 Hadoop 支持的文件系統的文件)來創建，或者是驅動程序中其他的已經存在的標量數據集合，把它進行變換。用戶也許想要 Spark
在內存中永久保存 RDD，來通過並行操作有效地對 RDD 進行復用。最終，RDDs 無法從節點中自動復原。

Spark 中第二個吸引人的地方在並行操作中變數的共享。默認情況下，當 Spark
在並行情況下運行一個函數作為一組不同節點上的任務時，它把每一個函數中用到的變數拷貝一份送到每一任務。有時，一個變數需要被許多任務和驅動程序共享。Spark
支持兩種方式的共享變數：廣播變數，它可以用來在所有的節點上緩存數據。另一種方式是累加器，這是一種只能用作執行加法的變數，例如在計數器中和加法運算中。

『捌』 Python編程網頁爬蟲工具集介紹

【導語】對於一個軟體工程開發項目來說，一定是從獲取數據開始的。不管文本怎麼處理，機器學習和數據發掘，都需求數據，除了通過一些途徑購買或許下載的專業數據外，常常需求咱們自己著手爬數據，爬蟲就顯得格外重要，那麼Python編程網頁爬蟲東西集有哪些呢?下面就來給大家一一介紹一下。

1、 Beautiful Soup

客觀的說，Beautifu Soup不完滿是一套爬蟲東西，需求協作urllib運用，而是一套HTML / XML數據分析，清洗和獲取東西。

2、Scrapy

Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同學都有耳聞，課程圖譜中的許多課程都是依託Scrapy抓去的，這方面的介紹文章有許多，引薦大牛pluskid早年的一篇文章：《Scrapy
輕松定製網路爬蟲》，歷久彌新。

3、 Python-Goose

Goose最早是用Java寫得，後來用Scala重寫，是一個Scala項目。Python-Goose用Python重寫，依靠了Beautiful
Soup。給定一個文章的URL, 獲取文章的標題和內容很便利，用起來非常nice。

以上就是Python編程網頁爬蟲工具集介紹，希望對於進行Python編程的大家能有所幫助，當然Python編程學習不止需要進行工具學習，還有很多的編程知識，也需要好好學起來哦，加油!

『玖』 圖解Python中數據分析工具包：Numpy

numpy是我學習python遇到的第一個第三方工具包，它可以讓我們快速上手數據分析。numpy提供了向量和矩陣計算和處理的大部分介面。目前很多python的基礎工具包都是基於numpy開發而來，比如 scikit-learn, SciPy, pandas, 還有 tensorflow。 numpy可以處理表格、圖像、文本等數據，極大地方便我們處理和分析數據。本文主要內容來自於Jay Alammar的一篇文章以及自己學習記錄。
原文地址： https://jalammar.github.io/visual-numpy/

使用過程中，如果希望 Numpy 能創建並初始化數組的值， Numpy 提供了 ones()、zeros() 和 random.random() 等方法。只需傳遞希望生成的元素數量（大小）即可：

還可以進行如下操作：

一般，需要數組和單個數字之間也可以進行運算操作（即向量和標量之間的運算）。比如說 data * 1.6 ，numpy利用一個叫做廣播機制（broadcasting）的概念實現了這一運算。：

我們可以通過索引對numpy數據獲取任意位置數據或者對數據切片

我們可以通過numpy自帶的函數對數據進行一些想要的聚合計算，比如min、max 和 sum ，還可以使用 mean 得到平均值，使用 prod 得到所有元素的乘積，使用 std 得到標准差等等。

上述操作不僅可以應用於單維度數據，還可以用於多維度數據{（矩陣）。

同樣可以使用ones()、zeros() 和 random.random()創建矩陣，只要寫入一個描述矩陣維數的元組即可：

numpy還可以處理更高維度的數據：

創建更高維度數據只需要在創建時，在參數中增加一個維度值即可：

根據數組中數值是否滿足條件，輸出為True或False.

希望得到滿足條件的索引，用np.where函數實現.

根據索引得到對應位置的值.

np.where也可以接受另兩個可選擇的參數a和b。當條件滿足時，輸出a，反之輸出b.

獲取數組最大值和最小值的索引可以使用np.argmax和np.argmin.

1、numpy.tofile()和numpy.fromfile()
保存為二進制格式，但是不保存數組形狀和數據類型， 即都壓縮為一維的數組，需要自己記錄數據的形狀，讀取的時候再reshape.

2、numpy.save() 和 numpy.load()
保存為二進制格式，保存數組形狀和數據類型， 不需要進行reshape
實例：

3、numpy.savetxt()和numpy.loadtxt()

np.savetxt(fname,array,fmt=』%.18e』,delimiter=None)
Parameter解釋：
array:待存入文件的數組。
fmt:寫入文件的格式
實例：

『拾』 python能幹什麼

「python可以做：1、Web開發；2、數據科學研究；3、網路爬蟲；4、嵌入式應用開發；5、游戲開發；6、桌面應用開發。python是一種動態的、面向對象的腳本語言，有著簡單易學、速度快、易於維護等特點。」

我發現有Python主要有以下三大主要應用：

• Web開發

• 數據科學：包括機器學習、數據分析和數據可視化

• 腳本

01 Web開發

Django和Flask等基於Python的Web框架最近在Web開發中非常流行。

這些Web框架可以幫助你用Python編寫伺服器端代碼(後端代碼)。這是在你的額伺服器上運行的代碼，而不是運行在用戶設備和瀏覽器的代碼(前端代碼)。

1. 為什麼需要Web框架

因為用Web框架可以更容易地構建通用後端邏輯。這包括將不同的URL映射到Python代碼塊，處理資料庫以及生成用戶在瀏覽器中看到的HTML文件。

2. 應該使用哪種Python Web框架

Django和Flask是最流行的兩種Python Web框架。如果你剛剛入門，我建議使用其中一種。

3. Django和Flask有什麼區別

Gareth Dwyer 關於這個問題有一篇出色的文章，在這里我引用幾段：

主要區別

Flask：能夠實現簡單、靈活和細致的控制。並能讓你自己決定實現方式。

Django：提供了全面的體驗：你可以獲得管理面板、資料庫介面、ORM(對象關系映射)以及開箱即用的應用程序和項目的目錄結構。

如何選擇

Flask：如果你關注的是經驗和學習的機會，或者你想更多地控制使用哪些組件，比如你想使用哪些資料庫以及如何與其進行交互。

Django：如果你關注最終產品，或者你正在研究一個簡單的應用，比如新聞網站、網店或博客，並且你希望有單一實現的方式。