pythonweb分析工具

‘壹’ 有哪些好用的python库

Python作为一门胶水语言，第三方库众多，下面我简单介绍几个好用的Python库：

tensorflow

这是谷歌非常着名的一个开源机器学习框架，在业界非常受欢迎，可以灵活、快速的构建大规模机器学习应用（如神经网络等），性能和可移植性都非常不错，支持GPU并行计算，如果你对机器学习比较感兴趣，也想深入了解一下的话，可以学习一下这个框架，非常不错：

pandas

如果你对数据分析比较感兴趣，那么pandas就是一个非常不错的选择，专门为数据分析而建，内置的函数和方法可以快速处理Excel，CSV等文件，而且提供了实时分析功能，代码量更少，使用起来也更方便，对于数据处理来说，是一个非常不错的分析工具：

matplotlib

这是Python的一个数据可视化库，可以快速制作我们常见的图表，如柱状图、饼状图、散点图等，当然，也不仅仅限于这些，还有很多，如果你想画出更多美丽的图表，可以考虑学习一下这个库，非常值得学习，当然，seaborn，pyecharts等这些可视化库也非常不错：

tushare

如果你对金融财经比较感兴趣，想快速获取股票等行情数据，也不想编写复杂的处理代码，那么tushare就是一个非常不错的选择，自动整合了国内大部分金融财经数据，完成了数据从采集、清洗和存储的全过程，只需简单的几行代码就可以实时快速获取到你所想要的数据，免费且开源：

PyQt

这是Python的一个GUI开发库，如果你想快速创建一个桌面GUI程序，想直接拖拽控件布局界面的话，那么PyQt就是一个非常不错的选择，基于Qt的QtDesigner设计工具，你可以直接拖拽Qt大量的控件快速构建出你自己的桌面应用，简单而又快捷：

Kivy

如果你想利用Python开发一个安卓应用，那么kivy就是一个非常不错的选择，这是Python的一个开源、跨平台的GUI库，只需要编写一套代码，即可运行在大部分桌面及移动平台上，包括winsows，linux，ios，android等，非常不错：

scrapy

这是Python的一个爬虫框架，在也就非常受欢迎，如果你想快速的定制自己的爬虫程序，又不想重复的造轮子的话，可以学习一下这个库，只需要添加少量的代码，就可启动属于自己的一个爬虫应用，非常方便：

django

这是一个流行的PythonWeb框架，如果你想快速构建一个自己的web应用，那么这个框架就非常值得学习，成熟稳重，基于MVC模式，使用起来非常方便，当然，也有轻量级的web框架，如flask，tornado等，也都非常不错：

pygame

如果你想快速开发一个小型游戏，又不想低级语言的束缚，可以考虑学习一下这个库，非常简单，只需要少量的代码便可构建一个游戏应用，当然，它也是一个非常不错的GUI库，对于桌面开发来说，也是一个不错的选择：

you-get

这是Python的一个视频、音频下载库，如果你想免费快速下载优派卜酷、B站、腾讯等网站的视频，安装这个库后，只尘竖穗需要简单的一行命令就可直接下载，非常方便，纤哗而且还可以在线观看，查看视频文件格式及清晰度等，当然，图片也可直接下载：

就介绍这10个不错的Python库吧，对于日常学习开发来说，非常不错，当然，还有许多其他好用的Python库，这个可以到网上搜索一下，非常多，也欢迎大家留言补充。

‘贰’ 如何用python写 数据分析工具

• 数据导入

• 导入本地的或者web端的CSV文件；

• 数据变换；

• 数据统计描述；

• 假设检验

• 单样本t检验；

• 可视化；

• 创建自定义函数。

数据导入

这是很关键的一步，为了后续的分析我们首先需要导入数据。通常来说，数据是CSV格式，就算不是，至少也可以转换成CSV格式。在Python中，我们的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

为了读取本地CSV文件，我们需要pandas这个数据分析库中的相应模块。其中的read_csv函数能够读取本地和web数据。

数据变换

既然在工作空间有了数据，接下来就是数据变换。统计学家和科学家们通常会在这一步移除分析中的非必要数据。我们先看看数据：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 1591023349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

对R语言程序员来说，上述操作等价于通过print(head(df))来打印数据的前6行，以及通过print(tail(df))来打印数据的后6行。当然Python中，默认打印是5行，而R则是6行。因此R的代码head(df, n = 10)，在Python中就是df.head(n = 10)，打印数据尾部也是同样道理。

在R语言中，数据列和行的名字通过colnames和rownames来分别进行提取。在Python中，我们则使用columns和index属性来提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

数据转置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他变换，例如排序就是用sort属性。现在我们提取特定的某列数据。Python中，可以使用iloc或者ix属性。但是我更喜欢用ix，因为它更稳定一些。假设我们需数据第一列的前5行，我们有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

顺便提一下，Python的索引是从0开始而非1。为了取出从11到20行的前3列数据，我们有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相当于df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

为了舍弃数据中的列，这里是列1(Apayao)和列2(Benguet)，我们使用drop属性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis参数告诉函数到底舍弃列还是行。如果axis等于0，那么就舍弃行。

统计描述

下一步就是通过describe属性，对数据的统计特性进行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假设检验

Python有一个很好的统计推断包。那就是scipy里面的stats。ttest_1samp实现了单样本t检验。因此，如果我们想检验数据Abra列的稻谷产量均值，通过零假设，这里我们假定总体稻谷产量均值为15000，我们有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值组成的元祖：

• t : 浮点或数组类型
  t统计量

• prob : 浮点或数组类型
  two-tailed p-value 双侧概率值

通过上面的输出，看到p值是0.267远大于α等于0.05，因此没有充分的证据说平均稻谷产量不是150000。将这个检验应用到所有的变量，同样假设均值为15000，我们有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一个数组是t统计量，第二个数组则是相应的p值。

可视化

Python中有许多可视化模块，最流行的当属matpalotlib库。稍加提及，我们也可选择bokeh和seaborn模块。之前的博文中，我已经说明了matplotlib库中的盒须图模块功能。

;

• 重复100次; 然后

• 计算出置信区间包含真实均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代码读起来很简单，但是循环的时候就很慢了。下面针对上述代码进行了改进，这多亏了Python专家，看我上篇博文的15条意见吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些对于本文ipython notebook版本感兴趣的，请点击这里。这篇文章由Nuttens Claude负责转换成ipython notebook 。

‘叁’ eviews和python的区别

EViews和Python是两种不同的数据分析工具，具有一些区别和优缺点。

1. 语言：EViews是一种专门用于经济数据分析的软件，其语言主要是EViews命令语言（EViews Command Language，ECL），其语法和结构与其他编程语言兆指缓不同。Python是一种通用编程语言，可以用于各种领域的数据分析和编程任务。

2. 功能：EViews主要用于经济数据分析和建模，包括时间序列分析、回归分析、面板数据分析等。它提供了许多专门用于经济数据分析的功能和工具，如ARIMA模型、VAR模型、协整分析等。Python则是一种通用编程语言，可以用于各种数据分析和编族模程任务，包括机器学习、数据可视化、Web开发等。

3. 学习曲线：EViews的学习曲线相对较低，逗汪因为它是专门为经济学家和数据分析师设计的，并且提供了许多易于使用的功能和工具。Python的学习曲线较陡峭，因为它是一种通用编程语言，需要掌握基本的编程概念和语法。

4. 可扩展性：Python具有很高的可扩展性，可以通过安装各种第三方库和模块来扩展其功能和应用范围。EViews的可扩展性相对较低，因为它是一种专门用于经济数据分析的软件，其功能和工具主要是针对经济数据分析而设计的。

综上所述，EViews和Python都是非常有用的数据分析工具，具有各自的优缺点和适用范围。选择哪种工具取决于具体的应用需求和个人偏好。

‘肆’ 学习python爬虫有什么关于分析html页面和请求过程的书和工具推荐

看书是基础，除此之外还有学习路线，该怎么学习，跟着路线来学的话，更加有效果。

第一阶段—Python基础准备：本阶段主要是学习Python零基础入门学习教程，html+css、javascript、jquery、python编程基础、python初探等，让你轻松入门python语言。

第二阶段—Python Web开发: 本阶段是主要Python开发基础知识的讲解，通过系统学习mysql数据库、django、ajax、Tornado入门、个人博客系统实战等相关技术，全面掌握python基础开发技能技巧。

第三阶段—Python扩展开发：本阶段Python
开发进阶，主要是Python开发实战讲解，针对有一定Python开发基础学员，从Tkinter桌面编程、Python开发跨的记事本、编程实
战、python爬虫、论坛项目实战等方面深入讲解，让学员快速精通python开发语言。

第四阶段—Python开发选修：本节阶段是Python开发的一个拓展讲解，主要是Linux系统、Flask框架、redis框架、node.js框架、html5+css3等相关系统和框架及技术方面的结合使用学习，让精通python开发的你，技艺更加精湛。

‘伍’ python做可视化数据分析，究竟怎么样

当然非常不错，作为一门应用广泛的编程语言，python第三方库扩展丰富，针对数据可视化，提供了许多高效、简便的包可以直接使用，下面我简单介绍3个，分别是matplotlib、seaborn和pyecharts，感兴趣的朋友可以尝试一下：

老牌工具matplotlib

这是python一个非常着名的可视化工具，相信许多做过可视化的朋友都对matplotlib非常熟悉，专业强大、功能齐全、扩展丰富，几乎你能想到的各种图表，matplotlib都可以轻松办到，小到常见的柱状图、饼状图、折线图，大到复杂的动图、三维图、自定义袜高图，matplotlib都有深入涉及，种类繁多，代码齐全，如果你想做数据可视化，绘制专业的图表以供显示，可以使用一下matplotlib，效果非常不错：

精简封装seaborn

这也是一个非常不错的python可视化包，基于matplotlib开发，对matplotlib的复杂参数和调用做了精简封装，因此使用起来更方便枯和，也更容易入手，常见的散点图、曲线图、柱状图、饼状图、热力图、箱型图、小提琴图，这个库都有深入涉及，demo丰富，告败尺代码齐全，官方教程详细，如果你想快速绘制专业强大的图表，简化复杂的参数配置，可以使用一下seaborn，代码更少，也更容易学习：

简单易用pyecharts

使用过echarts的朋友应该对pyecharts非常熟悉了，python对echarts的一个简单封装和调用，借助于echarts强大的数据可视化功能，pyecharts也可以轻松绘制各种图表，常见的柱状图、饼状图、散点图、曲线图，复杂的地图、树图、k线图、仪表盘、地理图、三维图，pyecharts都可以轻松办到，专业强大、制图漂亮、简单易用，如果你想绘制简洁大方的图表，基于web页面进行显示，可以使用一下pyecharts，效果非常不错：

目前就分享这3个不错的python可视化库吧，其实还有许多其他包也可以直接使用，像ggplot、bokeh等也都非常不错，只要你有一定python基础，熟悉一下相关代码和示例，很快就能掌握的，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

‘陆’ Python 如何开发高效漂亮的轻量级 Web 应用

痛点

从我开始折腾数据分析工具的那一天，就没有想明白一件事儿 —— 我打算把数据分析的成果做成一个 Web 应用，为什么这么难？

我需要的核心功能，无非是在网页上接收用户输入，然后做分析处理，把分析结果反馈给用户，完事儿。

可是这谈何容易？

很多人都会微笑着告诉你，想做 Web 应用？这得学前端编程， HTML + Javascript 了解一下吧！

什么？你还需要在后台做数据分析？那你就得学 Web 框架了。

你说喜欢 Python ？那就学个 Django 或者 Flask 好了。

我也不是没有看过 Django 和 Flask 的教程，还曾经付费学习过。光是 Django 配置环境，就够写一章出来。

作为学习的中间成果，我还写了这篇《如何用 Python 做 Web 开发？——Django 环境配置》分享给你。

真正让我痛苦的，不是 Web 框架的操作有多么琐碎，而是教程里的案例，为什么都那么奇怪？

几乎所有的教程，都指向一个目标：

来，我教你做一个 blog 出来！

我用你教？！

我要是想用 blog ，可以直接注册一个免费的啊！为什么我要自己开发个 blog 出来？

为什么你就不能告诉我，该怎么把我目前的数据分析结果，迅速挪到 Web 页面上，跟用户实时交互？

虽然二者的结果，都是做一个 Web 应用出来。但是，它们关注的焦点，需要的功能，能一样吗？

但是人家写书和做教程的人，就是不疾不徐，坚持一定要教会你，如何做一个 blog 出来……

你不学，又能怎么办呢？你难道想只凭 Python 脚本，就做一个 Web 应用出来？

还真别说，最近，这个事儿从幻想，变成了现实。

样例

这不，我就用纯 Python 脚本写了个 Web 应用。

我编写的代码里，没有一丝半毫的 Web 框架，Javascript，甚至是 HTML 。

这玩意儿能用吗？

你自己来试试看。

请你打开浏览器，输入以下链接：https://helloworld-streamlit.herokuapp.com/

你会看到下面的初始化界面。

初始化完毕之后，页面会分成左右两栏。左面是两个下拉候选框，分别让你指定需要分析的数据范围。

上面一个，是事件类型；

下面一个，是事件发生归属地。

如果你看过我的文章《如何用 Python 和循环神经网络预测严重交通拥堵？》，应该对这个数据集很熟悉。

只不过，当时我们更注重的，是用循环神经网络搭建了一个严重拥堵事件预测模型。

而今天，我们是要进行探索性数据分析，也就是根据我们感兴趣的目标，对数据进行整理操作，然后可视化显示。

选定之后，你会看到右侧提示两个信息：

• 你筛选之后，数据框包含行数

• 在层叠地图上的可视化结果。

  
  

怎么样？

麻雀虽小，五脏俱全。

虽然咱们这个 Web 应用很简单，不过交互分析该有的功能和流程，基本上都涵盖了。

你可能会问：

王老师，编这么一个应用出来，不简单吧？

让我带你到幕后，看看是不是很复杂。

幕后

我把这个应用的全部源代码，都为你存储到了 Github 上。请你访问这个网址获取：https://github.com/wshuyi/demo-helloworld-streamlit

可以看到，一共包含了 4 个文件。

有意思的是，其中 3 个，包括：

• Procfile

• setup.sh

• requirements.txt

都只是部署到远程服务器时，需要用到的配置文件而已。

也就是说，只有最后一个helloworld.py是主角，它包含了实现咱们全部交互式数据分析功能的 Python 脚本文件。

这代码，少说也得有几百行吧？

别担心，打开来看看：

上面这张截图，就已经包含了实现交互数据分析功能的全部代码。

神奇吧？

解读

这么短的代码，为什么能有如此强大的功能？

这是因为它背后使用的一个软件包，叫做streamlit。

它是干什么用的？

一言以蔽之，给你赋能，让你能够不去操心什么前端后端。只写 Python ，只关注功能，你就能写出一个交互式 Web 应用出来。

当然，既然最后是 Web 应用，那么实际上前后端的功能都是齐备的。

只不过，这些交由 Streamlit 来帮你费心操办。你根本不用管。

爆发

为什么会有人做了这么一款神器出来？

原因很简单，咱们前面提到的痛点，是大伙儿都有的。

咱们这些麻瓜（Muggle），遇到痛点只能忍着。

但是真正的魔法师（优秀程序员），是忍不了的。

在这段来自 PyData LA 2019 的视频里，Streamlit 的 CEO Adrien Treuille 谈及了他在数据智能企业中，长期遭遇的痛点。

最大的痛点，就是数据科学家训练好机器学习模型后，需要验证效果，和用户反馈沟通。

但是，做机器学习的工程师本身，并不掌握这一整套的工具栈。

所以，就得在把全部的数据分析和模型训练工作完成后，把这东西移交给一个工具制作团队。

人家做完以后，就告诉数据科学团队说，做好了。但是注意，现在处于需求冻结阶段。这个应用你们可以随便用，只是别乱改。改坏了我们管不了。因为最近两个月，我们还得给其他若干数据分析团队做 app 。大概几个月以后，我们又能回来帮助你们了……

Adrien Treuille 很敏锐地捕捉到了这个长期痛点，于是在 2018 年， 创立了 streamlit 。

目标很简单，给数据科学团队提供简单的工具，让他们使用已经掌握的 Python 编程技能，就能直接做 Web 应用。

什么 “等上两三个月不许改”？！你们自己慢慢儿玩儿去吧，我们想怎么改，就怎么改！

至于做出来的东西嘛，可以是这样的：

资源

看到这里，是不是心动了？也打算学习一下 Streamlit ？

没问题，我前面给你提供的样例，就在 github 上，你可以直接查看源码。

如果你希望重现这个小应用，并且一步步学习掌握 Streamlit 的基础知识和技能，我也已经为你写好了一份手把手的教程。地址在这里https://sspai.com/post/58474。

它不仅教你如何设置环境，安装工具，写作代码，甚至连如何免费部署到 heroku 平台，让用户使用，都毫无保留地教给了你。

那篇文章，我用于参加少数派年度征文活动，所以就不能全文展示在这里了。

读完以后，如果你觉得有收获，欢迎在少数派平台上帮我点个赞。谢谢支持！

思考

尝试过之后，你应该不难发现，Streamlit 给你带来了什么。

如果你学过 Javascript 和 Flask, Django 等 Web 应用开发技术，Streamlit 可以加快你的 Web 应用开发与测试进程。

如果你还没有学过上述技术， Streamlit 可以给你赋能，让你一下子有了把数据分析结果变成产品的能力。

给你讲点儿更激进的。

有人已经希望能用它替代掉 Flask 用于产品发布了。

还有人说，将来写技术文档，也应该充分使用 Streamlit 。

甚至，还把它比作了数据科学界的 iPhone 。

这里，它是借喻 iPhone 开启智能手机时代，说明 Streamlit 的划时代性。

我不希望你也变得如此激进。

因为这里提到的每一种功用，现在还都有非常专业的工具做的更好，而且新的工具也在不断涌现。

例如说，我们在多个教程中一直使用 Jupyter Notebook 。

现在凭借 Voila 扩展的加持，你也可以很轻松地把 Jupyter Notebook 变成 Web app ，而且可以免费运行在 mybinder 上面。

但是，你可以看到，一个新的工具，以一种简单，而不是更繁复的办法，解决一个功能痛点，是一件多么令人欣喜的事儿。

看了这篇文章，可能会给你一种误解，似乎 JavaScript 为代表的前端编程技术，再也不需要学了。

其实不是这样的。

可以想象，开发门槛降低以后，将来会有更多的人使用 Python 来做 Web 应用。

用 Streamlit 这样的方法，他们只是开发出了一个原型。

要是想打造精品，就必须精细调控很多细节。

这时候， 如果你精通 Javascript ，那你潜在的合作对象一下子就多了起来，你掌握的这门技术，也就有了更大的价值。

还记得吗？我不止一次给你强调过，比起一个工具自身的能力来，协作网络更重要。忘了的话，记得复习《学 Python ，能提升你的竞争力吗？》。

这就好像印刷术的发明，不是让会写字这件事儿变得失去价值，而是全社会都增大了对好作品的渴求。深刻的思考，加上有效的文字表达，会让你生存得更好。

当然，如果你不希望精通写作技艺，只是想做一个抄书匠糊口。那么印刷术就可能会替代你的工作，结果就不那么美妙了。

小结

这篇文章，我为你介绍了 Streamlit 这款有趣的工具。希望你读过之后，掌握了以下知识点：

• 借助 Streamlit ，你可以用纯 Python 编制 Web 应用；

• 学 Web 设计依然很有前途，因为你的潜在合作群体正在迅速扩大；

• 不要惹魔法师（优秀程序员）。他们的痛点需求会转化成无尽的战斗力，兴许会直接替掉你的日常工作。
  

更多Python知识，请关注：Python自学网！！

‘柒’ 数据分析工具有哪些 python

IPython


IPython 是一个在多种编程语言之间进行交互计算的命令行 shell，最开始是用 python 开发的，提供增强的内省，富媒体，扩展的 shell
语法，tab 补全，丰富的历史等功能。IPython 提供了如下特性：

更强的交互 shell(基于 Qt 的终端)

一个基于浏览器的记事本，支持代码，纯文本，数学公式，内置图表和其他富媒体

支持交互数据可视化和图形界面工具

灵活，可嵌入解释器加载到任意一个自有工程里

简单易用，用于并行计算的高性能工具

由数据分析总监，Galvanize 专家 Nir Kaldero 提供。



GraphLab Greate 是一个 Python 库，由 C++ 引擎支持，可以快速构建大型高性能数据产品。

这有一些关于 GraphLab Greate 的特点：

可以在您的计算机上以交互的速度分析以 T 为计量单位的数据量。

在单一平台上可以分析表格数据、曲线、文字、图像。

最新的机器学习算法包括深度学习，进化树和 factorization machines 理论。

可以用 Hadoop Yarn 或者 EC2 聚类在你的笔记本或者分布系统上运行同样的代码。

借助于灵活的 API 函数专注于任务或者机器学习。

在云上用预测服务便捷地配置数据产品。

为探索和产品监测创建可视化的数据。

由 Galvanize 数据科学家 Benjamin Skrainka 提供。

Pandas

pandas 是一个开源的软件，它具有 BSD 的开源许可，为 Python
编程语言提供高性能，易用数据结构和数据分析工具。在数据改动和数据预处理方面，Python 早已名声显赫，但是在数据分析与建模方面，Python
是个短板。Pands 软件就填补了这个空白，能让你用 Python 方便地进行你所有数据的处理，而不用转而选择更主流的专业语言，例如 R 语言。

整合了劲爆的 IPyton 工具包和其他的库，它在 Python 中进行数据分析的开发环境在处理性能，速度，和兼容方面都性能卓越。Pands
不会执行重要的建模函数超出线性回归和面板回归;对于这些，参考 statsmodel 统计建模工具和 scikit-learn 库。为了把 Python
打造成顶级的统计建模分析环境，我们需要进一步努力，但是我们已经奋斗在这条路上了。

由 Galvanize 专家，数据科学家 Nir Kaldero 提供。

PuLP

线性编程是一种优化，其中一个对象函数被最大程度地限制了。PuLP 是一个用 Python
编写的线性编程模型。它能产生线性文件，能调用高度优化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，来求解这些线性问题。

由 Galvanize 数据科学家 Isaac Laughlin 提供

Matplotlib



matplotlib 是基于 Python 的
2D(数据)绘图库，它产生(输出)出版级质量的图表，用于各种打印纸质的原件格式和跨平台的交互式环境。matplotlib 既可以用在 python 脚本，
python 和 ipython 的 shell 界面 (ala MATLAB? 或 Mathematica?)，web 应用服务器，和6类 GUI
工具箱。

matplotlib 尝试使容易事情变得更容易，使困难事情变为可能。你只需要少量几行代码，就可以生成图表，直方图，能量光谱(power
spectra)，柱状图，errorcharts，散点图(scatterplots)等，。

为简化数据绘图，pyplot 提供一个类 MATLAB 的接口界面，尤其是它与 IPython
共同使用时。对于高级用户，你可以完全定制包括线型，字体属性，坐标属性等，借助面向对象接口界面，或项 MATLAB 用户提供类似(MATLAB)的界面。

Galvanize 公司的首席科学官 Mike Tamir 供稿。

Scikit-Learn



Scikit-Learn 是一个简单有效地数据挖掘和数据分析工具(库)。关于最值得一提的是，它人人可用，重复用于多种语境。它基于
NumPy，SciPy 和 mathplotlib 等构建。Scikit 采用开源的 BSD 授权协议，同时也可用于商业。Scikit-Learn
具备如下特性：

分类(Classification) – 识别鉴定一个对象属于哪一类别

回归(Regression) – 预测对象关联的连续值属性

聚类(Clustering) – 类似对象自动分组集合

降维(Dimensionality Rection) – 减少需要考虑的随机变量数量

模型选择(Model Selection) –比较、验证和选择参数和模型

预处理(Preprocessing) – 特征提取和规范化

Galvanize 公司数据科学讲师，Isaac Laughlin提供

Spark



Spark 由一个驱动程序构成，它运行用户的 main 函数并在聚类上执行多个并行操作。Spark
最吸引人的地方在于它提供的弹性分布数据集(RDD)，那是一个按照聚类的节点进行分区的元素的集合，它可以在并行计算中使用。RDDs 可以从一个 Hadoop
文件系统中的文件(或者其他的 Hadoop 支持的文件系统的文件)来创建，或者是驱动程序中其他的已经存在的标量数据集合，把它进行变换。用户也许想要 Spark
在内存中永久保存 RDD，来通过并行操作有效地对 RDD 进行复用。最终，RDDs 无法从节点中自动复原。

Spark 中第二个吸引人的地方在并行操作中变量的共享。默认情况下，当 Spark
在并行情况下运行一个函数作为一组不同节点上的任务时，它把每一个函数中用到的变量拷贝一份送到每一任务。有时，一个变量需要被许多任务和驱动程序共享。Spark
支持两种方式的共享变量：广播变量，它可以用来在所有的节点上缓存数据。另一种方式是累加器，这是一种只能用作执行加法的变量，例如在计数器中和加法运算中。

‘捌’ Python编程网页爬虫工具集介绍

【导语】对于一个软件工程开发项目来说，一定是从获取数据开始的。不管文本怎么处理，机器学习和数据发掘，都需求数据，除了通过一些途径购买或许下载的专业数据外，常常需求咱们自己着手爬数据，爬虫就显得格外重要，那么Python编程网页爬虫东西集有哪些呢?下面就来给大家一一介绍一下。

1、 Beautiful Soup

客观的说，Beautifu Soup不完满是一套爬虫东西，需求协作urllib运用，而是一套HTML / XML数据分析，清洗和获取东西。

2、Scrapy

Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同学都有耳闻，课程图谱中的许多课程都是依托Scrapy抓去的，这方面的介绍文章有许多，引荐大牛pluskid早年的一篇文章：《Scrapy
轻松定制网络爬虫》，历久弥新。

3、 Python-Goose

Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依靠了Beautiful
Soup。给定一个文章的URL, 获取文章的标题和内容很便利，用起来非常nice。

以上就是Python编程网页爬虫工具集介绍，希望对于进行Python编程的大家能有所帮助，当然Python编程学习不止需要进行工具学习，还有很多的编程知识，也需要好好学起来哦，加油!

‘玖’ 图解Python中数据分析工具包：Numpy

numpy是我学习python遇到的第一个第三方工具包，它可以让我们快速上手数据分析。numpy提供了向量和矩阵计算和处理的大部分接口。目前很多python的基础工具包都是基于numpy开发而来，比如 scikit-learn, SciPy, pandas, 还有 tensorflow。 numpy可以处理表格、图像、文本等数据，极大地方便我们处理和分析数据。本文主要内容来自于Jay Alammar的一篇文章以及自己学习记录。
原文地址： https://jalammar.github.io/visual-numpy/

使用过程中，如果希望 Numpy 能创建并初始化数组的值， Numpy 提供了 ones()、zeros() 和 random.random() 等方法。只需传递希望生成的元素数量（大小）即可：

还可以进行如下操作：

一般，需要数组和单个数字之间也可以进行运算操作（即向量和标量之间的运算）。比如说 data * 1.6 ，numpy利用一个叫做广播机制（broadcasting）的概念实现了这一运算。：

我们可以通过索引对numpy数据获取任意位置数据或者对数据切片

我们可以通过numpy自带的函数对数据进行一些想要的聚合计算，比如min、max 和 sum ，还可以使用 mean 得到平均值，使用 prod 得到所有元素的乘积，使用 std 得到标准差等等。

上述操作不仅可以应用于单维度数据，还可以用于多维度数据{（矩阵）。

同样可以使用ones()、zeros() 和 random.random()创建矩阵，只要写入一个描述矩阵维数的元组即可：

numpy还可以处理更高维度的数据：

创建更高维度数据只需要在创建时，在参数中增加一个维度值即可：

根据数组中数值是否满足条件，输出为True或False.

希望得到满足条件的索引，用np.where函数实现.

根据索引得到对应位置的值.

np.where也可以接受另两个可选择的参数a和b。当条件满足时，输出a，反之输出b.

获取数组最大值和最小值的索引可以使用np.argmax和np.argmin.

1、numpy.tofile()和numpy.fromfile()
保存为二进制格式，但是不保存数组形状和数据类型， 即都压缩为一维的数组，需要自己记录数据的形状，读取的时候再reshape.

2、numpy.save() 和 numpy.load()
保存为二进制格式，保存数组形状和数据类型， 不需要进行reshape
实例：

3、numpy.savetxt()和numpy.loadtxt()

np.savetxt(fname,array,fmt=’%.18e’,delimiter=None)
Parameter解释：
array:待存入文件的数组。
fmt:写入文件的格式
实例：

‘拾’ python能干什么

“python可以做：1、Web开发；2、数据科学研究；3、网络爬虫；4、嵌入式应用开发；5、游戏开发；6、桌面应用开发。python是一种动态的、面向对象的脚本语言，有着简单易学、速度快、易于维护等特点。”

我发现有Python主要有以下三大主要应用：

• Web开发

• 数据科学：包括机器学习、数据分析和数据可视化

• 脚本

01 Web开发

Django和Flask等基于Python的Web框架最近在Web开发中非常流行。

这些Web框架可以帮助你用Python编写服务器端代码(后端代码)。这是在你的额服务器上运行的代码，而不是运行在用户设备和浏览器的代码(前端代码)。

1. 为什么需要Web框架

因为用Web框架可以更容易地构建通用后端逻辑。这包括将不同的URL映射到Python代码块，处理数据库以及生成用户在浏览器中看到的HTML文件。

2. 应该使用哪种Python Web框架

Django和Flask是最流行的两种Python Web框架。如果你刚刚入门，我建议使用其中一种。

3. Django和Flask有什么区别

Gareth Dwyer 关于这个问题有一篇出色的文章，在这里我引用几段：

主要区别

Flask：能够实现简单、灵活和细致的控制。并能让你自己决定实现方式。

Django：提供了全面的体验：你可以获得管理面板、数据库接口、ORM(对象关系映射)以及开箱即用的应用程序和项目的目录结构。

如何选择

Flask：如果你关注的是经验和学习的机会，或者你想更多地控制使用哪些组件，比如你想使用哪些数据库以及如何与其进行交互。

Django：如果你关注最终产品，或者你正在研究一个简单的应用，比如新闻网站、网店或博客，并且你希望有单一实现的方式。