㈠ 可以让你快速用python进行数据分析的10个小技巧
一些小提示和小技巧可能是非常有用的，特别是在编程领域。有时候使用一点点黑客技术，既可以节省时间，还可能挽救“生命”。
一个小小的快捷方式或附加组件有时真是天赐之物，并且可以成为真正的生产力助推器。所以，这里有一些小提示和小技巧，有些可能是新的，但我相信在下一个数据分析项目中会让你非常方便。
Pandas中数据框数据的Profiling过程
Profiling（分析器）是一个帮助我们理解数据的过程，而Pandas Profiling是一个Python包，它可以简单快速地对Pandas 的数据框数据进行 探索 性数据分析。
Pandas中df.describe()和df.info()函数可以实现EDA过程第一步。但是，它们只提供了对数据非常基本的概述，对于大型数据集没有太大帮助。 而Pandas中的Profiling功能简单通过一行代码就能显示大量信息，且在交互式HTML报告中也是如此。
对于给定的数据集，Pandas中的profiling包计算了以下统计信息：
由Pandas Profiling包计算出的统计信息包括直方图、众数、相关系数、分位数、描述统计量、其他信息——类型、单一变量值、缺失值等。
安装
用pip安装或者用conda安装
pip install pandas-profiling
conda install -c anaconda pandas-profiling
用法
下面代码是用很久以前的泰坦尼克数据集来演示多功能Python分析器的结果。
#importing the necessary packages
import pandas as pd
import pandas_profiling
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)
一行代码就能实现在Jupyter Notebook中显示完整的数据分析报告，该报告非常详细，且包含了必要的图表信息。
还可以使用以下代码将报告导出到交互式HTML文件中。
profile = pandas_profiling.ProfileReport(df)
profile.to_file(outputfile="Titanic data profiling.html")
Pandas实现交互式作图
Pandas有一个内置的.plot（）函数作为DataFrame类的一部分。但是，使用此功能呈现的可视化不是交互式的，这使得它没那么吸引人。同样，使用pandas.DataFrame.plot（）函数绘制图表也不能实现交互。 如果我们需要在不对代码进行重大修改的情况下用Pandas绘制交互式图表怎么办呢？这个时候就可以用Cufflinks库来实现。
Cufflinks库可以将有强大功能的plotly和拥有灵活性的pandas结合在一起，非常便于绘图。下面就来看在pandas中如何安装和使用Cufflinks库。
安装
pip install plotly
# Plotly is a pre-requisite before installing cufflinks
pip install cufflinks
用法
#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf
import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)
是时候展示泰坦尼克号数据集的魔力了。
df.iplot()
df.iplot() vs df.plot()
右侧的可视化显示了静态图表，而左侧图表是交互式的，更详细，并且所有这些在语法上都没有任何重大更改。
Magic命令
Magic命令是Jupyter notebook中的一组便捷功能，旨在解决标准数据分析中的一些常见问题。使用命令％lsmagic可以看到所有的可用命令。
所有可用的Magic命令列表
Magic命令有两种：行magic命令（line magics），以单个％字符为前缀，在单行输入操作；单元magic命令（cell magics），以双%%字符为前缀，可以在多行输入操作。如果设置为1，则不用键入%即可调用Magic函数。
接下来看一些在常见数据分析任务中可能用到的命令：
% pastebin
％pastebin将代码上传到Pastebin并返回url。Pastebin是一个在线内容托管服务，可以存储纯文本，如源代码片段，然后通过url可以与其他人共享。事实上，Github gist也类似于pastebin，只是有版本控制。
在file.py文件中写一个包含以下内容的python脚本，并试着运行看看结果。
#file.py
def foo(x):
return x
在Jupyter Notebook中使用％pastebin生成一个pastebin url。
%matplotlib notebook
函数用于在Jupyter notebook中呈现静态matplotlib图。用notebook替换inline，可以轻松获得可缩放和可调整大小的绘图。但记得这个函数要在导入matplotlib库之前调用。
%run
用％run函数在notebook中运行一个python脚本试试。
%run file.py
%%writefile
%% writefile是将单元格内容写入文件中。以下代码将脚本写入名为foo.py的文件并保存在当前目录中。
%%latex
%%latex函数将单元格内容以LaTeX形式呈现。此函数对于在单元格中编写数学公式和方程很有用。
查找并解决错误
交互式调试器也是一个神奇的功能，我把它单独定义了一类。如果在运行代码单元时出现异常，请在新行中键入％debug并运行它。 这将打开一个交互式调试环境，它能直接定位到发生异常的位置。还可以检查程序中分配的变量值，并在此处执行操作。退出调试器单击q即可。
Printing也有小技巧
如果您想生成美观的数据结构，pprint是首选。它在打印字典数据或JSON数据时特别有用。接下来看一个使用print和pprint来显示输出的示例。
让你的笔记脱颖而出
我们可以在您的Jupyter notebook中使用警示框/注释框来突出显示重要内容或其他需要突出的内容。注释的颜色取决于指定的警报类型。只需在需要突出显示的单元格中添加以下任一代码或所有代码即可。
蓝色警示框：信息提示
<p class="alert alert-block alert-info">
<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.
</p>
黄色警示框：警告
<p class="alert alert-block alert-warning">
<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.
</p>
绿色警示框：成功
<p class="alert alert-block alert-success">
Use green box only when necessary like to display links to related content.
</p>
红色警示框：高危
<p class="alert alert-block alert-danger">
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
</p>
打印单元格所有代码的输出结果
假如有一个Jupyter Notebook的单元格，其中包含以下代码行：
In [1]: 10+5
11+6
Out [1]: 17
单元格的正常属性是只打印最后一个输出，而对于其他输出，我们需要添加print()函数。然而通过在notebook顶部添加以下代码段可以一次打印所有输出。
添加代码后所有的输出结果就会一个接一个地打印出来。
In [1]: 10+5
11+6
12+7
Out [1]: 15
Out [1]: 17
Out [1]: 19
恢复原始设置：
InteractiveShell.ast_node_interactivity = "last_expr"
使用'i'选项运行python脚本
从命令行运行python脚本的典型方法是：python hello.py。但是，如果在运行相同的脚本时添加-i，例如python -i hello.py，就能提供更多优势。接下来看看结果如何。
首先，即使程序结束，python也不会退出解释器。因此，我们可以检查变量的值和程序中定义的函数的正确性。
其次，我们可以轻松地调用python调试器，因为我们仍然在解释器中：
import pdb
pdb.pm()
这能定位异常发生的位置，然后我们可以处理异常代码。
自动评论代码
Ctrl / Cmd + /自动注释单元格中的选定行，再次命中组合将取消注释相同的代码行。
删除容易恢复难
你有没有意外删除过Jupyter notebook中的单元格？如果答案是肯定的，那么可以掌握这个撤消删除操作的快捷方式。
如果您删除了单元格的内容，可以通过按CTRL / CMD + Z轻松恢复它。
如果需要恢复整个已删除的单元格，请按ESC + Z或EDIT>撤消删除单元格。
结论
在本文中，我列出了使用Python和Jupyter notebook时收集的一些小提示。我相信它们会对你有用，能让你有所收获，从而实现轻松编码！
㈡ Python精讲：Python中集合的交集并集差集和对称差集运算方法详解
欢迎你来到站长在线的站长学堂学习Python知识，本文学习的是《Python中集合的交集、并集、差集和对称差集运算方法详解》。主要讲的是集合运算的相关的概念，及运算方法，包括：集合的交集、集合的并集、集合的差集、集合的对称差集、集合的交集运算方法、集合的并集运算方法、集合的差集运算方法、集合的对称差集运算方法。
在Python中，集合最常用的操作就是进行交集、并集、差集和对称差集的运算。
要想学习集合的交集、并集、差集和对称差集运算方法，首先我们来了解这些名词的含义：
设A、B两个集合，由所有属于集合A且属于集合B的元素所组成的集合，叫做集合A与集合B的交集。在Python中，进行交集运算时使用“&”符号。
给定两个集合A、B，把他们所有的元素合并在一起组成的集合，叫做集合A与集合B的并集。在Python中，进行并集运算时使用“|”符号。
设A，B是两个集合，则所有属于A且不属于B的元素构成的集合，叫做集合A与集合B的差集。在Python中，进行差集运算时使用“-”符号。
对称差集也称为对称差分或者补集，设A，B是两个集合，所有不相同的集合，叫做集合A与集合B的对称差集（对称差分或者补集）。在Python中，进行对称差集运算时使用“^”符号。
上面都是概念性的描述，下面站长在线来举实际的场景来对交集、并集、差集和对称差集运算方法进行深入浅出的解读。
场景模拟：某高中三年级，文科班高考的科目是语文、数学、英语、政治、 历史 和地理。理科班高考的科目是语文、数学、英语、物理、化学和生物。
设定集合A为文科班高考的科目，集合B为理科班高考的科目。
A = {'语文','数学','英语','政治',' 历史 ','地理'}
B = {'语文','数学','英语','物理','化学','生物'}
我们使用集合的交集运算的时候可以采用两种方式，一种是使用“&”运算符进行操作，另一种是使用 intersection() 方法来实现。
运行结果：
运行结果：
同理集合B和集合A的交集也是一样。我这里就不重复了，自己去体验一下。
集合的并集运算也有两种方式，一种是使用“|”运算符进行操作，另一种是使用union()方法来实现。
运行结果如下：
运行结果为：
同理集合B和集合A的并集也是一样。自己去体验一下吧！
集合的差集运算也有两种方式，一种是使用“-”运算符进行操作，另一种是使用difference()方法来实现。
运行结果为：
上面是集合A和集合B的差集，但是集合B和集合A的差集就不是一样的了哦！
运行结果为：
从上面可以看出，集合A和集合B的差集 与 集合B和集合A的差集是不一样的，(A - B)是A中存在的部分，(B - A)是B中存在的部分。
运行结果：
同理，使用difference()方法进行集合B和集合A的差集也是不同的
运行结果：
集合的差集运算也有两种方式，一种是使用“^”运算符进行操作，另一种是使用symmetric_difference()方法来实现。
运行结果为：
运行结果为：
同样的，集合B与集合A的对称差集也是一样，自己去体验一下。
我们对集合的交集、并集、差集和对称差集运算方法全部详细的讲解了一遍，通过运行结果，我们得出结论：
集合中进行交集、并集、对称差集进行运算的时候，集合A与集合B，位置替换的时候，结果相同。
集合中进行差集运算的时候，集合A与集合B，位置替换的时候，结果不同，为前面那个集合独立存在的部分。
到此为止，本节课的内容《Python中集合的交集、并集、差集和对称差集运算方法详解》就完全讲完了，主要讲的集合运算的相关的概念，及运算方法，包括：集合的交集、集合的并集、集合的差集、集合的对称差集、集合的交集运算方法、集合的并集运算方法、集合的差集运算方法、集合的对称差集运算方法。
㈢ 如何利用python语言进行数据分析
随着互联网的不断发展，数据分析已经成为指导我们工作方向的主要依据之一，而岁散今天我们就一起来了解一下，如租返何利用python编程开发来进行数据分析，下面电脑培训就开始今天的主要内容吧。
为什么要学习Python进行数据分析?
Python作为一种用于数据分析的语言，近引起了广泛的兴趣。我以前学过Python的基础知识。下面是一些支持学习Python的原因:
开源-免费安装
很棒弊雀饥的在线社区
简单易学
可以成为数据科学和基于web的分析产品生成的通用语言
不用说，它也有一些缺点:
它是一种解释语言而不是编译语言——因此可能会占用更多的CPU时间。但是，考虑到节省了程序员的时间(由于易于学习)，它仍然是一个不错的选择。
Python2.7和3.4
这是Python中受争议的话题之一。您一定会遇到它，特别是如果您是初学者的话。这里没有正确/错误的选择。这完全取决于情况和你的需要。我会试着给你一些建议来帮助你做出明智的选择。
为什么Python2.7?
很棒的社区支持!这是你早年需要的东西。Python2于2000年末发布，已经使用了超过15年。
过多的三方库!虽然许多库都提供了3.x支持，但仍然有很多模块只能在2.x版本上工作。如果您计划将Python用于特定的应用程序，比如高度依赖外部模块的web开发，那么使用2.7可能会更好。
㈣ 如何用python进行数据分析
1、Python数据分析流程及学习路径
数据分析的流程概括起来主要是：读写、处理计算、分析建模和可视化四个部分。在不同的步骤中会用到不同的Python工具。每一步的主题也包含众多内容。
根据每个部分需要用到的工具，Python数据分析的学习路径如下：
相关推荐：《Python入门教程》
2、利用Python读写数据
Python读写数据，主要包括以下内容：
我们以一小段代码来看：
可见，仅需简短的两三行代码即可实现Python读入EXCEL文件。
3、利用Python处理和计算数据
在第一步和第二步，我们主要使用的是Python的工具库NumPy和pandas。其中，NumPy主要用于矢量化的科学计算，pandas主要用于表型数据处理。
4、利用Python分析建模
在分析和建模方面，主要包括Statsmdels和Scikit-learn两个库。
Statsmodels允许用户浏览数据，估计统计模型和执行统计测试。可以为不同类型的数据和每个估算器提供广泛的描述性统计，统计测试，绘图函数和结果统计列表。
Scikit-leran则是着名的机器学习库，可以迅速使用各类机器学习算法。
5、利用Python数据可视化
数据可视化是数据工作中的一项重要内容，它可以辅助分析也可以展示结果。