python原生方法

㈠ python能做什么

python的用途：

Python的优势有必要作为第一步去了解，Python作为面向对象的脚本语言，优势就是数据处理和挖掘，这也注定了它和AI、互联网技术的紧密联系。

网络爬虫。顾名思义，从互联网上爬取信息的脚本，主要由urllib、requests等库编写，实用性很强，小编就曾写过爬取5w数据量的爬虫。在大数据风靡的时代，爬虫绝对是新秀。

人工智能。AI使Python一战成名，AI的实现可以通过tensorflow库。神经网络的核心在于激活函数、损失函数和数据，数据可以通过爬虫获得。训练时大量的数据运算又是Python的show time。

(1)python原生方法扩展阅读：

Python开发人员尽量避开不成熟或者不重要的优化。一些针对非重要部位的加快运行速度的补丁通常不会被合并到Python内。在某些对运行速度要求很高的情况，Python设计师倾向于使用JIT技术，或者用使用C/C++语言改写这部分程序。可用的JIT技术是PyPy。

Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。

Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言，Python对函数式设计只提供了有限的支持。有两个标准库(functools, itertools)提供了Haskell和Standard ML中久经考验的函数式程序设计工具。

㈡ cython与python的不同有哪些

Cython是Python的一个超集，结合了Python的易用性和原生代码的速度，可以编译成C语言，产生的性能提升可以从几个百分点到几个数量级，具体取决于手头的任务。

使用Cython，你可以避开Python的许多原生限制，或者完全超越Python，而无需放弃Python的简便性和便捷性。

Python代码可以直接调用C模块。这些C模块可以是通用的C库或专门为Python工作的库。Cython生成第二种类型的模块：与Python内部对话的C库，可以与现有的Python代码绑定在一起。

Cython代码在设计上看起来很像Python代码。如果你给Cython编译器提供了一个Python程序，它将会按原样接受它，但是Cython的原生加速器都不会起作用。但是如果你用Cython的特殊语法来修饰Python代码，那么Cython就可以用快速的C代替慢的Python对象。

请注意，Cython的方法是渐进的。这意味着开发人员可以从现有的Python应用程序开始，通过对代码立刻进行更改来加快速度，而不是从头开始重写整个应用程序。

这种方法通常与软件性能问题的性质相吻合。在大多数程序中，绝大多数CPU密集型代码都集中在一些热点上，也就是帕累托原则的一个版本，也被称为“80/20”规则。因此，Python应用程序中的大部分代码不需要进行性能优化，只需要几个关键部分。你可以逐渐将这些热点转换为Cython，从而获得你最需要的性能提升。程序的其余部分可以保留在Python中，以方便开发人员。

相关推荐：《Python入门教程》

Cython优势

除了能够加速已经编写的代码之外，Cython还具有其他几个优点：

使用外部C库可以更快

像NumPy这样的Python软件包可以在Python界面中打包C库，使它们易于使用。但是，这些包在Python和C之间来回切换会减慢速度。Cython可以让你直接与底层库进行通信，而不需要Python（也支持C ++库）。

可以同时使用C和Python内存管理

如果你使用Python对象，它们就像在普通的Python中一样被内存管理和垃圾收集。但是如果你想创建和管理自己的C级结构，并使用malloc/free来处理它们，你可以这样做，只记得自己清理一下。

可以根据需要选择安全性或速度

Cython通过decorator 和编译器指令（例如@boundscheck（False））自动执行对C中弹出的常见问题的运行时检查，例如对数组的超出边界访问。因此，由Cython生成的C代码默认比手动C代码安全得多。

如果确信在运行时不需要这些检查，则可以在整个模块上或仅在选择功能上禁用它们以获得额外的编译速度。

Cython还允许本地访问使用“缓冲协议”的Python结构，以直接访问存储在内存中的数据（无需中间复制）。Cython的“记忆视图”可以高速地在这些结构上进行工作，并且具有适合任务的安全级别。

Cython C代码可以从释放GIL中受益

Python的全局解释器锁（Global Interpreter Lock，GIL）同步解释器中的线程，保护对Python对象的访问并管理资源的争用。但GIL被广泛批评为Python性能的绊脚石，特别是在多核系统上。

如果有一段代码不会引用Python对象并执行长时间运行，那么可以使用nogil：指令将其标记为允许它在没有GIL的情况下运行。这使得Python中间人可以做其他事情，并允许Cython代码使用多个内核（附加工作）。

Cython可以使用Python类型的提示语法

Python有一个类型提示语法，主要由linters和代码检查器使用，而不是CPython解释器。 Cython有它自己的代码装饰的自定义语法，但是最近修改了Cython，你可以使用Python类型提示语法为Cython提供类型提示。

Cython限制

请记住，Cython不是一个魔术棒。它不会自动将每一个poky Python代码变成极速的C代码。为了充分利用Cython，你必须明智地使用它，并理解它的局限性：

常规Python代码的加速很少

当Cython遇到Python代码时，它不能完全翻译成C语言，它将这些代码转换成一系列对Python内部的C调用。这相当于将Python的解释器从执行循环中提取出来，这使得代码默认加速了15％到20％。请注意，这是最好的情况。在某些情况下，可能看不到性能改善，甚至性能下降。

原生Python数据结构有一点加速

Python提供了大量的数据结构 - 字符串，列表，元组，字典等等。它们对于开发者来说非常方便，而且他们自带了自动内存管理功能，但是他们比纯C慢。

Cython让你继续使用所有的Python数据结构，尽管没有太多的加速。这又是因为Cython只是在Python运行时调用创建和操作这些对象的C API。因此，Python数据结构的行为与Cython优化的Python代码大致相同：有时会得到一个提升，但只有一点。

Cython代码运行速度最快时，“纯C”

如果你在C中有一个标有cdef关键字的函数，那么它的所有变量和内联函数调用都是纯C的，所以它的运行速度可以和C一样快。 但是，如果该函数引用任何Python原生代码（如Python数据结构或对内部Python API的调用），则该调用将成为性能瓶颈。

幸运的是，Cython提供了一种方法来发现这些瓶颈：一个源代码报告，一目了然地显示您的Cython应用程序的哪些部分是纯C以及哪些部分与Python交互。 对应用程序进行了更好的优化，就会减少与Python的交互。

为Cython应用程序生成的源代码报告。 白色区域纯C；黄色区域显示与Python内部的交互。一个精心优化的Cython程序将尽可能的黄色。 展开的最后一行显示了解释其相应Cython代码的C代码。

Cython NumPy

Cython改进了基于C的第三方数字运算库（如NumPy）的使用。由于Cython代码编译为C，它可以直接与这些库进行交互，并将Python的瓶颈带出循环。

但是NumPy特别适用于Cython。 Cython对NumPy中的特定结构具有本地支持，并提供对NumPy数组的快速访问。在传统的Python脚本中使用的熟悉的NumPy语法可以在Cython中使用。

但是，如果要创建Cython和NumPy之间最接近的绑定，则需要使用Cython的自定义语法进一步修饰代码。例如，cimport语句允许Cython代码在编译时在库中查看C级构造，以实现最快的绑定。

由于NumPy被广泛使用，Cython支持NumPy“开箱即用”。如果你安装了NumPy，你可以在你的代码中声明cimport numpy，然后添加进一步的装饰来使用暴露的函数。

Cython分析和性能

可以通过分析代码并亲眼目睹瓶颈在哪里获得最佳性能。Cython为Python的cProfile模块提供钩子，因此可以使用Python自己的分析工具来查看Cython代码的执行情况。无需在工具组之间切换；可以继续所熟悉和喜爱的Python世界中工作。

它有助于记住所有情况下，Cython不是魔术，仍然适用明智的现实世界的表现实践。在Python和Cython之间来回穿梭越少，你的应用运行得越快。

例如，如果你有一个你想要在Cython中处理的对象的集合，那么不要在Python中迭代它，并且在每一步调用一个Cython函数。将整个集合传递给你的Cython模块并在那里迭代。这种技术经常在管理数据的库中使用，因此这是在自己的代码中模拟的好模型。

我们使用Python是因为它为程序员提供了便利，并且能够快速开发。有时程序员的工作效率是以牺牲性能为代价的。使用Cython，只需要一点点额外的努力就可以给你两全其美的好处。

㈢ 10《Python 原生爬虫教程》BeatifulSoup 的使用

还记得之前我们在第一个爬虫案例中使用过的 BeatifulSoup 吗？这节课我们就来正式学习一下 BeatifulSoup 这个页面提取工具，通过本节课的学习你会熟悉使用 BeatifulSoup 提取常见的网页元素。

使用 Requests 获取到页面源码后，我们需要一种工具来帮助我们结构化这些数据，从而方便我们检索需要的某个或者某些数据内容。BeautifulSoup 库就是这样一种工具，可以很方便我们对数据进行解析和数据的提取。

BeautifulSoup 的名字来源于大家耳熟能详的一部外国名着里面的小说，这部小说的名字叫做《爱丽丝梦游仙境》。从名字就可以看出，发明这个库的作者的目的是为了让使用这个库的人，心情舒畅，使用起来很方便舒适，接口简单人性化。

因为 BeautifulSoup 并不是 Python 内置的库，我们需要额外安装它。我们现在普遍使用的版本是 BeautifulSoup4， 简称作 bs4。

使用 pip 来安装 BeautifulSoup 很简单，打开 CMD 窗口运行下面这条命令：

安装成功后，如图所示：

解析器是一种帮我们结构化网页内容的工具，通过解析器，我们可以得到结构化的数据，而不是单纯的字符，方便我们解析和查找数据。

BeautifulSoup 的解析器有 html.parse，html5lib，lxml 等。BeautifulSoup 本身支持的标准库是 html.parse，html5lib。但是，lxml 的性能非常棒，以及拥有良好的容错能力，现在被广泛的使用。

解析器对比：

安装 lxml 和安装 BeautifulSoup 类似，同样只需一行命令就好：

安装成功后，如下所示：

BeautifulSoup 将 HTML 转换成树形结构，每个节点都是 Python 对象，所有对象可以归纳为 4 种:

下面我们一一来看下这四类对象：

下面我们就来具体使用一下 BeautifulSoup 这个解析工具，我们首先模仿 HTML 页面结构创建一个字符串：

工作中，我们一般经常的使用的方法就是 find_all 方法。但是，除了上述我们讲的 find_all 方法之外，BeautifulSoup 还有其他一些以 find 开头的方法，由于不是经常使用，这里就简单的列举一下，如果同学们感兴趣的话可以自己深入了解下。

㈣ windows下如何安装Python的库

Windows下安装python库的方法：
方法一：pip安装。
这是最常用的python安装方法，新版的python一般自带pip.exe程序，在如我的就在C:Python27Scripts目录下这时候我们在CMD中打pip就可以看到一些版本信息如图：
这个时候我们就可以使用指令 pip install xxx来让python自动安装某些常见的库了。
如以下例子：
方法二：通过下载whl文件安装
python毕竟不是windows的原生语言，所以很多库还是不支持python，但是很多伟大的具有奉献精神的大牛将库编译成了whl文件供我们使用，这里表示感谢。
步骤：
1、下载相应库的whl文件，网址Python Extension Packages。注意要下载相应版本的，还有32还是64位系统。
2、cmd上输入pip install .whl文件名即可。 要完整的文件
方法三：官网下载文件安装
1、下载
2、解压
3、在命令提示符窗口中，使用cd进入到解压后的文件的路径下
4、输入命令python setup.py install
更多Python知识请关注Python视频教程栏目。

㈤ Python的各种imread函数在实现方式和读取速度上有何区别

1. PIL.Image.open

代码在这里：Pillow/Image.py at 3.1.x · python-pillow/Pillow · GitHub
open() 函数打开图像，但并不读入，直到有操作发生。
具体的读取操作是在 ImageFile.py 写的。大体流程是先检测文件类型，整块地读入文件内容，然后调用解码器解码，做了很多优化，效率应该还是很高的。

2. scipy.ndimage.imread

代码在这里：scipy/io.py at v0.17.1 · scipy/scipy · GitHub
imread 调用 scipy.misc.pilutil.imread。从名字就能看出来其实调用的还是 Pillow。
根据 pilutil 代码：scipy/pilutil.py at v0.17.1 · scipy/scipy · GitHub
确实是调用 pil.image.open()，然后返回一个 fromimage()。

3. scipy.misc.imread

misc 的 __init__.py 在这里：scipy/__init__.py at v0.17.1 · scipy/scipy · GitHub
调用的还是 pilutil 中的 imread
相关代码如下
try:
from .pilutil import *
from . import pilutil
__all__ += pilutil.__all__
del pilutil
except ImportError:
pass

也算是学了一招，从 pilutil 导入其所有函数添加到当前空间，然后又删除了 pilutil 消除影响。

4. skimage.io.imread

代码在这里：scikit-image/_io.py at master · scikit-image/scikit-image · GitHub
是通过插件 plugin 来读入不同的文件，而且会试用几个不同的 plugins 来找到合适的。
使用 call_plugin 来调用，代码在这里：scikit-image/manage_plugins.py at master · scikit-image/scikit-image · GitHub
可以根据如下代码查看插件调用的优先级
# For each plugin type, default to the first available plugin as defined by
# the following preferences.
preferred_plugins = {
# Default plugins for all types (overridden by specific types below).
'all': ['pil', 'matplotlib', 'qt', 'freeimage'],
'imshow': ['matplotlib'],
'imshow_collection': ['matplotlib']
}

plugins 的源代码在这里：scikit-image/skimage/io/_plugins at master · scikit-image/scikit-image · GitHub。可以看到 pil 的 imread，是用 open 打开图像之后，再转换成 ndarray。

5. cv2.imread

这里是调用的 CV::imread()，代码在这里：opencv/loadsave.cpp at master · opencv/opencv · GitHub。一般来说 C\C++ 的实现，应该比 python 速度快一点。

6. matplotlib.image.imread

matplotlib 的文档里面说，matplotlib 原生只可以读取 PNG 文件，有 PIL 的时候，可以读取其他类型的文件。如果使用 URL 打开在线图像文件，需要符合 PIL 的文档要求。

matplotlib.image.imread 的代码在这里：matplotlib/image.py at master · matplotlib/matplotlib · GitHub。matplotlib 的原生 PNG 读取和写入，是用 C 实现的，代码在这里：matplotlib/_png.cpp at master · matplotlib/matplotlib · GitHub。

matplotlib 是先用 pil 的 open 打开图像，如果格式是 png，就用原生方法打开。相关代码如下：
handlers = {'png': _png.read_png, }
if format is None:
if cbook.is_string_like(fname):
parsed = urlparse(fname)
# If the string is a URL, assume png
if len(parsed.scheme) > 1:
ext = 'png'
else:
basename, ext = os.path.splitext(fname)
ext = ext.lower()[1:]
elif hasattr(fname, 'name'):
basename, ext = os.path.splitext(fname.name)
ext = ext.lower()[1:]
else:
ext = 'png'
else:
ext = format

if ext not in handlers:
im = pilread(fname)
if im is None:
raise ValueError('Only know how to handle extensions: %s; '
'with Pillow installed matplotlib can handle '
'more images' % list(six.iterkeys(handlers)))
return im

声明的处理器只有 png。如果是 png 文件，调用 _png.read_png。如果不是 png 直接使用 pilread（就是用 pil 的 Image.open 然后 pil_to_array）。

matplotlib 的源码确实比较复杂，一大部分主体是用 C 写的，改动很激进，功能更新猛烈。

㈥ 零基础学Python应该学习哪些入门知识

关于零基础怎么样能快速学好Python的问题，网络提问和解答的都很多，你可以网络下看看。我觉得从个人自学的角度出发，应从以下几个方面来理解：

1 为什么选择学python？

据统计零基础或非专业的人士学python的比较多，据HackerRank开发者调查报告2018年5月显示（见图），Python排名第一，成为最受欢迎编程语言。Python以优雅、简洁着称，入行门槛低，可以从事linux运维、Python Web网站工程师、Python自动化测试、数据分析、人工智能等职位，薪资待遇呈上涨趋势。

2 入门python需要那些准备？

2.1 心态准备。编程是一门技术，也可说是一门手艺。如同书法、绘画、乐器、雕刻等，技艺纯熟的背后肯定付出了长时间的反复练习。不要相信几周速成，也不能急于求成。编程的世界浩瀚无边，所以请保持一颗敬畏的心态去学习，认真对待写下的每一行代码，甚至每一个字符。收拾好自己的心态，向着编程的世界出发。第一步至关重要，关系到初学者从入门到精通还是从入门到放弃。选一条合适的入门道路，并坚持走下去。

2.2 配置 Python 学习环境。选Python2 还是 Python3？入门时很多人都会纠结。二者只是程序不兼容，思想上并无大差别，语法变动也并不多。选择任何一个入手，都没有大影响。如果你仍然无法抉择，那请选择 Python3，毕竟这是未来的趋势。

编辑器该如何选？同样，推荐 pycharm 社区版，配置简单、功能强大、使用起来省时省心，对初学者友好，并且完全免费！其他编辑器如：notepad++、sublimeText 3、vim 和 Emacs等不推荐了。

操作环境？Python 支持现有所有主流操作平台，不管是 windows 还是 mac 还是 linux，都能很好的运行 Python。并且后两者都默认自带 Python 环境。

2.3 选择自学的书籍。我推荐的书的内容由浅入深，建议按照先后顺序阅读学习：

2.3.1《Python简明教程》。这是一本言简意赅的 Python 入门教程，简单直白，没有废话。就算没有基础，你也可以像读小说一样，花两天时间就可以读完。适合入门快速了解语法。

2.3.2 廖雪峰编写的《Python教程》。廖先生的教程涵盖了 Python 知识的方方面面，内容更加系统，有一定深度，有一定基础之后学习会有更多的收获。

2.4 学会安装包。Python中有很多扩展包，想要安装这些包可以采用两种方法：

2.4.1 使用pip或easy_install。

1)在网上找到的需要的包，下载下来。eg. rsa-3.1.4.tar.gz;

2)解压缩该文件;

3)命令行工具cd切换到所要安装的包的目录，找到setup.py文件，然后输入python setup.py install

2.4.2 不用pip或easy_install,直接打开cmd，敲pip install rsa。

3 提升阶段需要恒心和耐力。

完成入门阶段的基础学习之后，常会陷入一个瓶颈期，通过看教程很难进一步提高编程水平。这时候，需要的是反复练习，大量的练习。可以从书上的例题、作业题开始写，再写小程序片段，然后写完整的项目。我们收集了一些练习题和网站。可根据自己阶段，选择适合的练习去做。建议最好挑选一两个系列重点完成，而不是浅尝辄止。

3.1 多做练习。推荐网站练习：

crossin编程教室实例：相对于编程教室基础练习着重于单一知识点，

编程实例训练对基础知识的融会贯通；

hackerrank：Python 部分难度循序渐进，符合学习曲线

实验楼：提升编程水平从做项目开始；

codewar：社区型编程练习网站，内容由易到难；

leetcode：为编程面试准备，对初学者稍难；

牛客网：提供 BAT 等大厂笔试题目；

codecombat：提供一边游戏一边编程；

projecteuler：纯粹的编程练习网站；

菜鸟教程100例：基于 py2 的基础练习；

3.2 遇到问题多交流。

3.2.1 利用好搜索引擎。

3.2.2 求助于各大网站。推荐

stackoverflow：这是一个程序员的知识库；

v2ex：国内非常不错的编程社区，不仅仅是包含程序，也包含了程序员的生活；

segmentfault：一家以编程问答为主的网站;

CSDN、知乎、简书等

3.2.3 加入相关的QQ、微信群、网络知道。不懂的可以随时请教。