pythontornado协程

① 说说这篇我为什么从python转向go

恩看了这篇我为什么从python转向go，
看来作者也是 KSO 轻办公/企业快盘团队的。作为快盘从无到有时期的工程师之一（总是被潇洒哥说他们改我留下的 bug ），又恰好是
Python/Go 双修（大雾其实我是 Rust 党），其实一开始我是拒绝的，ang ang ang，那就随手写一点把。

一段段来吧，首先作者说 Python 是动态语言

python是一门动态语言，不是强类型系统。对于一个变量，我们有时候压根不知道它是什么类型，然后就可能出现int + string这样的运行时错误。

在python里面，可以允许同名函数的出现，后一个函数会覆盖前一个函数，有一次我们系统一个很严重的错误就是因为这个导致的。

事实上，如果是静态检查，pylint 和 pyflakes 是可以做这件事的，虽然不能和 go
那种静态编译型语言比，但也侍枯足够了。如果没记错的话，阿通当年是要求全组都在提交前做静态检查的。我认为这种问题更多的应该是人员素质上来避免，毕竟葱头
也说过，代码自己写的就要多回头看看，看能不能重构，能不能做更好。不是说偷懒不行，但是从中得出 Python
动态特性太灵活，Python：怪我咯？

另外，函数作为第一对象，在 Python 中是 feature，Go 要写个 mock，简直虐得不要不要的。

其实这个一直是很多人吐槽python的地方，不过想想，python最开始是为了解决啥问题而被开发出来的？我们硬是要将他用到高性能服务器开发上面，其实也是有点难为它。

如果没记错，无论是轻办公还是快盘，是重 IO 不重 CPU，最大耗时是数据块加密老尺洞那块，我在的时候是 java 写的。另外高性能服务器选 Go 也是虐得不要不要的，各种小心翼翼避免 GC。大多数极端情况下，pypy 的性能足矣胜任了，我认为这不算充分条件。

python的GIL导致导致无法真正的多线程，大家可能会说我用多进程不就完了。但如果一些计算需要涉及到多进程交互，进程之间的通讯开销也是不得不考虑的。

其实，Python 有宏可以绕开这个 GIL，但是呢架构设计得好其实可以避免的，到异步那块我会说。

无状态的分布式处理使用多进程很方便，譬如处理http请求，我们就是在nginx后面挂载了200多个django server来处理http的,但这么多个进程自然导致整体机器负载偏高。

但即使我们使用了多个django进程来处理http请求，对于一些超大量请求，python仍然处理不过来。所以我们使用openresty，将高频次的http请求使用lua来实现。可这样又导致使用两种开发语言，而且一些逻辑还得写两份不同的代码。

如果推测没错，你们现在还在用五年前写的 Gateway？那个基于 django route
的流量分发层？四年前我离开的时候已经小范围的使用 Flask+Gevent Demo 测试过了，无论是性能还是负载都比同步模型的 django
有优势。如果还是 django
这套的话，我只能说比较遗憾，毕竟当年金山新员工大赛头牌就是我和几个小伙伴写的实时同步在线文档编辑系统，用的就是这套技术。

因此这是个工程问题，并非语言问题。 Python 提供给了你了这么多工具，硬要选一个传统的，Old fashion 的，Python：怪我咯？

django的网络是同步阻塞的，也就是说，如果我们需要访问外部的一个服务，在等待结果返回这段时间，django不能处理任何其他的逻辑（当然，多线程的除外）。如果访问外部服务需要很长时间，那就意味着我们的整个服务几乎在很长一段时间完全不可用。

为了解决这个问题，我们只能不断的多开django进程，同时需要保证所有服务都能快速的处理响应，但想想这其实是一件很不靠谱的事情。

同步模型并非不行，因为 overhead 足够低，很多业务场景下用同步模型反而会取得更好的效果，比如豆瓣。同步模型最大的问题是对于 IO 密集型业务等待时间足够长，这时候需要的不是换语言 ，而是提醒你是不是架构要改一下了。

虽然tornado是困租异步的，但是python的mysql库都不支持异步，这也就意味着如果我们在tornado里面访问数据库，我们仍然可能面临因为数据库问题造成的整个服务不可用。

tornado 是有这个问题，但是 gevent 已经解决了。我在 node.js 的某问题下曾经回答过，对于 node
而言，能选择的异步模型只有一个，而 Python 就是太多选择了。另外 pypy+tornado+redis
可以随意虐各种长连接的场景，比如我给我厂写过的一个 push service。

其实异步模型最大的问题在于代码逻辑的割裂，因为是事件触发的，所以我们都是通过callback进行相关处理，于是代码里面就经常出现干一件事情，传一个callback，然后callback里面又传callback的情况，这样的结果就是整个代码逻辑非常混乱。

这个还真不是，如果说没有 ES6 的 JavaScript，可能真有 Callback hell，但这是 Python 啊！Python
早就实现了左值绑定唉，yield 那姿势比某些天天吹的语言不知道高到哪里去了，当然我说的是完整版的 Python3 yield。即便是不完整的
Python 2 yield 用于异步表达式求值也是完全足够的，tornado 的 gen.coroutine 啊。

同步形态写异步，在 Python 实力强的公司里面早普及了，这是个工程问题，并非语言问题。当然把这种事怪在 Python 身上，Python：怪我咯？

python没有原生的协程支持，虽然可以通过gevent，greenlet这种的上patch方式来支持协程，但毕竟更改了python源码。另外，python的yield也可以进行简单的协程模拟，但毕竟不能跨堆栈，局限性很大，不知道3.x的版本有没有改进。

无论是 Gevent 还是 Greenlet 均没修改 Python 源码，事实上这货已经成为了 Py2 coroutine 的标准，加上豆瓣开源出来的greenify，基本上所有的库都可以平滑的异步化，包括 MySQL 等 C 一级的 lib。自从用上这套技术后，豆瓣的 Python dev 各种爽得不要不要的。

当我第一次使用python开发项目，我是没成功安装上项目需要的包的，光安装成功mysql库就弄了很久。后来，是一位同事将他整个python目录打包给我用，我才能正常的将项目跑起来。话说，现在有了docker，是多么让人幸福的一件事情。

而部署python服务的时候，我们需要在服务器上面安装一堆的包，光是这一点就让人很麻烦，虽然可以通过puppet，salt这些自动化工具解决部署问题，但相比而言，静态编译语言只用扔一个二进制文件，可就方便太多了。

恰好我又是在开发基于 docker 的平台， docker 还真不是用来做部署这事的。首先， Python 是有 virtualenv
这个工具的，事实上对比包管理和包隔离，Python 比 Go 高得不知道哪里去了。Python 跟 Git 谈笑风生的时候， Go 的 dev
们还得考虑我怎样才能使得 import 的包稳定在一个版本上（当然现在有很多第三方方案）。Virtualenv + Pip 完全可以实现
Python 部署自动化，所以这个问题我认为是，工具链选取问题。毕竟是个十几年的老妖怪了，Python
啥情况没见过啊，各种打包工具任君选择，强行说 Python 部署不方便，Python：怪我咯？

python非常灵活简单，写c几十行代码才能搞定的功能，python一行代码没准就能解决。但是太简单，反而导致很多
同学无法对代码进行深层次的思考，对整个架构进行细致的考量。来了一个需求，啪啪啪，键盘敲完开速实现，结果就是代码越来越混乱，最终导致了整个项目代码
失控。

曾经知乎有个帖子问 Python 会不会降低程序员编程能力，
我只能说这真的很人有关。你不去思考深层次的东西怪语言不行是没道理的，那好，Go 里面 goroutine 是怎么实现的，一个带 socket 的
goroutine
最小能做到多少内存，思考过？任何语言都有自己的优势和劣势，都需要执行者自己去判断，一味的觉得简单就不会深入思考这是有问题的。另外，代码混乱我认为
还是工程上的控制力不够，豆瓣有超过10W行的 Python 实现，虽然不说很完美，大体上做到了不会混乱这么个目标。

还有，C 写几十行搞定的 Python 一行解决这绝对是重大 feature，生产力啊，人员配置啊，招人培养的成本啊，从工程上来说，Python 在这一块完全是加分项，不是每个项目都要求极致的并发，极致的效率，做工程很多时候都是要取舍的。

虽然java和php都是最好的编程语言（大家都这么争的），但我更倾向一门更简单的语言。而openresty，虽然性
能强悍，但lua仍然是动态语言，也会碰到前面说的动态语言一些问题。最后，前金山许式伟用的go，前快盘架构师葱头也用的go，所以我们很自然地选择了
go。

Openresty 用 lua 如果按照动态语言的角度去看，还真算不上，顶多是个简单点的 C。许式伟走的时候大多数都是
CPP，葱头目前我还不知道他创业用的是什么写的，不过他肯定没语言倾向。当年无论是 leo 还是 ufa，一个用 Python 一个用
Java， 他都是从工程实际来选择使用什么样的语言。

error，好吧，如果有语言洁癖的同学可能真的受不了go的语法，尤其是约定的最后一个返回值是error。

这其实是 Go style，无论是 go fmt 还是 error style，Go 其实是想抹平不同工程师之间的风格问题。不再为了一个缩进和大括号位置什么的浪费时间。这种方法并不是不好，只是我个人觉得没 rust 那种返回值处理友善。

GC，java的GC发展20年了，go才这么点时间，gc铁定不完善。所以我们仍然不能随心所欲的写代码，不然在大请求量下面gc可能会卡顿整个服务。所以有时候，该用对象池，内存池的一定要用，虽然代码丑了点，但好歹性能上去了。

1.4 开始 go 就是 100% 精确 GC 了，另外说到卡顿啊，完全和你怎么用对象有关，能内联绝不传引用大部分场景是完全足够的，这样 gc 的影响程度会最低。实在想用池……只能说为啥不选 Java。

天生的并行支持，因为goroutine以及channel，用go写分布式应用，写并发程序异常的容易。没有了蛋疼的callback导致的代码逻辑割裂，代码逻辑都是顺序的。

这是有代价的，goroutine 的内存消耗计算（当然1.3还是1.4开始得到了很大的改善，内存最小值限制已经没了），channel
跨线程带来的性能损耗（跨线程锁），还有对 goroutine 的控制力几乎为 0
等。总之这种嘛，算不上是杀手级特性，大家都有，是方便了一点，但也有自己的弊端。比如我们用 go 吧，经常就比较蛋疼 spawn 出去的
goroutine 怎么优美的 shutdown，反而有时候把事情做复杂化了。

性能，go的性能可能赶不上c，c++以及openresty，但真的也挺强悍的。在我们的项目中，现在单机就部署了一个go的进程，就完全能够胜任以前200个python进程干的事情，而且CPU和MEM占用更低。

我不严谨的实测大概 gevent+py2 能达到同样逻辑 go 实现的 30%~40%，pypy+tornado 能达到
80%~90%，混合了一些计算和连接处理什么的。主要还是看业务场景吧，纯粹的 CPU bound 当然是 go 好，纯粹的 IO bound
你就是用 C 也没用啊。

运维部署，直接编译成二进制，扔到服务器上面就成，比python需要安装一堆的环境那是简单的太多了。当然，如果有cgo，我们也需要将对应的动态库给扔过去。

我们现在根据 glibc 所处的 host 版本不同有2套编译环境，看上去是部署简单了，编译起来坑死你。另外虽然说 disk 便宜，这几行代码就几M了，集群同步部署耗时在某些情况下还真会出篓子。

开发效率，虽然go是静态语言，但我个人感觉开发效率真的挺高，直觉上面跟python不相上下。对于我个人来说，最好的
例子就是我用go快速开发了非常多的开源组件，譬如ledisdb，go-mysql等，而这些最开始的版本都是在很短的时间里面完成的。对于我们项目来
说，我们也是用go在一个月就重构完成了第一个版本，并发布。

② 如何用Python一门语言通吃高性能并发，GPU计算和深度学习

第一个就是并发本身所带来的开销即新开处理线程、关闭处理线程、多个处理线程时间片轮转所带来的开销。

实际上对于一些逻辑不那么复杂的场景来说这些开销甚至比真正的处理逻辑部分代码的开销更大。所以我们决定采用基于协程的并发方式，即服务进程只有一个(单cpu)所有的请求数据都由这个服务进程内部来维护，同时服务进程自行调度不同请求的处理顺序，这样避免了传统多线程并发方式新建、销毁以及系统调度处理线程的开销。基于这样的考虑我们选择了基于Tornado框架实现api服务的开发。Tornado的实现非常简洁明了，使用python的生成器作为协程，利用IOLoop实现了调度队列。

第二个问题是数据库的性能，这里说的数据库包括MongoDB和Redis，我这里分开讲。

先讲MongoDB的问题，MongoDB主要存储不同的用户对于验证的不同设置，比如该显示什么样的图片。
一开始每次验证请求都会查询MongoDB，当时我们的MongoDB是纯内存的，同时三台机器组成一个复制集，这样的组合大概能稳定承载八九千的qps，后来随着我们验证量越来越大，这个承载能力逐渐就成为了我们的瓶颈。
为了彻底搞定这个问题，我们提出了最极端的解决方案，干脆直接把数据库中的数据完全缓存到服务进程里定期批量更新，这样查询的开销将大大降低。但是因为我们用的是Python，由于GIL的存在，在8核服务器上会fork出来8个服务进程，进程之间不像线程那么方便，所以我们基于mmap自己写了一套伙伴算法构建了一个跨进程共享缓存。自从这套缓存上线之后，Mongodb的负载几乎变成了零。
说完了MongoDB再说Redis的问题，Redis代码简洁、数据结构丰富、性能强大，唯一的问题是作为一个单进程程序，终究性能是有上限的。
虽然今年Redis发布了官方的集群版本，但是经过我们的测试，认为这套分布式方案的故障恢复时间不够优秀并且运维成本较高。在Redis官方集群方案面世之前，开源世界有不少proxy方案，比如Twtter的TwemProxy和豌豆荚的Codis。这两种方案测试完之后给我们的感觉TwemProxy运维还是比较麻烦，Codis使用起来让人非常心旷神怡，无论是修改配置还是扩容都可以在配置页面上完成，并且性能也还算不错，但无奈当时Codis还有比较严重的BUG只能放弃之。
几乎尝试过各种方案之后，我们还是下决心自己实现一套分布式方案，目的是高度贴合我们的需求并且运维成本要低、扩容要方便、故障切换要快最重要的是数据冗余一定要做好。
基于上面的考虑，我们确定基于客户端的分布式方案，通过zookeeper来同步状态保证高可用。具体来说，我们修改Redis源码，使其向zookeeper注册，客户端由zookeeper上获取Redis服务器集群信息并根据统一的一致性哈希算法来计算数据应该存储在哪台Redis上，并在哈希环的下一台Redis上写入一份冗余数据，当读取原始数据失败时可以立即尝试读取冗余数据而不会造成服务中断。

③ python容易学么

Python相比于其他编程语言更容易学习，但是想学精通还是需要选择好的教程和好的师傅的，给你个课程大纲，你对比一下，很全面的！
阶段一：Python开发基础隐颂肆
Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据樱笑类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。
阶段二：Python高级编程和数据库开发
Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。
阶段三：前端开发
Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、灶轿Jquery&bootstrap开发、前端框架VUE开发等。
阶段四：WEB框架开发
Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。
阶段五：爬虫开发
Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。
阶段六：全栈项目实战
Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。
阶段七：数据分析
Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。
阶段八：人工智能
Python全栈开发与人工智能之人工智能学习内容包括：机器学习、数据分析 、图像识别、自然语言翻译等。
阶段九：自动化运维&开发
Python全栈开发与人工智能之自动化运维&开发学习内容包括：CMDB资产管理系统开发、IT审计+主机管理系统开发、分布式主机监控系统开发等。
阶段十：高并发语言GO开发
Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。

④ tornado 怎么利用'next'参数进行页面跳转

本质上什么是协程？举个例子：就是类似goto一样
可以在多个fun之间来回跳转~
比轮晌如A函数执行到一半然后switch到B函数执行~~诸如此类.
那如果只考虑一个函数呢？？那对于A函数而言：其实就是其可以执行到一半先停下，干点别的事情后再接着往下运行~
看到这里你是不是想到了debug时的打断点？？执行到断点的时候就停下，只有next往下setp时候这个函数才接着往下执行~对不对？
那如果我们可以实现类似的断点机制，是不是就可以实现多个函数来回跳转呢？A函数执行到断点时就停下，系统去B执行~等B执行完毕了才回来接着step往断点后边的代码航执行~~~~协程其实就是这么个东西，那么在Python中山门可以实现debug断点功能呢？当然是yield了~~执行到中间的yield系统就停下返回了~之后在调用next时才回接着往下执行~~~
你看，是不是通过这个东西就可以做到多芹桐纯个函数之间来回跳转？？！恩，那山门时候跳转呢？之前是yield才会，那我是不是可以将之封装一下呢？封装成：一个协程，然后sleep就yield出来~~
折下来就做到协程的功能来~~嫌咐本质上就是这么回事~~~别听别人说的多悬乎~~~只是在这个基础模型上又加了很多manager的功能等等~~

⑤ python异步有哪些方式

yield相当于return，他将相应的值返回给调用next()或者send()的调用者，从而交出了CPU使用权，而当调用者再次调用next()或者send()的时候，又会返回到yield中断的地方，如果send有参数，还会将参数返回给yield赋值的变量,如果没有就和next（）一样赋值为None。但是这里会遇到一个问题，就是嵌套使用generator时外层的generator需要写大量代码，看如下示例：
注意以下代码均在Python3.6上运行调试

#!/usr/bin/env python# encoding:utf-8def inner_generator():
i = 0
while True:
i = yield i if i > 10: raise StopIterationdef outer_generator():
print("do something before yield")
from_inner = 0
from_outer = 1
g = inner_generator()
g.send(None) while 1: try:
from_inner = g.send(from_outer)
from_outer = yield from_inner except StopIteration: breakdef main():
g = outer_generator()
g.send(None)
i = 0
while 1: try:
i = g.send(i + 1)
print(i) except StopIteration: breakif __name__ == '__main__':
main()041

为了简化，在Python3.3中引入了yield from

yield from

使用yield from有两个好处，

1、可以将main中send的参数一直返回给最里层的generator，
2、同时我们也不需要再使用while循环和send (), next()来进行迭代。

我们可以将上边的代码修改如下：

def inner_generator():
i = 0
while True:
i = yield i if i > 10: raise StopIterationdef outer_generator():
print("do something before coroutine start") yield from inner_generator()def main():
g = outer_generator()
g.send(None)
i = 0
while 1: try:
i = g.send(i + 1)
print(i) except StopIteration: breakif __name__ == '__main__':
main()

执行结果如下：

do something before coroutine start123456789101234567891011

这里inner_generator()中执行的代码片段我们实际就可以认为是协程，所以总的来说逻辑图如下：

我们都知道Python由于GIL(Global Interpreter Lock)原因，其线程效率并不高，并且在*nix系统中，创建线程的开销并不比进程小，因此在并发操作时，多线程的效率还是受到了很大制约的。所以后来人们发现通过yield来中断代码片段的执行，同时交出了cpu的使用权，于是协程的概念产生了。在Python3.4正式引入了协程的概念，代码示例如下：

import asyncio# Borrowed from http://curio.readthedocs.org/en/latest/[email protected] countdown(number, n):
while n > 0:
print('T-minus', n, '({})'.format(number)) yield from asyncio.sleep(1)
n -= 1loop = asyncio.get_event_loop()
tasks = [
asyncio.ensure_future(countdown("A", 2)),
asyncio.ensure_future(countdown("B", 3))]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()12345678910111213141516

示例显示了在Python3.4引入两个重要概念协程和事件循环，
通过修饰符@asyncio.coroutine定义了一个协程，而通过event loop来执行tasks中所有的协程任务。之后在Python3.5引入了新的async & await语法，从而有了原生协程的概念。

async & await

在Python3.5中，引入了aync&await 语法结构，通过”aync def”可以定义一个协程代码片段，作用类似于Python3.4中的@asyncio.coroutine修饰符，而await则相当于”yield from”。

先来看一段代码，这个是我刚开始使用async&await语法时，写的一段小程序。

#!/usr/bin/env python# encoding:utf-8import asyncioimport requestsimport time


async def wait_download(url):
response = await requets.get(url)
print("get {} response complete.".format(url))


async def main():
start = time.time()
await asyncio.wait([
wait_download("http://www.163.com"),
wait_download("http://www.mi.com"),
wait_download("http://www.google.com")])
end = time.time()
print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

这里会收到这样的报错：

Task exception was never retrieved
future: <Task finished coro=<wait_download() done, defined at asynctest.py:9> exception=TypeError("object Response can't be used in 'await' expression",)>
Traceback (most recent call last):
File "asynctest.py", line 10, in wait_download
data = await requests.get(url)
TypeError: object Response can't be used in 'await' expression123456

这是由于requests.get()函数返回的Response对象不能用于await表达式，可是如果不能用于await，还怎么样来实现异步呢？
原来Python的await表达式是类似于”yield from”的东西，但是await会去做参数检查，它要求await表达式中的对象必须是awaitable的，那啥是awaitable呢？ awaitable对象必须满足如下条件中其中之一：

1、A native coroutine object returned from a native coroutine function .

原生协程对象

2、A generator-based coroutine object returned from a function decorated with types.coroutine() .

types.coroutine()修饰的基于生成器的协程对象，注意不是Python3.4中asyncio.coroutine

3、An object with an await method returning an iterator.

实现了await method，并在其中返回了iterator的对象

根据这些条件定义，我们可以修改代码如下：

#!/usr/bin/env python# encoding:utf-8import asyncioimport requestsimport time


async def download(url): # 通过async def定义的函数是原生的协程对象
response = requests.get(url)
print(response.text)


async def wait_download(url):
await download(url) # 这里download(url)就是一个原生的协程对象
print("get {} data complete.".format(url))


async def main():
start = time.time()
await asyncio.wait([
wait_download("http://www.163.com"),
wait_download("http://www.mi.com"),
wait_download("http://www.google.com")])
end = time.time()
print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())27282930

好了现在一个真正的实现了异步编程的小程序终于诞生了。
而目前更牛逼的异步是使用uvloop或者pyuv，这两个最新的Python库都是libuv实现的，可以提供更加高效的event loop。

uvloop和pyuv

pyuv实现了Python2.x和3.x，但是该项目在github上已经许久没有更新了，不知道是否还有人在维护。
uvloop只实现了3.x, 但是该项目在github上始终活跃。

它们的使用也非常简单，以uvloop为例，只需要添加以下代码就可以了

import asyncioimport uvloop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())123

⑥ 零基础学Python，是自学好还是报培训班好

学电脑不如学【视频剪辑】，理由很简单，容易学（不像其它行业学习成本高，难度大），适合短期3-4个月短期学习，而且行业缺口非常大，无论是找工作还是自己在家里接私单，月收入轻松过万，两三万也是稀松平常。【点击进入】免费“短视频剪辑后期”学习网址：
www.huixueba.net/web/AppWebClient/AllCourseAndResourcePage?type=1&tagid=313&zdhhr-11y17r-141187050229786925

因为现在【短视频】的崛起，任何企业，任何工作室或者个人都需要制作剪辑大量的短视频来包装品牌，发抖音，发朋友圈，发淘宝等自媒体渠道做展示。因为每天都要更新并发布新内容，所以剪辑师根本招不够，，供需失衡就造成了剪辑师高薪水。

而且剪辑这个技术并不需要高超的电脑技术，也不需要美术音乐造诣，基本都是固定套路，要什么风格的片要什么节奏，经过三四个月的培训都可以轻松掌握。但凡有点电脑基础会用鼠标拖拽，会点击图标，会保存除非自己不想学，没有学不会的。但是要学好学精，就一定要找专业负责的培训机构了，推荐这个领域的老大：王氏教育。

在“短视频剪辑/短视频运营/视频特效”处理这块，【王氏教育】是国内的老大，每个城市都是总部直营校区。跟很多其它同类型大机构不一样的是：王氏教育每个校区都是实体面授，老师是手把手教，而且有专门的班主任从早盯到晚，爆肝式的学习模式，提升会很快，特别适合0基础的学生。王氏教育全国直营校区面授课程试听【复制后面链接在浏览器也可打开】： www.huixueba.com.cn/school/yingshi?type=2&zdhhr-11y17r-141187050229786925


大家可以先把【绘学霸】APP下载到自己手机，方便碎片时间学习——绘学霸APP下载： www.huixueba.com.cn/Scripts/download.html

⑦ Python都需要那些技术

分享Python学习路线。
第一阶段Python基础与Linux数据库。这是Python的入门阶段，也是帮助零基础学员打好基础的重要阶段。你需要掌握Python基本语法规则及变量、逻辑控制、内置数据结构、文件操作、高级函数、模块、常用标准库模块、函数、异常处理、MySQL使用、协程等知识点。
学习目标：掌握Python基础语法，具备基础的编程能力；掌握Linux基本操作命段旁令，掌握MySQL进阶内容，完成银行自动提款机系统实战、此盯英汉词典、歌词解析器等项目。
第二阶段WEB全栈。这一部分主要学习Web前端相关技术，你需要掌握HTML、CSS、JavaScript、jQuery、BootStrap、Web开发基础、VUE、Flask Views、Flask模板、 数据库操作、Flask配置等知识。
学习目标：掌握WEB前端技术内容，掌握WEB后端框架，熟练使用Flask、Tornado、Django，可以完成数据监控后台的项目。
第三阶段数据分析+人工智能。这部分主要是学习爬虫相关的知识点，你需要掌握数据抓取、数据提取、数据存储、爬虫并发、动态网页抓取、scrapy框架、分布式爬虫、爬虫攻防、数据结构、算法等知识。
学习目标：可以掌握爬虫、数据采集，数据机构与算法进阶和人工智能技术。可以完成爬虫攻防、图片马赛克、电影推荐系统、地震预测、人工智能项目等阶段项目。
第四阶段高级进阶。这是Python高级知识点，你需要学习项目开发流程、部署、高并发、性能调优、Go语言基础森燃和、区块链入门等内容。
学习目标：可以掌握自动化运维与区块链开发技术，可以完成自动化运维项目、区块链等项目。
按照上面的Python学习路线图学习完后，你基本上就可以成为一名合格的Python开发工程师。当然，想要快速成为企业竞聘的精英人才，你需要有好的老师指导，还要有较多的项目积累实战经验。
自学本身难度较高，一步一步学下来肯定全面且扎实，如果自己有针对性的想学哪一部分，可以直接跳过暂时不需要的针对性的学习自己需要的模块，可以多看一些不同的视频学习。

⑧ tornado 协程 中支持mysql 异步请求吗

用tornado毕竟是可以做异步request的, 如果你的数据库真的很慢, 不如再开其他的tornado做block数据库操作(你可以用tornado wsgi多线程/多进程形式部署, 也可以用绝虚django, flask等), 然后通过API的形式将数据库返回过来. 相当于用tornado给你的数据库操作web化(写内部数据API)

这个是我刚才刚刚想到的, 原理就是用一些独立的进中团程去做费时的数据库操作, 这样你的主web tornado进程就可以异步畅通, 增加吞吐量. 这样就不需要为各个数据库写驱动了.

如果数据库在不同的机器上, 那么可以考虑将卖宏橘这些独立的数据操作tornado进程在数据库机器上部署. 使用wsgi多线程/多进程的好处是查询可以同时进行, 当然也可能卡死数据库. 使用tornado自己的单进程异步部署的时候, tornado还可以充当一个数据库操作队列的作用.

⑨ 风变编程的Python课程学完效果如何

一、Python简介

Python是一种用来编写应用程序的高级程序设计语言,TIOBE程序语言排行榜2015年12月的排名如下：

Python实现强势逆袭，而且我相信，随着时间的推移，国内Python语言未来前景也是一片向好。

Python的特点是优雅简单，易学易用（虽然我感觉还是有一些概念不容易理解），Python的哲学是尽量用最少的，最简单易懂的代码实现需要的功能。Python适宜于开发网络应用，脚本写作，日常简单小工具等等。Python的缺点是效率较低，但是在大量的场合效率却不是那么重要或者说Python不是其性能瓶颈，所以不要太在意。其次是2.x-3.x的过渡使得许多3.x还缺少很多2.x下的模块，不过也在完善中。其次就是源代码无法加密，发布Python程序其实就是发布源代码。

二、基础语法要点

1.如果一个字符串中有许多需要转义的字符，而又不想写那么多'',那么可以用 r'...' 表示 '...'内的内容不转义。

2.Python可用'''...'''来表示多行内容，如：

123456

>>>print('''line1line2line3''')line1line2line3

3.Python的逻辑运算and, or, not 分别对应C语言中的&&, ||, !.

4.Python的整数与浮点数大小都没有范围。

5.Python中除法有两种： '/'除出来必是浮点数， '//'除出来是整数，即地板除。

6.Python中一切皆引用。每个对象都有一个引用计数器（内部跟踪变量）进行跟踪，引用计数值表示该对象有多少个引用，当初次产生赋给变量时，引用计数为1，其后没进行下列行为中的任意一种都会增加引用计数：

123

赋值： a=b用作函数参数传递： func(a)成为容器对象的一个元素： lis=[1,2,a]

以下任意一种行为都会减少引用计数：

1234

del销毁：dela变量另赋给其他对象：a=False对象从容器中删除: lis.remove(a)身在的容器被销毁：dellis

7.深拷贝与浅拷贝的概念与对比，有点复杂，看这篇文章

8.list，tuple和dict，set

list：为列表，是一个有序集合，类似于数组但又比数组功能强大，可以随时append,pop元素，下标从0开始，且下标为加n模n制，即lis[-1] = lis[len-1]，下标范围[-len,len-1].

tuple：为元组，类似于list，但list为可变类型，而tuple不可变，即没有append,pop等函数。一个建议是为了安全起见，能用tuple代替list尽量用tuple。如果tuple只有一个元素，要写成如(1,)以避免歧义。

dict：字典类型，存放key-value键值对，可以根据key迅速地找出value，当然，key必须是不可变类型，如下是错误的：

12345

>>> dic={[1,2]:'value'}Traceback (most recent call last):File"<pyshell#10>", line1,in<mole>dic={[1,2]:'value'}TypeError: unhashabletype:'list'

list与dict的优劣对比：

1234567

dict:1.插入，查找速度快，跟key的数目无关2.需占用大量内存，内存浪费严重list:1.插入，查找速度慢，O(n)的复杂度，随元素个数增加而增加2.占用内存小

dict内部存放的顺序和key放入的顺序是没有关系的

set：set与dict类似，相当于只有key没有value的dict，每个key不同，set间有 &， | 等操作对应集合的交，并操作。

三、函数

1.函数是对象，函数名即是指向对应函数对象的引用，所以可以将函数名赋给一个变量，相当于给函数起一个‘别名’。

123

>>> mmm=max>>> mmm(1,2,3)3

2.Python函数可以返回”多个值“，之所以打引号，是因为实际上返回的多个值拼成了一个元组，返回这个元组。

3.定义默认参数需要牢记：默认参数必须指向不变对象。否则第一次调用和第二次调用结果会不一样，因为可变的默认参数调用后改变了。

4.可变参数：传入的参数个数是可变的，可以是0个或多个。可变参数会将你传入的参数自动组装为一个tuple。在你传入的list或tuple名字前加一个 * 即说明传入的是可变参数。习惯写法为*args。

5.关键字参数：传入0个或多个含参数名的参数，这些参数被自动组装成一个dict。习惯写法**kw，如**a表示把a中所有的键值对以关键字参数的形式传入kw，获得一个dict，这个dict是a的一份拷贝，对kw改动不会传递到a

6.命名关键字在函数定义中跟在一个*分割符后，如

12

deffunc(a,b,*,c,d):pass

c,d为命名关键字参数，可以限制调用者可以传入的参数名，同时可以提供默认值。

7.参数定义顺序：必选参数，默认参数，可变参数/命名关键字参数，关键字参数。

8.切片操作格式为lis[首下标：尾下标：间隔]，如果都不填，即lis[::]则代表整个容器lis

9.用圆括号()括起来一个列表生成式创建一个生成器generator，generator保存生成算法，我们可以用next(g)取得生成器g的下一个返回值。生成器的好处就是我们不需要提前生成所有列表元素，而是需要时再生成，这在某些情况下可以节省许多内存。算法也可以不是列表生成式而是自定义函数，只需在函数定义中包含yield关键字。

10.map()和rece()： 二者都是高阶函数。map()接收两个参数，一个是函数，一个是Iterable序列，map将传入的函数依次作用在序列每一个元素上，并把结果作为新的Iterator返回。rece()类似累积计算版的map()，把一个函数作用在一个序列上，每次接收两个参数，将结果继续与序列的下一个元素做累积计算。

利用map和rece编写一个str2float函数，如把字符串'123.456'转换成浮点数123.456：

123456789101112131415

(s):deff1(x,y):returnx*10+ydefchar2num(s):return{'0':0,'1':1,'2':2,'3':3,'4':4,'5':5,'6':6,'7':7,'8':8,'9':9}[s]deff2(x,y):returnx*0.1+ya,b=s.split('.')print('a=',a)print('b=',b)returnrece(f1,map(char2num,a))+0.1*rece(f2,map(char2num,b[::-1]))print('str2float('123.456') =', str2float('123.456'))

11.fliter()函数过滤序列，类似于map()作用于每一元素，根据返回值是True或者False决定舍弃还是保留该元素。函数返回一个Iterator。

12.sorted()函数可实现排序，类似于C++库中的sort()函数，但是比其更加简洁，语法为sorted(lis,key=func,reverse=T/F)

key函数可实现自定义的排序规则，reverse表示升序还是降序。

13.一个函数可以返回一个函数，但是返回时该函数并未执行，所以返回函数中不要引用任何可能发生变化的变量，否则会出现逻辑错误。

14.装饰器(decorator): 当需要增强函数的功能却不希望修改函数本身，那么可以采用装饰器这种运行时动态增加功能的方式，增加的功能卸载装饰器函数中。如在执行前后打印'begin call'和'end call'，可以这样做：

12345678910111213141516

importfunctoolsdeflog(func):@functools.wraps(func)#为了校正函数签名，最好写上defwrapper(*args,**kw):print('begin call')f=func(*args,**kw)print('end call')returnfreturnwrapper@logdefhah():print('hahahaha')hah()

123

begin callhahahahaend call

15.偏函数： functools.partial()，作用是将一个函数的某些参数固定住，作为新函数的参数，即固定住该参数，返回一个新函数，使调用更简单。

四、面向对象编程

1.Python实例变量可以自由地绑定任何属性

2.为了不让内部属性不被外部访问，在属性的名称前加上两个下划线__，这样就变成了一个私有变量(private)，注意，不能直接访问不代表一定不能访问，事实上，加双下划线后Python就会将其改名为‘_class名__name’，所以还是可以这样来访问这个‘私有’变量。

3.对于静态语言，如果要求传入一个class类型的对象，那么传入的对象必须是class类型或者其子类，否则将无法调用class中的方法，而Python这样的动态语言有‘鸭子类型’一说，即不一定要传入class类型或其子类，而只要保证传入的对象中有要使用的方法即可。

4.如果想要限制实例可以绑定的属性，那么在定义class时定义一个__slots__变量即可，例如：

12

classStudent(object):__slots__=(‘name’,’age’)

注意，__slots__限制的属性对当前类实例起完全限制作用，且与子类共同定义其__slots__，也就是说子类可以定义自己的__slots__，子类实例允许定义的属性就是自身的__slots__加上父类的__slots__，即并集。

5.@ property装饰器可以使一个getter方法变成属性，如果方法名为me，那么@me.setter装饰器则可使一个setter方法变成属性。这样可以使代码更简短，同时可对参数进行必要的检查。

6.通过多重继承，可使子类拥有多个父类的所有功能。

7.在类中__call__方法可使实例对象像函数那样直接调用，作用即是该方法定义的过程。

8.ORM(Object Relational Mapping 对象关系映射)，就是把关系数据库的一行映射为一个对象，也就是一个类对应一个表。ORM的实现需要通过metaclass元类修改类的定义。元类可以改变类创建时的行为。

五、调试

1.Python调试方法：

(1)直接打印

(2)断言

(3)pdb

(4)IDE

六、IO编程

1.序列化： 把变量从内存中变成可存储或传输的过程称之为序列化。Python用pickle模块实现序列化。序列化之后，就可以把序列化后的内容存储到磁盘上或者通过网络进行传输。pickle.mps()将对象序列化成一个bytes,而pickle.loads()可以根据bytes反序列化出对象。

2.pickle虽好，但是它专为Python而生，所以要在不同语言间传递对象，最好还是xml或者json，而json表示格式是一个字符串，更易读取，且比xml快，所以更加适宜于对象序列化。Python内置了json模块，相应方法仍然是mps()和loads()。

3.但是在默认情况下，有些对象是无法序列化的，所以我们有时还需要定制转换方法，告诉json该如何将某类对象转换成可序列为json格式的{}对象。如下即是一个转换方法：

123456

defmantodict(std):return{'name': std.name,'age': std.age,'id': std.id}

七、进程与线程

1.Python用mutiprocessing模块来实现多进程。

2.如果要大量创建子进程，可以使用进程池：

1

frommultiprocessingimportPool

示例如下：

12345678

....p=Pool(4)foriinrange(5):p.apply_async(long_time_task, args=(i,))print('Waiting for all subprocesses done...')p.close()p.join()print('All subprocesses done.')

要使用进程池需新建Pool对象，对Pool对象调用join()使等待池中所有子进程运行完毕，调用join()方法之前必须调用close()，且此后无法再新加子进程。

3.使用subprocess模块可以方便的启动并管理一个子进程，控制其输入输出。

4.进程间通信使用Queue,Pipes实现。

5.threading模块管理线程。threading.lock()创建线程锁，防止同时访问互斥资源造成的错误，示例如下：

1234567

lock=threading.Lock()...lock.acquire()...change(mutex)...lock.release()

6.ThreadLocal可以解决参数在一个线程中各个函数之间互相传递的问题。

7.managers模块实现分布式进程。

八、正则表达式与常用内建模块

1.re模块进行正则表达式编译和匹配，如果该表达式需要匹配很多次，那么最好进行编译从而大大节省时间。

正则表达式匹配邮箱例子：

12345678910

importrehah=re.compile('[0-9a-zA-Z]+[.[0-9a-zA-Z]+]*@[0-9a-zA-Z]+.[a-z]{2,3}')print(hah.match('[email protected]').group())print(hah.match('[email protected]').group())i=1whilei <10:r=input('请输入邮箱：')print(hah.match(r).group())i=i+1

2.datetime模块进行日期和时间的处理，每一个时间对应一个timestamp，我们把1970年1月1日 00:00:00 UTC+00:00时区的时刻称为epoch time，记为0（1970年以前的时间timestamp为负数），当前时间就是相对于epoch time的秒数，称为timestamp。字符串和datetime也可以相互转换，采用strptime()方法，字符串转换为datetime时需要设定一个识别格式，其中

1

%Y-%m-%d%H:%M:%S

分别表示年-月-日 时-分-秒。

从datetime得出月份，星期等字符串用strftime()方法，其中：

1

%a,%b%d%H:%M

分别表示星期, 月份 日期 时:分。

示例：

12345678910

fromdatetimeimportdatetimer='2015-11-23 12:01'dt=datetime.strptime(r,'%Y-%m-%d %H:%M')print(dt)week=dt.strftime('%a %b %d, %H:%M')print(week)2015-11-2312:01:00Mon Nov23,12:01

3.collections是Python内建的一个集合模块，提供了许多有用的集合类。

4.Base64是一种任意二进制到文本字符串的编码方法，常用于在URL、Cookie、网页中传输少量二进制数据。

5.struct模块用来解决bytes和其他二进制数据类型的转换。

6.Python的hashlib提供了常见的哈希算法，如MD5，SHA1等等。hashlib实现简单登录：

importhashlibdb={'michael':'','bob':'','alice':''}defget_md5(ostr):md5=hashlib.md5()md5.update(ostr.encode())returnmd5.hexdigest()deflogin(user, password):r=get_md5(password)fornameindb:ifdb[name]==r:returnTruereturnFalseprint(login('bob','abc999'))True

7.Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。

8.urllib提供了一系列用于操作URL的功能。如GET,POST...

9.PIL(Python Imaging Library Python图像库)是一个强大的图像处理标准库，功能强大却又简单易用。现在的名字叫做Pillow。可以如下安装Pillow:

1

pip3 install pillow

从下面生成数字验证码的程序可以窥其一斑：

九、网络编程和电子邮件

1.网络编程主要是TCP和UDP的编程，示例见【Python网络编程】利用Python进行TCP、UDP套接字编程

2.SMTP是发送邮件的协议，Python内置对SMTP的支持，可以发送纯文本邮件、HTML邮件以及带附件的邮件。Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。Python内置一个poplib模块，实现了POP3协议，可以直接用来收邮件。由于现在绝大多数大型邮件服务商都采取了反垃圾邮件措施，所以这部分的简单实验并没有成功，还需进一步研究，等遇到具体情况再说。

3.Python内嵌了sqlite数据库，还可以自行安装连接mysql，MySQL是当前最流行的开源数据库，在行业内有着广泛的应用。

十、Web开发和异步IO

1.WSGI(Web Server Gateway Interface) 服务器网关接口。

2.Python web 开发框架：

-Flask：流行的Web框架

-Django：全能型Web框架

-web.py：一个小巧的Web框架

-Bottle：和Flask类似的Web框架

-Tornado：Facebook的开源异步Web框架

3.协程

⑩ 什么是Python全栈工程师

全栈工程师是指掌握多种技能，并能利用多种技能独立完成产品的人。也叫全端工程师，英文Full Stack
developer。
当下全栈工程师的概念很火，而Python是一种全栈的开发语言，所以你如果能学好Python，那么前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。