python的姿势

① python爬虫可以自学吗

无论是从入门级选手到专业级选手都在做的爬虫，还是Web 程序开发、桌面程序开发，又或者是科学计算、图像处理，Python编程都可以胜任。或许是因为这种属性，周围好多小伙伴都开始学习Python。Python爬虫可以自学吗？（推荐学习：Python视频教程）
可以的，世上无难事只怕有心人。只要你下定决心，把下面的书籍吃透，动手实践，相信你的爬虫技术一定ok。
Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身。
Python极其容易上手，因为Python有极其简单的说明文档
1、如果你用Python3写爬虫，强力推荐《Python网络数据采集》这本书，应该是目前最系统最完善介绍Python爬虫的书。可以去图灵社区买电子版。
书的内容很新也很系统，从beautifulSoup，requests到ajax，图像识别，单元测试。比起绝大多数blog零散的教程要好的多，看完书后就可以去做些实战项目，这个时候可以去github上找类似的项目借鉴下。
2、国内也有一本讲爬虫的好书，《自己动手写网络爬虫》，这本书除了介绍爬虫基本原理，包括优先级，宽度优先搜索，分布式爬虫，多线程，还有云计算，数据挖掘内容。只不过用了java来实现，但思路是相同的。
Python爬虫靠系统学习固然好，直接写一个项目出来效果更加简单粗暴!(不过自己现在的水平写出来都是流水一般的面向过程的代码，代码的重复部分太多，正在回过头去学习面向对象编程，学习类和方法的使用。不过，我还是坚定地认为：入门的时候，应该直接简单粗暴地实践一个项目。
3、哪里不会搜哪里!哪里报错改哪里!相信我你遇到的99%的问题都能从网上找到相似的问题，你需要做的就是写代码!搜问题!调BUG!你搜不到解决办法的情况下，80%的情况是你搜索的姿势不对，另外20%可能需要你自己动动脑子，换个思路去做。
目前在IT行业里，技术是在新月异的更新中，不断换代升级，Python行业更是如此。而我们知道，在学校所学专业知识可能很难满足如今的社会需求。
说了这么多，要是现在的情况不适合你进行自学，或许是你的自制力不够，或许是你没有足够多的时间自学，或许你需要更专业的课程学习，相信专业的课程学习能带给你更多东西，相信你会收获更多的友谊和人脉资源。
更多Python相关技术文章，请访问Python教程栏目进行学习！以上就是小编分享的关于python爬虫可以自学吗的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！

② 用Python预测“周期性时间序列”的正确姿势

公司平台上有不同的api，供内部或外部调用，这些api承担着不同的功能，如查询账号、发版、抢红包等等。日志会记录下每分钟某api被访问了多少次，即一个api每天会有1440条记录（1440分钟），将每天的数据连起来观察，有点类似于股票走势的意思。我想通过前N天的历史数据预测出第N+1天的流量访问情况，预测值即作为合理参考，供新一天与真实值做实时对比。当真实流量跟预测值有较大出入，则认为有异常访问，触发报警。

我放了一份样例数据在data文件夹下，
看一下数据大小和结构

画图看一下序列的走势:（一些画图等探索类的方法放在了test_stationarity.py 文件中，包含时间序列图，移动平均图，有兴趣的可以自己尝试下）。

看这糟心的图，那些骤降为0的点这就是我遇到的第一个坑，我当初一拿到这份数据就开始做了。后来折腾了好久才发现，那些骤降为0的点是由于数据缺失，ETL的同学自动补零造成的，沟通晚了(TДT)。

把坑填上，用前后值的均值把缺失值补上，再看一眼：

发现这份数据有这样几个特点，在模型设计和数据预处理的时候要考虑到：

前六天的数据做训练，第七天做测试集。

消除数据的毛刺，可以用移动平均法，我这里没有采用，因为我试过发现对于我的数据来说，移动平均处理完后并不能使数据平滑，我这里采用的方法很简单，但效果还不错：把每个点与上一点的变化值作为一个新的序列，对这里边的异常值，也就是变化比较离谱的值剃掉，用前后数据的均值填充，注意可能会连续出现变化较大的点：

平滑后的训练数据：

采用statsmodels工具包：

对分解出来的趋势部分单独用arima模型做训练：

预测出趋势数据后，加上周期数据即作为最终的预测结果，但更重要的是，我们要得到的不是具体的值，而是一个合理区间，当真实数据超过了这个区间，则触发报警，误差高低区间的设定来自刚刚分解出来的残差resial数据：

预测并完成最后的加法处理，得到第七天的预测值即高低置信区间：

对第七天作出预测，评估的指标为均方根误差rmse，画图对比和真实值的差距：

可以看到，均方根误差462.8，相对于原始数据几千的量级，还是可以的。测试数据中的两个突变的点，也超过了置信区间，能准确报出来。

前文提到不同的api形态差异巨大，本文只展示了一个，我在该项目中还接触了其他形态的序列，有的有明显的上升或下降趋势；有的开始比较平缓，后面开始增长... ... ,但是都属于典型的周期性时间序列，它的核心思想很简单：做好分解，做好预测结果的还原，和置信区间的设置，具体操作可根据具体业务逻辑做调整，祝大家建模愉快:-D。

③ 说说这篇我为什么从python转向go

恩看了这篇我为什么从python转向go，
看来作者也是 KSO 轻办公/企业快盘团队的。作为快盘从无到有时期的工程师之一（总是被潇洒哥说他们改我留下的 bug ），又恰好是
Python/Go 双修（大雾其实我是 Rust 党），其实一开始我是拒绝的，ang ang ang，那就随手写一点把。

一段段来吧，首先作者说 Python 是动态语言

python是一门动态语言，不是强类型系统。对于一个变量，我们有时候压根不知道它是什么类型，然后就可能出现int + string这样的运行时错误。

在python里面，可以允许同名函数的出现，后一个函数会覆盖前一个函数，有一次我们系统一个很严重的错误就是因为这个导致的。

事实上，如果是静态检查，pylint 和 pyflakes 是可以做这件事的，虽然不能和 go
那种静态编译型语言比，但也足够了。如果没记错的话，阿通当年是要求全组都在提交前做静态检查的。我认为这种问题更多的应该是人员素质上来避免，毕竟葱头
也说过，代码自己写的就要多回头看看，看能不能重构，能不能做更好。不是说偷懒不行，但是从中得出 Python
动态特性太灵活，Python：怪我咯看

另外，函数作为第一对象，在 Python 中是 feature，Go 要写个 mock，简直虐得不要不要的。

其实这个一直是很多人吐槽python的地方，不过想想，python最开始是为了解决啥问题而被开发出来的看我们硬是要将他用到高性能服务器开发上面，其实也是有点难为它。

如果没记错，无论是轻办公还是快盘，是重 IO 不重 CPU，最大耗时是数据块加密那块，我在的时候是 Java 写的。另外高性能服务器选 Go 也是虐得不要不要的，各种小心翼翼避免 GC。大多数极端情况下，pypy 的性能足矣胜任了，我认为这不算充分条件。

python的GIL导致导致无法真正的多线程，大家可能会说我用多进程不就完了。但如果一些计算需要涉及到多进程交互，进程之间的通讯开销也是不得不考虑的。

其实，Python 有宏可以绕开这个 GIL，但是呢架构设计得好其实可以避免的，到异步那块我会说。

无状态的分布式处理使用多进程很方便，譬如处理http请求，我们就是在nginx后面挂载了200多个django server来处理http的,但这么多个进程自然导致整体机器负载偏高。

但即使我们使用了多个django进程来处理http请求，对于一些超大量请求，python仍然处理不过来。所以我们使用openresty，将高频次的http请求使用lua来实现。可这样又导致使用两种开发语言，而且一些逻辑还得写两份不同的代码。

如果推测没错，你们现在还在用五年前写的 Gateway看那个基于 django route
的流量分发层看四年前我离开的时候已经小范围的使用 Flask+Gevent Demo 测试过了，无论是性能还是负载都比同步模型的 django
有优势。如果还是 django
这套的话，我只能说比较遗憾，毕竟当年金山新员工大赛头牌就是我和几个小伙伴写的实时同步在线文档编辑系统，用的就是这套技术。

因此这是个工程问题，并非语言问题。 Python 提供给了你了这么多工具，硬要选一个传统的，Old fashion 的，Python：怪我咯看

django的网络是同步阻塞的，也就是说，如果我们需要访问外部的一个服务，在等待结果返回这段时间，django不能处理任何其他的逻辑（当然，多线程的除外）。如果访问外部服务需要很长时间，那就意味着我们的整个服务几乎在很长一段时间完全不可用。

为了解决这个问题，我们只能不断的多开django进程，同时需要保证所有服务都能快速的处理响应，但想想这其实是一件很不靠谱的事情。

同步模型并非不行，因为 overhead 足够低，很多业务场景下用同步模型反而会取得更好的效果，比如豆瓣。同步模型最大的问题是对于 IO 密集型业务等待时间足够长，这时候需要的不是换语言 ，而是提醒你是不是架构要改一下了。

虽然tornado是异步的，但是python的mysql库都不支持异步，这也就意味着如果我们在tornado里面访问数据库，我们仍然可能面临因为数据库问题造成的整个服务不可用。

tornado 是有这个问题，但是 gevent 已经解决了。我在 node.js 的某问题下曾经回答过，对于 node
而言，能选择的异步模型只有一个，而 Python 就是太多选择了。另外 pypy+tornado+redis
可以随意虐各种长连接的场景，比如我给我厂写过的一个 push service。

其实异步模型最大的问题在于代码逻辑的割裂，因为是事件触发的，所以我们都是通过callback进行相关处理，于是代码里面就经常出现干一件事情，传一个callback，然后callback里面又传callback的情况，这样的结果就是整个代码逻辑非常混乱。

这个还真不是，如果说没有 ES6 的 JavaScript，可能真有 Callback hell，但这是 Python 啊！Python
早就实现了左值绑定唉，yield 那姿势比某些天天吹的语言不知道高到哪里去了，当然我说的是完整版的 Python3 yield。即便是不完整的
Python 2 yield 用于异步表达式求值也是完全足够的，tornado 的 gen.coroutine 啊。

同步形态写异步，在 Python 实力强的公司里面早普及了，这是个工程问题，并非语言问题。当然把这种事怪在 Python 身上，Python：怪我咯看

python没有原生的协程支持，虽然可以通过gevent，greenlet这种的上patch方式来支持协程，但毕竟更改了python源码。另外，python的yield也可以进行简单的协程模拟，但毕竟不能跨堆栈，局限性很大，不知道3.x的版本有没有改进。

无论是 Gevent 还是 Greenlet 均没修改 Python 源码，事实上这货已经成为了 Py2 coroutine 的标准，加上豆瓣开源出来的greenify，基本上所有的库都可以平滑的异步化，包括 MySQL 等 C 一级的 lib。自从用上这套技术后，豆瓣的 Python dev 各种爽得不要不要的。

当我第一次使用python开发项目，我是没成功安装上项目需要的包的，光安装成功mysql库就弄了很久。后来，是一位同事将他整个python目录打包给我用，我才能正常的将项目跑起来。话说，现在有了docker，是多么让人幸福的一件事情。

而部署python服务的时候，我们需要在服务器上面安装一堆的包，光是这一点就让人很麻烦，虽然可以通过puppet，salt这些自动化工具解决部署问题，但相比而言，静态编译语言只用扔一个二进制文件，可就方便太多了。

恰好我又是在开发基于 docker 的平台， docker 还真不是用来做部署这事的。首先， Python 是有 virtualenv
这个工具的，事实上对比包管理和包隔离，Python 比 Go 高得不知道哪里去了。Python 跟 Git 谈笑风生的时候， Go 的 dev
们还得考虑我怎样才能使得 import 的包稳定在一个版本上（当然现在有很多第三方方案）。Virtualenv + Pip 完全可以实现
Python 部署自动化，所以这个问题我认为是，工具链选取问题。毕竟是个十几年的老妖怪了，Python
啥情况没见过啊，各种打包工具任君选择，强行说 Python 部署不方便，Python：怪我咯看

python非常灵活简单，写c几十行代码才能搞定的功能，python一行代码没准就能解决。但是太简单，反而导致很多
同学无法对代码进行深层次的思考，对整个架构进行细致的考量。来了一个需求，啪啪啪，键盘敲完开速实现，结果就是代码越来越混乱，最终导致了整个项目代码
失控。

曾经知乎有个帖子问 Python 会不会降低程序员编程能力，
我只能说这真的很人有关。你不去思考深层次的东西怪语言不行是没道理的，那好，Go 里面 goroutine 是怎么实现的，一个带 socket 的
goroutine
最小能做到多少内存，思考过看任何语言都有自己的优势和劣势，都需要执行者自己去判断，一味的觉得简单就不会深入思考这是有问题的。另外，代码混乱我认为
还是工程上的控制力不够，豆瓣有超过10W行的 Python 实现，虽然不说很完美，大体上做到了不会混乱这么个目标。

还有，C 写几十行搞定的 Python 一行解决这绝对是重大 feature，生产力啊，人员配置啊，招人培养的成本啊，从工程上来说，Python 在这一块完全是加分项，不是每个项目都要求极致的并发，极致的效率，做工程很多时候都是要取舍的。

虽然java和php都是最好的编程语言（大家都这么争的），但我更倾向一门更简单的语言。而openresty，虽然性
能强悍，但lua仍然是动态语言，也会碰到前面说的动态语言一些问题。最后，前金山许式伟用的go，前快盘架构师葱头也用的go，所以我们很自然地选择了
go。

Openresty 用 lua 如果按照动态语言的角度去看，还真算不上，顶多是个简单点的 C。许式伟走的时候大多数都是
CPP，葱头目前我还不知道他创业用的是什么写的，不过他肯定没语言倾向。当年无论是 leo 还是 ufa，一个用 Python 一个用
Java， 他都是从工程实际来选择使用什么样的语言。

error，好吧，如果有语言洁癖的同学可能真的受不了go的语法，尤其是约定的最后一个返回值是error。

这其实是 Go style，无论是 go fmt 还是 error style，Go 其实是想抹平不同工程师之间的风格问题。不再为了一个缩进和大括号位置什么的浪费时间。这种方法并不是不好，只是我个人觉得没 rust 那种返回值处理友善。

GC，java的GC发展20年了，go才这么点时间，gc铁定不完善。所以我们仍然不能随心所欲的写代码，不然在大请求量下面gc可能会卡顿整个服务。所以有时候，该用对象池，内存池的一定要用，虽然代码丑了点，但好歹性能上去了。

1.4 开始 go 就是 100% 精确 GC 了，另外说到卡顿啊，完全和你怎么用对象有关，能内联绝不传引用大部分场景是完全足够的，这样 gc 的影响程度会最低。实在想用池……只能说为啥不选 Java。

天生的并行支持，因为goroutine以及channel，用go写分布式应用，写并发程序异常的容易。没有了蛋疼的callback导致的代码逻辑割裂，代码逻辑都是顺序的。

这是有代价的，goroutine 的内存消耗计算（当然1.3还是1.4开始得到了很大的改善，内存最小值限制已经没了），channel
跨线程带来的性能损耗（跨线程锁），还有对 goroutine 的控制力几乎为 0
等。总之这种嘛，算不上是杀手级特性，大家都有，是方便了一点，但也有自己的弊端。比如我们用 go 吧，经常就比较蛋疼 spawn 出去的
goroutine 怎么优美的 shutdown，反而有时候把事情做复杂化了。

性能，go的性能可能赶不上c，c++以及openresty，但真的也挺强悍的。在我们的项目中，现在单机就部署了一个go的进程，就完全能够胜任以前200个python进程干的事情，而且CPU和MEM占用更低。

我不严谨的实测大概 gevent+py2 能达到同样逻辑 go 实现的 30%~40%，pypy+tornado 能达到
80%~90%，混合了一些计算和连接处理什么的。主要还是看业务场景吧，纯粹的 CPU bound 当然是 go 好，纯粹的 IO bound
你就是用 C 也没用啊。

运维部署，直接编译成二进制，扔到服务器上面就成，比python需要安装一堆的环境那是简单的太多了。当然，如果有cgo，我们也需要将对应的动态库给扔过去。

我们现在根据 glibc 所处的 host 版本不同有2套编译环境，看上去是部署简单了，编译起来坑死你。另外虽然说 disk 便宜，这几行代码就几M了，集群同步部署耗时在某些情况下还真会出篓子。

开发效率，虽然go是静态语言，但我个人感觉开发效率真的挺高，直觉上面跟python不相上下。对于我个人来说，最好的
例子就是我用go快速开发了非常多的开源组件，譬如ledisdb，go-mysql等，而这些最开始的版本都是在很短的时间里面完成的。对于我们项目来
说，我们也是用go在一个月就重构完成了第一个版本，并发布。

④ python自动化工具：pywinauto

Pywinauto是完全由Python构建的一个模块，可以用于自动化 Windows 上的 GUI 应用程序。同时，它支持鼠标、键盘操作，在元素控件树较复杂的界面，可以辅助我们完成自动化操作。

我在工作中，主要是使用pywinauto来辅助做一些操作，来完成自动化测试。

先要确认本地有python环境，然后可以通过命令行安装pywinauto：

如果你是使用ide，可以通过ide安装，比如我习惯使用pycharm，就可以在Project Interpreter中添加pywinauto：

还有一些手动安装的方法，但是有点繁琐，不是很推荐，这里就不介绍了。

Pywinauto要操作应用，首先需要访问应用，主要有两种访问技术。WIN32访问技术支持MFC、VB6、VCL、简单WinForms控件开发的应用，MS UI Automation访问技术支持WinForms、WPS、QT5、WPF、Store apps、browsers等开发的应用。

win32 API的backend为“ win32 ”，MS UI Automation的backend为“ uia ”。

Pywinauto中使用的backend默认为win32。可使用spy++或者Inspect工具判断backend适合选哪种。例如：如果使用py_inspect的uia模式，可见的控件和属性更多的话，backend可选uia，反之，backend可选win32。

这里提一下常用的分析工具：

我个人常用的是py_inspect和spy++。

多数情况下都是需要打开应用的，实现方式也很简单：

backend参数根据实际情况选择传uia还是win32。

start方法其实可以传两个参数，除了目标应用的启动程序地址，还可以传一个timeout，如果不传，默认是5s。如果你的目标程序启动、运行都很慢，可以将timeout设置久一点。

如果要操控的应用已经处于启动状态，可以直接进行连接，而连接方式有多种可以选择：

其中Windows的pid可以通过任务管理器进行查看：

但是我在实际操作的时候使用窗口句柄没有成功过，可能是我使用姿势不对，不过还是不推荐使用窗口句柄。

title_re参数传递的是应用的部分名称，class_name可以通过py_inspect查询到。

前面获取的对象都是应用，但是我们实际操作的是应用窗口，这里就来介绍怎么获取窗口和对话框。

最常用的是通过 title定位：

如果不清楚定位工具中的title在哪个位置，显示的是什么，可以通过print_control_identifiers()方法将所有的title都打印出来：

通过title定位的时候需要注意一下中英文的影响，如果是中文，可能会有编码问题，需要转码。

title其实只是window()方法中的一种关键字参数，window()方法可以接收很多中的关键字参数，且这些参数可以组合使用，例如这样：

主要参数有这些：

通过top_window()也能比较容易地获取到窗口，但是这个方法获取的是 程序的顶级窗口，但可能不是Z-Order中的顶级窗口。所以这个方法使用的时候多调试几次。

窗口的操作主要有最小化、最大化、恢复、关闭窗口：

控件的定位其实和窗口的定位基本一致，不太清楚为什么pywinauto在设计的时候会将窗口和控件作为一类东西。

相对于前面定位窗口的window()方法，定位控件的时候推荐使用child_window()，因为直接使用windows()的话，如果控件不是在当前窗口的子控件，是子子控件，就会定位不到，而child_window()方法就不会有这个问题，当然相对的缺点就是当控件深度太深的时候，执行这个方法会比较耗时。

child_window()方法传递的参数和window()是一样的。

控件自带了一些操作方法：

当这些不好用的时候，比如你的控件不支持点击，但是你又想点击一下，可以使用鼠标操作的一些方法：

测试过程中可能会需要截图作为证据，截图的方法也比较简单：

pywinauto也提供了键盘操作的方法：

pywinauto有几个设置等待时间的方式，这里介绍一个：

这里简单的演示一下用Wireshark自动抓包并保存：

PC端自动化测试使用到的python模块主要有pywinauto、win32gui、pyautogui。这里介绍的p ywinauto主要使用到Application类，用于应用程序管理（打开与关闭应用等）、窗口管理（最小化、最大化、关闭窗口）、控件操作。

pywinauto的功能其实挺丰富的，但是真正用到的其实只是其中很小的一块，感兴趣的同学可以多去官网翻一翻。

⑤ 零基础小白如何在最短的时间快速入门python爬虫

Python爬虫为什么受欢迎？Python爬虫应该怎么学？

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。

利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：

知乎：爬取优质答案，为你筛选出各话题下最优质的内容。

淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。

拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。

雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。

爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。

掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。

对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……

但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。

1.学习 Python 包并实现基本的爬虫过程

2.了解非结构化数据的存储

3.学习scrapy，搭建工程化爬虫

4.学习数据库知识，应对大规模数据存储与提取

5.掌握各种技巧，应对特殊网站的反爬措施

6.分布式爬虫，实现大规模并发采集，提升效率

一

学习 Python 包并实现基本的爬虫过程

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。

Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下，豆瓣、糗事网络、腾讯新闻等基本上都可以上手了。

当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。

二

了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。

开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。

当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。

三

学习 scrapy，搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。

scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。

学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。

四

学习数据库基础，应对大规模数据存储

爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。

MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。

五

掌握各种技巧，应对特殊网站的反爬措施

当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。

遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。

往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了.

六

分布式爬虫，实现大规模并发采集

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面我们说过了，用于做基本的页面爬取，MongoDB 用于存储爬取的数据，Redis 则用来存储要爬取的网页队列，也就是任务队列。

所以有些东西看起来很吓人，但其实分解开来，也不过如此。当你能够写分布式的爬虫的时候，那么你可以去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

你看，这一条学习路径下来，你已然可以成为老司机了，非常的顺畅。所以在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆瓣、小猪这种简单的入手），直接开始就好。

因为爬虫这种技术，既不需要你系统地精通一门语言，也不需要多么高深的数据库技术，高效的姿势就是从实际的项目中去学习这些零散的知识点，你能保证每次学到的都是最需要的那部分。

当然唯一麻烦的是，在具体的问题中，如何找到具体需要的那部分学习资源、如何筛选和甄别，是很多初学者面临的一个大问题。

希望我的回答对你有帮助，希望采纳。

⑥ 请教Python 从 egg 中 import so 文件的正确姿势

我写了一个包，用

python setup.py install

安装后会在site-package目录下得到一个.egg 的文件，然后可以在 python 中 import 这个包。 问题是，我在setup.py文件中包含了 package_data，是一个名为xxx.so的动态库文件，这个库文件在 install 之后也被正确包含进那个.egg 文件里了（把.egg 重命名成.zip 解压后可以确认）。 但是，如果只用这个.egg 文件，那么包里的一行代码

from . import xxx

就会报错

ImportError: cannot import name 'xxx'

奇怪的是，如果我重命名.zip 然后解压成文件夹，from . import xxx就能正常加载那个动态库了。

请问熟悉 Python 的 V 友这种情况该如何解决？谢谢！

我后来在`setup.py`中的`setup()`中加入了一条`zip_safe=False`来生成 folder 而不是 egg，解决了问题，但不知道有没有更优雅的解决方案？

⑦ poppin和popper各是什么（解释细点）

Poppin是Funk舞蹈和街舞（Street Dance）中的一种风格，最初的基本形式是借由各部位肌肉迅速地收缩与放松的技巧，使舞者的身体产生震动的感觉，这种技巧称作Pop，舞者会以多种不同的动作和姿势来配合歌曲的节奏进行舞蹈，Popping舞者又被称为Popper。

Poppin来源于Boogaloo Sam通过The Jerky这种舞蹈产生的灵感所改良的肌肉震动方式Pop。

(7)python的姿势扩展阅读

poppin技术风格

1、The Pop

Pop就是一种你震动身体不同部位的动作，这是要靠震动的肌肉来达成的。这是非常需要韵律感的，而且需要配合poppin风格的音乐，可以靠着伸直你的手轴来做pop，也可以将肩膀隆起来做pop，包括胸、腿都可以。

2、The Kick

这个动作常被用来作为机器人舞的舞蹈中，Electric Boogie中很重要的一个部分，这个动作给人一种错觉，就好像这个人天生就像机器一般，停下来或开始动作的时候都会有一个震动，做这个动作就是要靠震动肌肉，法国的喜剧演员叫这种动作是“Clique”。

⑧ 关于Poping Locking 有什么技巧

这次要讲的是下面几点的练习：
一、手部的POP
二、脚步（也就是胯部练习）的POP
三、头部的POP
四、胸部的POP（先不用练习）
前言：POPPIN只要灵活运用四肢就很强了，千万别在四肢还没有练成POP的时候就来跳POPPIN，这样基础不稳，你永远都学不好，就算你模仿一个动作跳出来了，但是内行人一看就会觉得不好看，而且POPPIN不是比谁POP的弧度大或者全身都会POP就是厉害；POP的时候出力点要短但是要大，POPPIN的点越轻松就越漂亮，这样看起来会精而细，很多人练习的时候都会用上肩部突然下拉来带动各部分肌肉达到的POP，这个练习方法不能说不正确，只是POP起来不太好看而已，这个纯属个人观点，还有要补充的是大家刚练习的时候是不是会感觉到自己的动作很少，其实这不是一个问题，只要你跳久了，感觉好了，把自己的身体融入到音乐里面，就算在一首歌曲中重复一些动作也是无所谓的，重要的是感觉，跟着音乐来跳，要合拍，这个就是为什么施旷老师要说的DANCE TO THE MUSIC，只要你能跟着音乐不停地跳玩一首歌曲的话，看来你也不错了，呵呵
一、手部练习的方法
1、把两只手摆成一个很像骑马的姿势，手指往下放，要感觉到很轻松的感觉
2、然后你手腕往下压，可是手指头部分要让他往上，手腕向下压的时候你是否看到你的小手臂有一个凹洞，就是轴那里有个小洞（反复那样练习就是了！）
3、练习当中，你看看你手的上半部分，肌肉有没有爆破出来，要是有，你再看看胸部与手臂相连的那部分有没有跳动，还有背部的肌肉有没有跳动？手腕向下压时，胸前的肌肉稍微有点跳动的感觉是不是，但是要注意的是：不是胸部往前，而是胸肌向上跳动。要是有了上面的几点，那就正确了。
估计刚开始练的时候背肌部分的跳动可能还出不来，但是要强加练习就OK了。要注意的是练手的时候肩部不要用力，用力的都在手腕上，请各位尝试一下是否有感觉。
这个手部的练习要配合上脚部的练习才好，这样才自然
二、脚部POP的练习
脚步的POP其实也就是大家所说的胯下的POP，很多人都把它想的好复杂好难练，其实胯下的练习比手部练习更加容易，只要大家别把它想的太复杂就可以了，尽量的简单，越简单越好，下面就跟着我的方法来练习一下，很快就有点功效了哦，注意的是利用膝盖。
1、你先站起来，然后膝盖向前稍微弯曲，有点像要坐下的感觉。
2、你从第一点所说的，慢慢从这个动作站起来，记得是慢慢的把脚打直，但别用力。
3、慢慢的站起来，脚快要站直的时候，你突然在这里用力快速把脚打直（也就是膝盖往后），这样反复练习是不是达到跨下的POP了呢？记得千万别屁股用什么力或者往里收，那是不正确的练习方法，大家尽量想的越简单越好
这个脚部的练习要配合上手部的练习才好，这样才自然
三、头部的POP
其实这个头部分的练习用打字的方法真的很难解释清楚，下面就打个比方让大家按这个来练习吧！
其实也就是头部往45度角的方向用力来达到的一种效果，可能我那么说大家都有点迷惑，我就打个比喻吧
1、我们经常在路上碰见熟人的时候都会叫一声“喂”，记得，头部的POP有点像“喂”的一声，怎么说呢？当你在叫别人“喂”的时候，头部是不是有点稍微向上点了一下，就是那一“点”其实就是POP了，只是你要用力而且要短时间内完成而已。注意是先保持原来轻松的表情，突然叫别人喂的一声，反复练习就会学会头部的POP，是不是有点感觉了呀！但是下颚别用力，用力是在后脑勺，CAN YOU FOLLOW ME？
四、胸部的POP
为什么我在前面说胸部不用练习呢？其实也不是没有道理，等你练会我以上说的三点以后，你的胸部自然就会POP了，你不信你就试一下，呵呵，所以这个不用练习哦(但是真正单一的胸震是需要练习的，练习方法第一把腰挺直了，你会感觉到腰有点酸，注意提胸，然后慢慢放松的时候突然来个POP，但是这个POP不是腰出力，腰挺直了只是为了POP的时候更漂亮，详细讲解的话下次再说吧！大家先练好我前面说的)
最后要补充的是国内一级POPPER：BOKY的一些观点，很有用的，大家仔细看看：
1）手臂上的POP主要用到的是三头肌和桡侧腕短肌。可以尝试做这样的动作：五个手指扶住墙壁，然后用手心的位置去推墙（注意肘关节自然弯曲，不要用力去大直）。在这个动作里用到的肌肉群，大致就是手臂上的POP位置。
2）胸部的肌肉是垂直向上走。因为需要注意的是，很少爆点会利用伸展关节来完成。所以反过来说，如果胸大肌不是向上走，势必会牵连到脊椎关节的弯曲。另外，胸肌的POP和颈部肌肉的POP一般是同时完成的。可以这样理解。胸肌往上走的时候，头部保持原来的位置或者略微下压，这样自然就压迫到脖子上的肌肉了。另外，怎么样去锻炼颈部的肌肉呢？大家尝试发两个音，一个是“噢”，这个口型张到最大的时候，很自然的可以绷紧胸锁乳头肌。另外一个是“哈”，最大幅度去做的这个口型，可以绷紧肩胛提肌和肩胛舌骨肌。这三块肌肉是做颈部很重要的POP来源。
3）腿部的POP以前说过，阿KING也解释的很好。我就不多说了。这是唯一的需要利用关节才能完成的POP。因为膝盖自然弯曲的情况下很难绷紧大腿上的各部分肌肉。另外需要补充的是，下盘的POP不单单只有*大腿肌来完成。在一些特定的动作里，也会用到臀部和后腰肌肉上的POP。
介绍文中提及的各部分肌肉
肱三头肌
位于上臂后面皮下。其功能是使手臂伸直和拉向后方。可通过臂屈伸，屈臂下拉，窄握仰推，各种手臂屈伸动作，划船来训练。
胸大肌
位于胸前皮下，为扇形扁肌，其范围大，分为胸上肌和胸大肌两部分。其功能是使上臂向内、向前、向下和向上；臂部向内旋转。可通过所有角度的卧推；所有角度的飞鸟；双杠臂屈伸；仰卧上拉；俯卧撑；重锤双臂侧下拉来训练。
胸锁乳突肌
这是位于颈部浅层最显着的肌肉，其功能是使头和颈向侧曲；头和颈部旋转，颈向前或后弯屈。可通过戴练颈帽动作；摔角的角力桥；助力和自我抗力动作来锻炼。
大腿肌配布于股骨周围，分为前、后和内侧三群。
1．前群 有缝匠肌和股四头肌。
（1）缝匠肌 为全身最长的肌，呈扁带状，起自骼前上棘，斜向内下经大腿前面达膝关节内侧，止于胫骨上端内侧面。
作用：屈髋关节和膝关节，并可使已屈的膝关节旋内。
（2）股四头肌 为全身体积最大的肌，有四个肌头，分别称为股直肌、股内侧肌、股外侧肌和股中间肌。四个肌头向下形成一总腱，覆盖髌骨前面，再向下形成髌韧带，止于胫骨粗隆。
作用：为强有力的伸膝关节的肌，股直肌还能屈髋关节。
2．后群 包括股二头肌、半腱肌和半膜肌。
作用：后群肌主要屈膝关节、伸髋关节。当屈膝时，股二头肌可使小腿旋外，半腱肌和半膜肌能使小腿旋内。
3．内侧群 位于大腿内侧，有5块，为耻骨肌、长收肌、短收肌、大收肌和股薄肌。
三角肌
位于肩部皮下。它是一个呈三角形的肌肉，肩部的膨隆外形即由该肌形成。两侧肌肉纤维呈梭形，中部纤维呈多羽状，这种结构肌肉体积小而具有较大的力量。它的功能是使手臂举到水平位置；手臂分别向前、中、后举到一定方向的高度。可通过各种哑铃和杠铃推举、卧推（前束），哑铃上举到前、后和背后；引体向上来训练。
[编辑本段]POPPIN的动作名称
Poppin动作名词大介绍，独家中文名词大释疑！对Poppin有兴趣的舞迷们不可不看！
☆ The Pop
Pop就是一种你震动身体不同部位的动作，这是要靠你震动你的肌肉来达成的。这是非常需要韵律感的，而且需要配合popping风格的音乐，你可以靠着伸直你的手轴来做popping，你也可以将肩膀隆起来做popping，而身体的其它部位都保持直立。
☆ The Lock or Locking
Locking就是身体做一些很快的动作，然后在一个动作的时候停住，一个形容Locking 动作最好的解释就是:你有玩过那种小小的齿轮玩具吗?当你上紧发条让他动作时，他真的动的很快，可是发条松了，他又一下子马上停了下来，回到原状，这样看起来是不是很像Locking 呢?(编者按:个人认为Locking应该和Electric Boogie，Boogaloo分开，因为他给人的感觉并不是自然的，比较像是快速)
☆ The Tick
这个动作常被用来作为机器人舞的舞蹈中，是Electric Boogie中很重要的一个部分，这个动作给人一种错觉，就好象这个人天生就像机器一般，停下来或开始动作的时候都会有一个震动，做这个动作就是要靠震动肌肉，法国的喜剧演员叫这种动作是“Clique”。
☆ The Floats or Glides
Float或是 Glide给人 种错觉，好象你的脚再走路时有一种特定的程序，这个动作给人一种感觉好象你想往东走，但实际上你的脚却是往西走一样，最着名的舞步就是Michael Jackson 跳的“Moon Walk”，这是一个老的喜剧演员的把戏，就像明明要往前走却又往后退。
☆ The SlowMo
这个舞蹈动作做起来就像是你在电视上看到的慢动作回放一样，通常舞者会把这个动作和MOON WALK一起做。
☆ The Wave
这是从四肢开始的波浪的动作。他给人一种错觉就像是有一股看不见的力量穿过你的整个身体，从一个地方开始，穿过手掌，手臂，整个身体最后停在你的脚。波浪的动作是一个标准的动作，包含在每一个舞蹈的例行动作中。不像其它的舞蹈动作，这个动作是流畅连贯的动作，应该是有精神的或是充满律动感的。波浪的动作的确从Pop中截取了不少的风格，但是你和Pop做一个比较，做Pop时如果有一个路径环绕全身，做起来会更加顺畅。
☆ The Mannequin or Robot (Robotics)
这是一个以经存在很久的机械舞蹈风格，他就像是模仿一个展示用的假人在现实生活中动了起来，然后从Mannequin style中又分离出两个动作。一个动作是是舞者就像是被线牵引的傀儡一般，行动不自由，无法自主，人被其它人所牵引着，你可能曾在电视上看过喜剧演员做这样的表演，最经典的动作就是同手同脚向前移动，再表演中这笔不同手不同脚一起移动常被使用。另一个风格就是机器人，这个动作就是你的四肢做动作时被一个固定的速度所控制，然后突然停住或是用Tick停住，就像是只有机器才会做的动作。通常在一个时间里，你只移动身体的一个部分，做的就好象是你被一个计算机程序所控制住一样，动作要做的很制式化。Mannequin:这个字指的是展示用的假人模特儿。
☆ The King Tut (埃及手)
这个动作就好象是挂在墙上埃及的壁画及宫殿般的感觉，它包含了摆手部的动作，肩膀和手轴成90度，你的前臂可能是上或下，弯曲或扭转，可能远离你或靠近你，然后你的手可能要循环的上下或是循环的扭转，这要和Tick一起做，就像机器人舞蹈的风格一样，每一个动作是分开的。
☆ The Lean
这又是另一个相当受欢迎的喜剧演员的花招，他给人一种错觉好象人倚靠着某一样东西，可是这样东西实际上却又不存在，就像看不见的钢琴就是一个例子。
☆ The Collapse
通常和Mannequin结合一起做，这个动作做起来就像是一个轮胎被泄了气一样，或者是像一个被剪断了线的傀儡。
☆ The Heartbeat
这是一个很受欢迎的动作，你把手放在外套或T恤底下，然后把衣服往前推，这样看起来就像是你的心脏正在胸腔里跳动一样，通常舞者会一边做动作一向前走，这会给人一种错觉好象是你的心跳推着人前进一样。
☆ The Bicycle
腿部的动作给人一种印象像是你在骑脚踏车一样，这是另一个喜剧演员常用的小花招，这个动作通常会结合手的往前放的动作，这给人的感觉像是你整抓着脚踏车的手把。
☆ The Toe/Heel walk
这个动作通常和Mannequin dance style一起做，是一个很棒的方法可以让你在整个舞蹈地板上做动作，他的动作包含了:用一只脚的脚指做旋转，再配合另一只脚的脚踝一起，然后在将重量移转到另外的脚指及脚踝上，然后一直做，做的好的话，动作会非常流畅，看起来就像是你滑过整个地板一样。
☆ Cobra(King Cobra)
舞者用一只手做波浪的动作传到另一只手去，然后再把他送回来，但是只用到肩膀。(如果你看名叫“Breakin”的电影，在一开始的尬舞中，就有几个人做这个动作，你可不能错过.)
Body Effects就是用身体去做模仿的效果。
☆ Animation
用身体去做像影片般，一格一格的分格动作。
☆ Three Dimensional Tickin’
比depth tickin’更多元化，包括了在同一个tick中，身体做常、宽、高三D般的效果。
☆ Pausin’
停止或暂时停顿一个动作短暂的时间。
☆ Electric Shock
这个动作看起来就像是有一股电流通过身体一般。
☆ Water Wave
缓慢做波浪的动作并摇动身体，创造像水波般的效果。
☆ Internal Moves
动作就像是渗透进身体或是像从身体中发出的一般。和tickin’、wavin’不一样，因为这两者是穿过身体。
☆ External Moves
动作就像是从身体外部来的感觉一样。Cobra，Octopuss，King tut，Python等这些动作都是。
☆ Hittin’
持续的收缩肌肉。基本上是放松和收缩颈部、手部、胸部和腿部的肌肉。
☆ Hittin’style
Hittin’风格的舞蹈包括有: Boogaloo，Boogie，Poplock，Strutin，Puppet，Robotic，freestyle，bopping等这些都是。
☆ Glides/Floats
这个动作就像是舞者在空中走路一样。Moonwalk，Backslide，Side slide，S walk等这些都是
动作集合
Air posing 空气中的动作 Animation 动画
Bopping 动感机器人 也可叫Dancing Robot "BOPPIN ANDRE"为创始人
Crazy Legs 疯狂脚 Popin" Pete在 80年代创立的风格
Cobra 眼镜蛇
Dime Stopping 停 不同与pop跟hit robot用的比较多
Floating/Gliding 漂浮 滑行 月球漫步
Hittin 肌肉持续收缩做动作
Puppet 木偶人
Saccin 行走的风格
Scarecrow 稻草人 灵感来自于电影****师
Snaking 蛇
Spiderman 蜘蛛人 Poppin" pete 在90年代创造的风格
Strobing 像相机快照一样
Strutting 一格一格的动作 像DVD快转那种
Tut 埃及手
Shadow Boxing skeet rabbit的style
Egyptians Boogaloo基本动作Sam创造的
Master Flex Boogaloo基本动作Sam创造的
E.T. 外星人的效果 poppin pete在90年创立的 主要用膝盖
Speed Control 速度的控制
Sleepy Style 要睡着的style Poppin Pete在 90年代创立的
Ground Moves 地板的动作
Poppin 肌肉震动
Boogaloo 每个人有每个人的理解 说法很多
Wavin 电流
Leg Rolls 腿的旋转
Robot 机器人
Tickin 连续的pop
Toy Man 玩具人
Walkouts Boogaloo的基础 sam创立的强调boogaloo的立体感
Fresno Boogaloo的基础 sam创立的强调boogaloo的立体感
power wave 用的多一些力量的wave
Isolation Poppin style 必须具备的局部控制
Centipede 在地下 像蜈蚣一样在走
Slow Move 慢动作
Pop Control pop 控制