pythonthread模块安装

‘壹’ python 线程池的使用

最近在做一个爬虫相关的项目，单线程的整站爬虫，耗时真的不是一般的巨大，运行一次也是心累，，，所以，要想实现整站爬虫，多线程是不可避免的，那么python多线程又应该怎样实现呢？这里主要要几个问题（关于python多线程的GIL问题就不再说了，网上太多了）。

一、 既然多线程可以缩短程序运行时间，那么，是不是线程数量越多越好呢？

显然，并不是，每一个线程的从生成到消亡也是需要时间和资源的，太多的线程会占用过多的系统资源（内存开销，cpu开销），而且生成太多的线程时间也是可观的，很可能会得不偿失，这里给出一个最佳线程数量的计算方式：

最佳线程数的获取：

1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间

2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测，一般这个值的附近应该就是最佳线程数量。

二、为什么要使用线程池？

对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控，例如，整站爬虫，假设初始只有一个链接a，那么，这个时候只启动一个线程，运行之后，得到这个链接对应页面上的b，c，d，，，等等新的链接，作为新任务，这个时候，就要为这些新的链接生成新的线程，线程数量暴涨。在之后的运行中，线程数量还会不停的增加，完全无法控制。所以，对于任务数量不端增加的程序，固定线程数量的线程池是必要的。

三、如何使用线程池
过去使用threadpool模块，现在一般使用concurrent.futures模块，这个模块是python3中自带的模块，但是，python2.7以上版本也可以安装使用，具体使用方式如下：

注意到：
concurrent.futures.ThreadPoolExecutor，在提交任务的时候，有两种方式，一种是submit（）函数，另一种是map（）函数，两者的主要区别在于：

‘贰’ python需要设置哪些环境变量我只知道一个PYTHONHOME指向安装目录。

1、首先，右键点击-计算机（此电脑），点击进入属性，如图所示。

‘叁’ Python安装PyQt5时遇到这个问题该怎么解决

linux系统下Qt5编译好的程序在未安装Qt的系统下运行会报以下错误：
This application failed to start because it could not find or load the Qt platform plugin "xcb".

Reinstalling the application may fix this problem.
出现这个错误，主要是因为qt5为了在多平台下更方便移植，使用了一种新的技术-----platform abstraction system (QPA)，而它中的库又依赖于Qt5中的一个库文件libQt5DBus.so.5，所以，只要打包时只要加上这个文件就可以了。
linux下qt5程序打包步骤如下
1、把以下7个库文件放到/usr/lib目录下

libQt5Widgets.so.5
libQt5Gui.so.5
libQt5Core.so.5
libicui18n.so.51
libicuuc.so.51
libicudata.so.51
libQt5DBus.so.5
2、拷贝Qt5安装目录中的platforms目录，使它和你的Qt程序同级目录
现在你可以双击你的程序运行了呵呵

‘肆’ python多线程thread.start_new_thread传参的问题

因为thread.start_new_thread(ssh_cmd,(3,))开的线程会和主线程一起结束，所以等不到执行print number 程序就结束了

‘伍’ python threading模块，生成多线程之后，怎么得到线程执行完成后return出的字符串呢

多线程/多进程都是通讯或者回调，而不是直接返回结果。这个很容易理解的，因为如果你用返回结果来给一个变量赋值，你就必须等待这个函数结束，你这个程序就阻塞了，这就失去了多线程/多进程防止阻塞的意义了。
通讯可以是事件驱动或者用线程安全的数据结构来传递数据（比如Queue，也可以是消息队列0mq，rabbitMQ之类），回调就是你一个程序执行完成后调用另外一个函数来处理接下来怎么做。