python多线程限制

‘壹’ python 如何控制多线程数量

import requests, timefrom threading import Threadclass MyThread(Thread):
def __init__(self, url):
Thread.__init__(self)
self.url = url def run(self):
open_url(self.url)def open_url(url):
r = requests.get(url[:-1])
print(r.status_code)
print(url) # return urlif __name__ == '__main__': with open("E:/all_domain.txt",'r') as f:
t_start = time.time()
threads = [] for url in f:
t = MyThread(url)
threads.append(t)
t.start()
print(len(threads)) for i in threads:
i.join()
t_end = time.time()
print('the thread way take %s s' % (t_end - t_start))

‘贰’ Python使用多线程爬取网页时，如果服务器设置了线程限制怎么办呢

有道的API有限制，同一IP访问频率不可过高，你可以更换IP访问试试，也可以每个线程中sleep几秒

‘叁’ Python 多线程并发控制问题

我想问问看你说的”访问一个站点“是什么意思，是下载一个文件吗？还是需要submit一些表单上去还是其他什么访问法？还有多线程是用来干什么的？是多个线程同时下载一个文件让这个文件可以下载得更快吗？还是其他什么目的？
本身python访问web就很简单，urllib的几个函数一调用就好了，不过不清楚你想要做什么，所以我感觉不知道怎么回答你。

‘肆’ Python多线程的一些问题

python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading 得到了弥补，为了不浪费你和时间，所以我们直接学习threading 就可以了。
继续对上面的例子进行改造，引入threadring来同时播放音乐和视频：
#coding=utf-8import threadingfrom time import ctime,sleepdef music(func): for i in range(2): print "I was listening to %s. %s" %(func,ctime())
sleep(1)def move(func): for i in range(2): print "I was at the %s! %s" %(func,ctime())
sleep(5)

threads = []
t1 = threading.Thread(target=music,args=(u'爱情买卖',))
threads.append(t1)
t2 = threading.Thread(target=move,args=(u'阿凡达',))
threads.append(t2)if __name__ == '__main__': for t in threads:
t.setDaemon(True)
t.start() print "all over %s" %ctime()

import threading
首先导入threading 模块，这是使用多线程的前提。

threads = []
t1 = threading.Thread(target=music,args=(u'爱情买卖',))
threads.append(t1)
创建了threads数组，创建线程t1,使用threading.Thread()方法，在这个方法中调用music方法target=music，args方法对music进行传参。 把创建好的线程t1装到threads数组中。
接着以同样的方式创建线程t2，并把t2也装到threads数组。

for t in threads:
t.setDaemon(True)
t.start()
最后通过for循环遍历数组。（数组被装载了t1和t2两个线程）

setDaemon()
setDaemon(True)将线程声明为守护线程，必须在start() 方法调用之前设置，如果不设置为守护线程程序会被无限挂起。子线程启动后，父线程也继续执行下去，当父线程执行完最后一条语句print "all over %s" %ctime()后，没有等待子线程，直接就退出了，同时子线程也一同结束。

start()
开始线程活动。

运行结果：
>>> ========================= RESTART ================================
>>> I was listening to 爱情买卖. Thu Apr 17 12:51:45 2014 I was at the 阿凡达! Thu Apr 17 12:51:45 2014 all over Thu Apr 17 12:51:45 2014

从执行结果来看，子线程（muisc 、move ）和主线程（print "all over %s" %ctime()）都是同一时间启动，但由于主线程执行完结束，所以导致子线程也终止。

继续调整程序：
...if __name__ == '__main__': for t in threads:
t.setDaemon(True)
t.start()

t.join() print "all over %s" %ctime()

我们只对上面的程序加了个join()方法，用于等待线程终止。join（）的作用是，在子线程完成运行之前，这个子线程的父线程将一直被阻塞。
注意: join()方法的位置是在for循环外的，也就是说必须等待for循环里的两个进程都结束后，才去执行主进程。
运行结果：
>>> ========================= RESTART ================================
>>> I was listening to 爱情买卖. Thu Apr 17 13:04:11 2014 I was at the 阿凡达! Thu Apr 17 13:04:11 2014I was listening to 爱情买卖. Thu Apr 17 13:04:12 2014I was at the 阿凡达! Thu Apr 17 13:04:16 2014all over Thu Apr 17 13:04:21 2014

从执行结果可看到，music 和move 是同时启动的。
开始时间4分11秒，直到调用主进程为4分22秒，总耗时为10秒。从单线程时减少了2秒，我们可以把music的sleep()的时间调整为4秒。
...def music(func): for i in range(2): print "I was listening to %s. %s" %(func,ctime())
sleep(4)
...

子线程启动11分27秒，主线程运行11分37秒。
虽然music每首歌曲从1秒延长到了4 ，但通多程线的方式运行脚本，总的时间没变化。

‘伍’ Python 的多线程问题。。

python 的GIL规定每个时刻只能有一个线程访问python虚拟机，所以你要用python的多线程来做计算是很不合算的，但是对于IO密集型的应用，例如网络交互来说，python的多线程还是非常给力的。
如果你是一个计算密集型的任务，非要用python来并行执行的话，有以下几个方法：
1 使用python的multiprocessing 模块，能够发挥多核的优势。
2 使用ironPython，但是这个只能在windows下用
3 使用pypy，这个可以实现真正的多线程。

‘陆’ python多个线程锁可提高效率吗

首先，Python的多线程本身就是效率极低的，因为有GIL（Global Interpreter Lock：全局解释锁）机制的限制，其作用简单说就是：对于一个解释器，只能有一个线程在执行bytecode。
所以如果为了追求传统意义上多线程的效率，在Python界还是用多进程（multiprocessing)吧……
这里你用了多线程，且用了锁来控制公共资源，首先锁这个东西会导致死锁，不加锁反而没有死锁隐患，但会有同步问题。
另外，如果不同线程操作的是不同的文件，是不存在同步问题的，如果操作同一个文件，我建议采用Queue（队列）来处理。
总的来说，用单线程就好了，因为Python多线程本身就没什么效率，而且单线程也不用考虑同步问题了。非要追求效率的话，就用多进程吧，同样也要考虑进程锁。

‘柒’ python 线程过多怎么处理

一般来说，多线程模式下，建议主线程只处理线程本身的调度，不去处理具体业务。通常在创建线程后，join等待所有线程退出。 就题主的问题，可以创建线程一、二之后，主线程等待线程一退出，之后用sys.exit退出。

‘捌’ python 怎么实现多线程的

线程也就是轻量级的进程，多线程允许一次执行多个线程，Python是多线程语言，它有一个多线程包，GIL也就是全局解释器锁，以确保一次执行单个线程，一个线程保存GIL并在将其传递给下一个线程之前执行一些操作，也就产生了并行执行的错觉。

‘玖’ 为什么有人说 Python 的多线程是鸡肋

因为 Python 中臭名昭着的 GIL。

那么 GIL 是什么？为什么会有 GIL？多线程真的是鸡肋吗？ GIL 可以去掉吗？带着这些问题，我们一起往下看，同时需要你有一点点耐心。

多线程是不是鸡肋，我们先做个实验，实验非常简单，就是将数字 “1亿” 递减，减到 0 程序就终止，这个任务如果我们使用单线程来执行，完成时间会是多少？使用多线程又会是多少？show me the code

那么把 GIL 去掉可行吗？

还真有人这么干多，但是结果令人失望，在1999年Greg Stein 和Mark Hammond 两位哥们就创建了一个去掉 GIL 的 Python 分支，在所有可变数据结构上把 GIL 替换为更为细粒度的锁。然而，做过了基准测试之后，去掉GIL的 Python 在单线程条件下执行效率将近慢了2倍。

Python之父表示：基于以上的考虑，去掉GIL没有太大的价值而不必花太多精力。