python并发

1. python简单的并发问题

• #!/usr/bin/envpython#-*-coding:utf-8-*-#author:ChanghuaGongimporttime,threading#fromurllib.requestimportRequest,urlopenpy3#fromurllib.#URLreq=urllib2.Request('http://47.93.169.69:10080/pigeon-web/user/user

• #!/usr/bin/env python

  # -*- coding:utf-8 -*-

  # author: Changhua Gong

  import time,threading

  # from urllib.request import Request, urlopen py3

  # from urllib.error import URLError py3

  import urllib2

  #URL

  req = urllib2.Request('http://47.93.169.69:10080/pigeon-web/user/userExtraInfo?userId=1')

  #

  rule = {0:500,1:30}

  '''

  Rule规则:0:50,第一次运行不睡眠即为0,直接并发50次;1:20,第二秒,相当于睡眠1秒,然后并发20次,

  如第三秒需并发500次,则rule = {0:50,1:20,1:500}

  '''

  #Open url

  def geturl():

  time_b = time.time()

  try:

  response = urllib2.urlopen(req)

  print(response.read().decode("utf-8")) # 打印输出内容

  except urllib2.URLError as e:

  if hasattr(e, 'reason'):

  print('We failed to reach a server.')

  print('Reason: ', e.reason)

  elif hasattr(e, 'code'):

  print('The server couldn/'t fulfill the request.')

  print('Error code: ', e.code)

  time_e = time.time()

  print("Thread %s runned for %ss" % (threading.current_thread().name, (time_e - time_b))) #线程访问时效

  if __name__=='__main__':

  for k in rule:

  time.sleep(k)

  for i in range(rule[k]):

  t = threading.Thread(target=geturl)

  t.start()

2. python并发和java并发的区别

使用tornado的前提是你的服务是IO密集型的，并且你得写异步api，也可以请参考我签名中的框架，把tornado改造成eventloop+threadpool (GitHub - nikoloss/iceworld: tonado的multi-thread 多线程封装)。我们公司的android ios wap后台全是这套框架在提供服务。目前已经切换到一个分布式http响应群组里面了，此时tornado只是作为一个中继的gateway存在：GitHub - nikoloss/cellnest: 分布式service

在没有阻塞的情况下，python的性能肯定不如编译型语言。这种全异步的模型的优势也无法体现出来，一旦有IO操作了，这种全异步模型的第一步accpet新连接的操作并不会暂停，也就是只要有内容抵达，至少ioloop这个环节是可以照单全收的，接收之后协程处理，随着并发量增长它的性能下降是平稳且平滑的。反观线程模型，如果消费数据赶不上新连接新数据的生产，性能就会直线下降。

你的700qps差不多，你可以换3.1或者3.2的tornado试试，1100~1400应该可以跑出来。当然追求一个静态文本的输出性能是否有必要，我觉得实际情况比这种单纯的压测要复杂的多。

3. 如何使用Python实现并发编程

多线程几乎是每一个程序猿在使用每一种语言时都会首先想到用于解决并发的工具（JS程序员请回避），使用多线程可以有效的利用CPU资源（Python例外）。然而多线程所带来的程序的复杂度也不可避免，尤其是对竞争资源的同步问题。

然而在python中由于使用了全局解释锁（GIL）的原因，代码并不能同时在多核上并发的运行，也就是说，Python的多线程不能并发，很多人会发现使用多线程来改进自己的Python代码后，程序的运行效率却下降了，这是多么蛋疼的一件事呀！如果想了解更多细节，推荐阅读这篇文章。实际上使用多线程的编程模型是很困难的，程序员很容易犯错，这并不是程序员的错误，因为并行思维是反人类的，我们大多数人的思维是串行（精神分裂不讨论），而且冯诺依曼设计的计算机架构也是以顺序执行为基础的。所以如果你总是不能把你的多线程程序搞定，恭喜你，你是个思维正常的程序猿：）

Python提供两组线程的接口，一组是thread模块，提供基础的，低等级（Low Level）接口，使用Function作为线程的运行体。还有一组是threading模块，提供更容易使用的基于对象的接口（类似于Java），可以继承Thread对象来实现线程，还提供了其它一些线程相关的对象，例如Timer，Lock

使用thread模块的例子
import thread

def worker():
"""thread worker function"""
print 'Worker'
thread.start_new_thread(worker)
使用threading模块的例子
import threading
def worker():
"""thread worker function"""
print 'Worker'
t = threading.Thread(target=worker)
t.start()
或者Java Style
import threading

class worker(threading.Thread):
def __init__(self):
pass
def run():
"""thread worker function"""
print 'Worker'

t = worker()
t.start()

4. 如何优雅的编写Python并发程序

在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并
且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.

这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费.

据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL的解释器,遂放弃.后来Python官方推出了"利
用多进程替代多线程"的方案,在Python3中也有concurrent.futures这样的包,让我们的程序编写可以做到"简单和性能兼得".

多进程/多线程+Queue

一般来说,在Python中编写并发程序的经验是:计算密集型任务使用多进程,IO密集型任务使用多进程或者多线程.另外,因为涉及到资源共享,所
以需要同步锁等一系列麻烦的步骤,代码编写不直观.另外一种好的思路是利用多进程/多线程+Queue的方法,可以避免加锁这样麻烦低效的方式.

现在在Python2中利用Queue+多进程的方法来处理一个IO密集型任务.

假设现在需要下载多个网页内容并进行解析,单进程的方式效率很低,所以使用多进程/多线程势在必行.

5. python gevent 能解决并发状态吗

1. gevent.server.StreamServer 会针对每个客户端连接启动一个greenlet处理，要注意的是，如果不循环监听( 阻塞在read )，

每个greenlet会在完成后立即退出，从而导致客户端退出( 发送FIN_ACK给客户端 )。这个问题折腾了一晚上，终于弄明白了。坑爹啊。。。

2. 要非常仔细的检查，greenlet处理的代码，发现有可能阻塞IO的地方，尽量用gevent提供的库。

3. 一些第三方库隐藏了自己的实现( 通常是直接封装C库），要使得gevent兼容它们，可以用monkey_patch，但不保证全部管用。

4. 最后最后的一点，gevent的greenlet性能非常高，所以如果是用它作为并发的client端，那么一定要注意，你的server端处理速度一定要足够快！
否则你的客户端代码会因为服务端的慢速，而失去了greenlet的优势。

6. Python 多线程并发控制问题

我想问问看你说的”访问一个站点“是什么意思，是下载一个文件吗？还是需要submit一些表单上去还是其他什么访问法？还有多线程是用来干什么的？是多个线程同时下载一个文件让这个文件可以下载得更快吗？还是其他什么目的？
本身python访问web就很简单，urllib的几个函数一调用就好了，不过不清楚你想要做什么，所以我感觉不知道怎么回答你。

7. Python有哪些并发方案

协程。
python的爬虫scrapy就是采用了协程。
具体看《流程的python》第十六章。

8. 并发和并行的区别 python

并发：就是同时做多件事情。

例如：终端用户程序利用并发功能，在输入数据的同时响应用户输入。服务器利用并发，在处理第一个请求的同时响应第二个请求。只要你希望程序同时做多件事情，就需要并发。

很多人看到“并发”就会想到“多线程”，其实他们是有区别的。多线程只是并发的一种形式，但不是唯一形式

并行：就是把正在执行的大量任务分割成小块，分配给多个同时运行的线程。

一般情况下，为了让CPU充分利用，并行处理都会采用多线程。

所以说：并行处理是多线程的一种，而多线程是并发的一种。

还有一种非常重要但很多人不熟悉的并发类型：异步编程，它也是并发的一种形式。

9. 如何在Python中编写并发程序

GIL

在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并
且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.

这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费.

据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL的解释器,遂放弃.后来Python官方推出了"利
用多进程替代多线程"的方案,在Python3中也有concurrent.futures这样的包,让我们的程序编写可以做到"简单和性能兼得".

多进程/多线程+Queue

一般来说,在Python中编写并发程序的经验是:计算密集型任务使用多进程,IO密集型任务使用多进程或者多线程.另外,因为涉及到资源共享,所
以需要同步锁等一系列麻烦的步骤,代码编写不直观.另外一种好的思路是利用多进程/多线程+Queue的方法,可以避免加锁这样麻烦低效的方式.

现在在Python2中利用Queue+多进程的方法来处理一个IO密集型任务.

假设现在需要下载多个网页内容并进行解析,单进程的方式效率很低,所以使用多进程/多线程势在必行.
我们可以先初始化一个tasks队列,里面将要存储的是一系列dest_url,同时开启4个进程向tasks中取任务然后执行,处理结果存储在一个results队列中,最后对results中的结果进行解析.最后关闭两个队列.

下面是一些主要的逻辑代码.

# -*- coding:utf-8 -*-

#IO密集型任务
#多个进程同时下载多个网页
#利用Queue+多进程
#由于是IO密集型,所以同样可以利用threading模块

import multiprocessing

def main():
tasks = multiprocessing.JoinableQueue()
results = multiprocessing.Queue()
cpu_count = multiprocessing.cpu_count() #进程数目==CPU核数目

create_process(tasks, results, cpu_count) #主进程马上创建一系列进程,但是由于阻塞队列tasks开始为空,副进程全部被阻塞
add_tasks(tasks) #开始往tasks中添加任务
parse(tasks, results) #最后主进程等待其他线程处理完成结果

def create_process(tasks, results, cpu_count):
for _ in range(cpu_count):
p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根据_worker创建对应的进程
p.daemon = True #让所有进程可以随主进程结束而结束
p.start() #启动

def _worker(tasks, results):
while True: #因为前面所有线程都设置了daemon=True,故不会无限循环
try:
task = tasks.get() #如果tasks中没有任务,则阻塞
result = _download(task)
results.put(result) #some exceptions do not handled
finally:
tasks.task_done()

def add_tasks(tasks):
for url in get_urls(): #get_urls() return a urls_list
tasks.put(url)

def parse(tasks, results):
try:
tasks.join()
except KeyboardInterrupt as err:
print "Tasks has been stopped!"
print err

while not results.empty():
_parse(results)

if __name__ == '__main__':
main()

利用Python3中的concurrent.futures包

在Python3中可以利用concurrent.futures包,编写更加简单易用的多线程/多进程代码.其使用感觉和Java的concurrent框架很相似(借鉴?)
比如下面的简单代码示例

def handler():
futures = set()

with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:
for task in get_task(tasks):
future = executor.submit(task)
futures.add(future)

def wait_for(futures):
try:
for future in concurrent.futures.as_completed(futures):
err = futures.exception()
if not err:
result = future.result()
else:
raise err
except KeyboardInterrupt as e:
for future in futures:
future.cancel()
print "Task has been canceled!"
print e
return result

总结

要是一些大型Python项目也这般编写,那么效率也太低了.在Python中有许多已有的框架使用,使用它们起来更加高效.

10. Python进程之并行与并发的区别

并行 :

当系统有一个以上CPU时，则进程的操作有可能非并发。当一个CPU执行一个进程时，另一个CPU可以执行另一个进程，两个进程互不抢占CPU资源，可以同时进行，这种方式我们称之为并行。

并发 :

当有多个进程在操作时，如果系统只有一个CPU，则它根本不可能真正同时执行一个以上的进程，它只能把CPU运行时间划分成若干个时间段，再将时间 段分配给各个进程执行，在一个时间段的进程代码运行时，其它进程处于挂起状，这种方式我们称之为并发。

区别：

并发和并行是即相似又有区别的两个概念，并行是指两个或者多个事件在同一时刻同时执行，而并发是指两个或多个事件通过时间片轮流被执行。在多道程序环境下，并发性是指在一段时间内宏观上有多个程序在同时运行，但在单核CPU中，同一时刻仅能有一道程序执行，故微观上这些程序只能是分时地交替执行。倘若在计算机中有多个CPU，则这些可以并发执行的程序便可被分配到多个处理机上，实现并行执行，即利用每个处理机来处理一个可并发执行的程序，这样，多个程序便可以同时执行。

相关推荐：《Python视频教程》

进程的状态如下图所示

在了解其他概念之前，我们首先要了解进程的几个状态。在程序运行的过程中，由于被操作系统的调度算法控制，程序会进入几个状态：就绪，运行和阻塞。

（1）就绪(Ready)状态

当进程已分配到除CPU以外的所有必要的资源，只要获得处理机便可立即执行，这时的进程状态称为就绪状态。

（2）执行/运行（Running）状态当进程已获得处理机，其程序正在处理机上执行，此时的进程状态称为执行状态。

（3）阻塞(Blocked)状态正在执行的进程，由于等待某个事件发生而无法执行时，便放弃处理机而处于阻塞状态。引起进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。

相关推荐：

一文带你读懂Python中的进程