Ⅰ python多进程并行操作-multiprocessing简单使用
Python的multiprocessing库是实现多进程操作的重要工具，它提供了一致的本地和远程进程处理方法，避免全局解释锁带来的限制。尤其在Unix和Windows系统中，它能有效利用多核资源。然而，要注意的是，某些模块的共享功能依赖于操作系统支持，且在子进程中的导入可能受限于__main__模块的限制。
在multiprocessing中，核心是Process类，通过实例化并调用start()方法来启动新的进程。每个进程都有独立的ID，确保任务独立执行。Windows系统中，确保在__name__ == '__main__'条件下启动进程至关重要。
进程间通信主要通过Queues（线程和进程安全）和Pipes（双向连接，需要妥善管理同步以防数据混乱）两种方式。通过这些机制，进程间可以安全地交换和同步数据。
同步和数据共享是并发编程的关键。multiprocessing提供了锁和其他同步工具，以确保正确地打印输出和共享状态。尽量避免共享状态，若需使用，可以借助Value和Array进行共享内存，或通过Manager()创建代理服务器进行服务进程管理，后者更灵活但效率稍低。
工作进程池，如Pool类，可以将任务分发给工作进程执行，但使用时需注意方法仅限于创建进程的上下文。
Ⅱ python并发编程之多进程方式(multiprocessing模块)
进程与线程概述，进程是运行起来的车间，线程相当于是车间的工人。每个进程至少存在一个线程。要提高生产效率，可以采用进程和线程。
进程与线程的关系，进程是独立的，每个进程至少有一个线程。线程之间共享数据，但进程之间不共享。
进程创建，使用python的multiprocessing模块可以创建多进程。通过Process方法创建子进程，子进程独立运行，主进程和子进程之间没有执行顺序。
多进程执行，通过multiprocessing模块的Process方法创建两个子进程，并在主程序中统计开始和结束时间。子进程输出开始和结束时间后，主程序继续执行，不会等待子进程。
多进程关系，主进程与各子进程独立，子进程占用硬件资源，主进程执行速度快于子进程。两个子进程同时完成，因执行序列相同。
使用join方法，join方法让主进程等待子进程执行完毕。若不需要等待子进程，可以不使用join方法。
循环创建子进程，多进程场景常与循环搭配使用。在主程序中使用循环创建多个子进程，实现并发执行。
Ⅲ Python进阶：聊聊IO密集型任务、计算密集型任务，以及多线程、多进程
Python中常见的并发方式有：多线程和多进程。多线程适用于IO密集型任务，而多进程适用于计算密集型任务。
在Python中，多线程是通过在单个进程中启动多个线程实现的。然而，由于全局解释锁（GIL）的存在，Python的多线程实际上是“交替执行”，而非真正并行。因此，对于计算密集型任务，多线程并不理想。
相比之下，多进程能够充分利用CPU资源，特别是对于计算密集型任务。Python提供了多进程接口，如multiprocessing模块，支持创建进程、传递数据等。进程之间的交互通过管道或队列完成。
为直观展示多线程与多进程的适用场景，以IO密集型任务为例。首先，定义队列和初始化队列的函数。接着，分别实现IO密集型任务与计算密集型任务，从队列获取任务数据。通过对比不同并发方式的执行用时，可以发现，多线程适用于IO密集型任务，而多进程在计算密集型任务上表现更优。
实际操作中，通过实例代码进行验证，对比多线程、多进程执行相同任务的时间，发现多进程在计算密集型任务上显着提高了效率。
代码实例和详细实验结果已上传至GitHub，欢迎访问：xianhu/LearnPython。如果您对Python的多线程、多进程有任何疑问或建议，欢迎在GitHub页面参与讨论。让我们一起交流学习，共同进步。
Ⅳ python并发编程-进程池
在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。多进程是实现并发的手段之一，需要注意的问题是：
例如当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个。。。手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。
我们就可以通过维护一个进程池来控制进程数目，比如httpd的进程模式，规定最小进程数和最大进程数..
ps： 对于远程过程调用的高级应用程序而言，应该使用进程池，Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，就重用进程池中的进程。
创建进程池的类：如果指定numprocess为3，则进程池会从无到有创建三个进程，然后自始至终使用这三个进程去执行所有任务，不会开启其他进程
参数介绍：
方法介绍：
主要方法：
其他方法（了解部分）
应用：
发现：并发开启多个客户端，服务端同一时间只有3个不同的pid，干掉一个客户端，另外一个客户端才会进来，被3个进程之一处理
回调函数：
需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数
我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。
如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数
Ⅳ python并发编程之多进程方式(multiprocessing模块)
Python的并发编程提供了多进程方式来提高效率，通过multiprocessing模块实现。下面将详细阐述进程与线程的区别，以及如何使用多进程来优化任务执行。
在并发编程中，进程就像工厂的车间，每个车间运行一个独立的线程，即工人。为了提升生产效率，我们需要理解进程和线程的协作与独立性。
首先，我们通过串行执行程序，将两个数值传递给func函数，逐个处理。这展示了单进程的工作方式，随后引入多进程。Python的multiprocessing模块允许我们创建多个并行运行的进程。通过Process类，我们创建子进程，它们独立于主进程，没有执行顺序，如下面的代码所示：
python
import multiprocessing as mp
# 创建子进程
p1 = mp.Process(target=func, args=(数值1,))
p2 = mp.Process(target=func, args=(数值2,))
主进程在子进程启动后继续执行，由于子进程各自独立轮询，主进程完成的时间会早于子进程。当子进程轮询序列相同时，它们会同时完成，如代码中所述：
python
# 使用join方法等待子进程结束
p1.start()
p2.start()
p1.join()
p2.join()
在实际应用中，尤其是需要处理大量数据或任务的场景，我们可以使用循环来创建多个子进程，以进一步提高效率。通过多进程方式，Python为我们提供了一种高效且灵活的并发解决方案。