Ⅰ python多進程並行操作-multiprocessing簡單使用
Python的multiprocessing庫是實現多進程操作的重要工具，它提供了一致的本地和遠程進程處理方法，避免全局解釋鎖帶來的限制。尤其在Unix和Windows系統中，它能有效利用多核資源。然而，要注意的是，某些模塊的共享功能依賴於操作系統支持，且在子進程中的導入可能受限於__main__模塊的限制。
在multiprocessing中，核心是Process類，通過實例化並調用start()方法來啟動新的進程。每個進程都有獨立的ID，確保任務獨立執行。Windows系統中，確保在__name__ == '__main__'條件下啟動進程至關重要。
進程間通信主要通過Queues（線程和進程安全）和Pipes（雙向連接，需要妥善管理同步以防數據混亂）兩種方式。通過這些機制，進程間可以安全地交換和同步數據。
同步和數據共享是並發編程的關鍵。multiprocessing提供了鎖和其他同步工具，以確保正確地列印輸出和共享狀態。盡量避免共享狀態，若需使用，可以藉助Value和Array進行共享內存，或通過Manager()創建代理伺服器進行服務進程管理，後者更靈活但效率稍低。
工作進程池，如Pool類，可以將任務分發給工作進程執行，但使用時需注意方法僅限於創建進程的上下文。
Ⅱ python並發編程之多進程方式(multiprocessing模塊)
進程與線程概述，進程是運行起來的車間，線程相當於是車間的工人。每個進程至少存在一個線程。要提高生產效率，可以採用進程和線程。
進程與線程的關系，進程是獨立的，每個進程至少有一個線程。線程之間共享數據，但進程之間不共享。
進程創建，使用python的multiprocessing模塊可以創建多進程。通過Process方法創建子進程，子進程獨立運行，主進程和子進程之間沒有執行順序。
多進程執行，通過multiprocessing模塊的Process方法創建兩個子進程，並在主程序中統計開始和結束時間。子進程輸出開始和結束時間後，主程序繼續執行，不會等待子進程。
多進程關系，主進程與各子進程獨立，子進程佔用硬體資源，主進程執行速度快於子進程。兩個子進程同時完成，因執行序列相同。
使用join方法，join方法讓主進程等待子進程執行完畢。若不需要等待子進程，可以不使用join方法。
循環創建子進程，多進程場景常與循環搭配使用。在主程序中使用循環創建多個子進程，實現並發執行。
Ⅲ Python進階：聊聊IO密集型任務、計算密集型任務，以及多線程、多進程
Python中常見的並發方式有：多線程和多進程。多線程適用於IO密集型任務，而多進程適用於計算密集型任務。
在Python中，多線程是通過在單個進程中啟動多個線程實現的。然而，由於全局解釋鎖（GIL）的存在，Python的多線程實際上是「交替執行」，而非真正並行。因此，對於計算密集型任務，多線程並不理想。
相比之下，多進程能夠充分利用CPU資源，特別是對於計算密集型任務。Python提供了多進程介面，如multiprocessing模塊，支持創建進程、傳遞數據等。進程之間的交互通過管道或隊列完成。
為直觀展示多線程與多進程的適用場景，以IO密集型任務為例。首先，定義隊列和初始化隊列的函數。接著，分別實現IO密集型任務與計算密集型任務，從隊列獲取任務數據。通過對比不同並發方式的執行用時，可以發現，多線程適用於IO密集型任務，而多進程在計算密集型任務上表現更優。
實際操作中，通過實例代碼進行驗證，對比多線程、多進程執行相同任務的時間，發現多進程在計算密集型任務上顯著提高了效率。
代碼實例和詳細實驗結果已上傳至GitHub，歡迎訪問：xianhu/LearnPython。如果您對Python的多線程、多進程有任何疑問或建議，歡迎在GitHub頁面參與討論。讓我們一起交流學習，共同進步。
Ⅳ python並發編程-進程池
在利用Python進行系統管理的時候，特別是同時操作多個文件目錄，或者遠程式控制制多台主機，並行操作可以節約大量的時間。多進程是實現並發的手段之一，需要注意的問題是：
例如當被操作對象數目不大時，可以直接利用multiprocessing中的Process動態成生多個進程，十幾個還好，但如果是上百個，上千個。。。手動的去限制進程數量卻又太過繁瑣，此時可以發揮進程池的功效。
我們就可以通過維護一個進程池來控制進程數目，比如httpd的進程模式，規定最小進程數和最大進程數..
ps： 對於遠程過程調用的高級應用程序而言，應該使用進程池，Pool可以提供指定數量的進程，供用戶調用，當有新的請求提交到pool中時，如果池還沒有滿，那麼就會創建一個新的進程用來執行該請求；但如果池中的進程數已經達到規定最大值，那麼該請求就會等待，直到池中有進程結束，就重用進程池中的進程。
創建進程池的類：如果指定numprocess為3，則進程池會從無到有創建三個進程，然後自始至終使用這三個進程去執行所有任務，不會開啟其他進程
參數介紹：
方法介紹：
主要方法：
其他方法（了解部分）
應用：
發現：並發開啟多個客戶端，服務端同一時間只有3個不同的pid，幹掉一個客戶端，另外一個客戶端才會進來，被3個進程之一處理
回調函數：
需要回調函數的場景：進程池中任何一個任務一旦處理完了，就立即告知主進程：我好了額，你可以處理我的結果了。主進程則調用一個函數去處理該結果，該函數即回調函數
我們可以把耗時間（阻塞）的任務放到進程池中，然後指定回調函數（主進程負責執行），這樣主進程在執行回調函數時就省去了I/O的過程，直接拿到的是任務的結果。
如果在主進程中等待進程池中所有任務都執行完畢後，再統一處理結果，則無需回調函數
Ⅳ python並發編程之多進程方式(multiprocessing模塊)
Python的並發編程提供了多進程方式來提高效率，通過multiprocessing模塊實現。下面將詳細闡述進程與線程的區別，以及如何使用多進程來優化任務執行。
在並發編程中，進程就像工廠的車間，每個車間運行一個獨立的線程，即工人。為了提升生產效率，我們需要理解進程和線程的協作與獨立性。
首先，我們通過串列執行程序，將兩個數值傳遞給func函數，逐個處理。這展示了單進程的工作方式，隨後引入多進程。Python的multiprocessing模塊允許我們創建多個並行運行的進程。通過Process類，我們創建子進程，它們獨立於主進程，沒有執行順序，如下面的代碼所示：
python
import multiprocessing as mp
# 創建子進程
p1 = mp.Process(target=func, args=(數值1,))
p2 = mp.Process(target=func, args=(數值2,))
主進程在子進程啟動後繼續執行，由於子進程各自獨立輪詢，主進程完成的時間會早於子進程。當子進程輪詢序列相同時，它們會同時完成，如代碼中所述：
python
# 使用join方法等待子進程結束
p1.start()
p2.start()
p1.join()
p2.join()
在實際應用中，尤其是需要處理大量數據或任務的場景，我們可以使用循環來創建多個子進程，以進一步提高效率。通過多進程方式，Python為我們提供了一種高效且靈活的並發解決方案。