㈠ python可以多進程嗎
想要充分利用多核CPU資源，Python中大部分情況下都需要使用多進程，Python中提供了multiprocessing這個包實現多進程。multiprocessing支持子進程、進程間的同步與通信，提供了Process、Queue、Pipe、Lock等組件。
開辟子進程
multiprocessing中提供了Process類來生成進程實例
Process([group [, target [, name [, args [, kwargs]]]]])
group分組，實際上不使用
target表示調用對象，你可以傳入方法的名字
args表示給調用對象以元組的形式提供參數，比如target是函數a，他有兩個參數m，n，那麼該參數為args=(m, n)即可
kwargs表示調用對象的字典
name是別名，相當於給這個進程取一個名字
先來個小例子：
# -*- coding:utf-8 -*-
from multiprocessing import Process, Pool
import os
import time
def run_proc(wTime):
n = 0
while n < 3:
print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime()) #獲取當前進程號和正在運行是的時間
time.sleep(wTime) #等待（休眠）
n += 1
if __name__ == "__main__":
p = Process(target=run_proc, args=(2,)) #申請子進程
p.start() #運行進程
print "Parent process run. subProcess is ", p.pid
print "Parent process end,{0}".format(time.ctime())
運行結果：
Parent process run. subProcess is 30196
Parent process end,Mon Mar 27 11:20:21 2017
subProcess 30196 run, Mon Mar 27 11:20:21 2017
subProcess 30196 run, Mon Mar 27 11:20:23 2017
subProcess 30196 run, Mon Mar 27 11:20:25 2017
根據運行結果可知，父進程運行結束後子進程仍然還在運行，這可能造成僵屍（ zombie）進程。
通常情況下，當子進程終結時，它會通知父進程，清空自己所佔據的內存，並在內核里留下自己的退出信息。父進程在得知子進程終結時，會從內核中取出子進程的退出信息。但是，如果父進程早於子進程終結，這可能造成子進程的退出信息滯留在內核中，子進程成為僵屍（zombie）進程。當大量僵屍進程積累時，內存空間會被擠占。
有什麼辦法可以避免僵屍進程呢？
這里介紹進程的一個屬性 deamon，當其值為TRUE時，其父進程結束，該進程也直接終止運行（即使還沒運行完）。
所以給上面的程序加上p.deamon = true，看看效果。
# -*- coding:utf-8 -*-
from multiprocessing import Process, Pool
import os
import time
def run_proc(wTime):
n = 0
while n < 3:
print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime())
time.sleep(wTime)
n += 1
if __name__ == "__main__":
p = Process(target=run_proc, args=(2,))
p.daemon = True #加入daemon
p.start()
print "Parent process run. subProcess is ", p.pid
print "Parent process end,{0}".format(time.ctime())
執行結果：
Parent process run. subProcess is 31856
Parent process end,Mon Mar 27 11:40:10 2017
這是問題又來了，子進程並沒有執行完，這不是所期望的結果。有沒辦法將子進程執行完後才讓父進程結束呢？
這里引入p.join()方法，它使子進程執行結束後，父進程才執行之後的代碼
# -*- coding:utf-8 -*-
from multiprocessing import Process, Pool
import os
import time
def run_proc(wTime):
n = 0
while n < 3:
print "subProcess %s run," % os.getpid(), "{0}".format(time.ctime())
time.sleep(wTime)
n += 1
if __name__ == "__main__":
p = Process(target=run_proc, args=(2,))
p.daemon = True
p.start()
p.join() #加入join方法
print "Parent process run. subProcess is ", p.pid
print "Parent process end,{0}".format(time.ctime())
執行結果：
subProcess 32076 run, Mon Mar 27 11:46:07 2017
subProcess 32076 run, Mon Mar 27 11:46:09 2017
subProcess 32076 run, Mon Mar 27 11:46:11 2017
Parent process run. subProcess is 32076
Parent process end,Mon Mar 27 11:46:13 2017
這樣所有的進程就能順利的執行了。
㈡ python進程池最大數量
初始化Pool時，可以指定一個最大進程數，當和脊頌有新的請求提交到Pool中時，如果池還沒有滿，那麼野歲就會創建一個新的進程用來執行該請求；但如果池中的進程數已經達到指定的喚鄭最大值，那麼該請求就會等待，直到池中有進程結束，才會用之前的進程來執行新的任務。
㈢ Python中的多進程與多線程/分布式該如何使用
Python提供了非常好用的多進程包multiprocessing，你只需要定義一個函數，Python會替你完成其他所有事情。
藉助這個包，可以輕松完成從單進程到並發執行的轉換。
1、新建單一進程
如果我們新建少量進程，可以如下：
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
if __name__ == "__main__":
p = multiprocessing.Process(target=func, args=("hello", ))
p.start()
p.join()
print "Sub-process done."12345678910111213
2、使用進程池
是的，你沒有看錯，不是線程池。它可以讓你跑滿多核CPU，而且使用方法非常簡單。
注意要用apply_async，如果落下async，就變成阻塞版本了。
processes=4是最多並發進程數量。
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
if __name__ == "__main__":
pool = multiprocessing.Pool(processes=4)
for i in xrange(10):
msg = "hello %d" %(i)
pool.apply_async(func, (msg, ))
pool.close()
pool.join()
print "Sub-process(es) done."12345678910111213141516
3、使用Pool，並需要關注結果
更多的時候，我們不僅需要多進程執行，還需要關注每個進程的執行結果，如下：
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
return "done " + msg
if __name__ == "__main__":
pool = multiprocessing.Pool(processes=4)
result = []
for i in xrange(10):
msg = "hello %d" %(i)
result.append(pool.apply_async(func, (msg, )))
pool.close()
pool.join()
for res in result:
print res.get()
print "Sub-process(es) done."
2014.12.25更新
根據網友評論中的反饋，在Windows下運行有可能崩潰(開啟了一大堆新窗口、進程)，可以通過如下調用來解決：
multiprocessing.freeze_support()1
附錄（自己的腳本）：
#!/usr/bin/python
import threading
import subprocess
import datetime
import multiprocessing
def dd_test(round, th):
test_file_arg = 'of=/zbkc/test_mds_crash/1m_%s_%s_{}' %(round, th)
command = "seq 100 | xargs -i dd if=/dev/zero %s bs=1M count=1" %test_file_arg
print command
subprocess.call(command,shell=True,stdout=open('/dev/null','w'),stderr=subprocess.STDOUT)
def mds_stat(round):
p = subprocess.Popen("zbkc mds stat", shell = True, stdout = subprocess.PIPE)
out = p.stdout.readlines()
if out[0].find('active') != -1:
command = "echo '0205pm %s round mds status OK, %s' >> /round_record" %(round, datetime.datetime.now())
command_2 = "time (ls /zbkc/test_mds_crash/) 2>>/round_record"
command_3 = "ls /zbkc/test_mds_crash | wc -l >> /round_record"
subprocess.call(command,shell=True)
subprocess.call(command_2,shell=True)
subprocess.call(command_3,shell=True)
return 1
else:
command = "echo '0205 %s round mds status abnormal, %s, %s' >> /round_record" %(round, out[0], datetime.datetime.now())
subprocess.call(command,shell=True)
return 0
#threads = []
for round in range(1, 1600):
pool = multiprocessing.Pool(processes = 10) #使用進程池
for th in range(10):
# th_name = "thread-" + str(th)
# threads.append(th_name) #添加線程到線程列表
# threading.Thread(target = dd_test, args = (round, th), name = th_name).start() #創建多線程任務
pool.apply_async(dd_test, (round, th))
pool.close()
pool.join()
#等待線程完成
# for t in threads:
# t.join()
if mds_stat(round) == 0:
subprocess.call("zbkc -s",shell=True)
break
㈣ python process最多能多少個進程
由於GIL的存在，python中的多線程其實並不是真正的多線程，如果想要充分地使用多核CPU的資源，在python中大部分情況需要使用多進程。
Python提供了非常好用的多進程包multiprocessing，只需要定義一個函數，Python會完成其他所有事情。藉助這個包，可以輕松完成從單進程到並發執行的轉換。
multiprocessing支持子進程、通信和共享數據、執行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。
㈤ python並發編程-進程池
在利用Python進行系統管理的時候，特別是同時操作多個文件目錄，或者遠程式控制制多台主機，並行操作可以節約大量的時間。多進程是實現並發的手段之一，需要注意的問題是：
例如當被操作對象數目不大時，可以直接利用multiprocessing中的Process動態成生多個進程，十幾個還好，但如果是上百個，上千個。。。手動的去限制進程數量卻又太過繁瑣，此時可以發揮進程池的功效。
我們就可以通過維護一個進程池來控制進程數目，比如httpd的進程模式，規定最小進程數和最大進程數..
ps： 對於遠程過程調用的高級應用程序而言，應該使用進程池，Pool可以提供指定數量的進程，供用戶調用，當有新的請求提交到pool中時，如果池還沒有滿，那麼就會創建一個新的進程用來執行該請求；但如果池中的進程數已經達到規定最大值，那麼該請求就會等待，直到池中有進程結束，就重用進程池中的進程。
創建進程池的類：如果指定numprocess為3，則進程池會從無到有創建三個進程，然後自始至終使用這三個進程去執行所有任務，不會開啟其他進程
參數介紹：
方法介紹：
主要方法：
其他方法（了解部分）
應用：
發現：並發開啟多個客戶端，服務端同一時間只有3個不同的pid，幹掉一個客戶端，另外一個客戶端才會進來，被3個進程之一處理
回調函數：
需要回調函數的場景：進程池中任何一個任務一旦處理完了，就立即告知主進程：我好了額，你可以處理我的結果了。主進程則調用一個函數去處理該結果，該函數即回調函數
我們可以把耗時間（阻塞）的任務放到進程池中，然後指定回調函數（主進程負責執行），這樣主進程在執行回調函數時就省去了I/O的過程，直接拿到的是任務的結果。
如果在主進程中等待進程池中所有任務都執行完畢後，再統一處理結果，則無需回調函數
㈥ python multiprocessing 最大多少進程
最大進程只受操作系統資源限制.
不是進程越多越好,程序的速度就越快.
一般有幾個CPU核心,就開多少辯伍進程,或者型灶虧卜神核心數的N倍.
㈦ python 多進程
os.fork()指令會創建另外一個進程，他的輸出源也是你的python command line或者其他IDE。所以你會看見2個提示符。另外，IDE要處理那麼多輸出源，當然會很卡。還有，你連打下3次這個命令，相當於對三個進程都進行了下達指令，所以這時候你的進程數目為8(看不懂的建議看小學數學)。你的各個進程的輸出會類似於打架，所以窗口會變得很慢。
建議：用pid來區分各個進程(os.fork()在父進程會返回pid，子進程會返回0)，例如：
import os
import time
pid=os.fork()
if pid==0:
time.sleep(0.1);
print "Child."
else:
print "The child's pid is:"+str(pid)
//end
以上代碼中子進程我給他暫停0.1秒來防止與父進程的輸出「打架」，當然有更好的解決方法，由於字數限制不打出來了，具體就是鎖住輸出源，通過之後再解鎖，可以網路。
點贊、採納、轉發，素質三連，友誼你我他！
㈧ python 多進程
基於官方文檔：
https://docs.python.org/zh-cn/3/library/multiprocessing.html
日樂購，剛才看到的一個博客，寫的都不太對，還是基於官方的比較穩妥
我就是喜歡抄官方的，哈哈
通常我們使用Process實例化一個進程，並調用 他的 start() 方法啟動它。
這種方法和 Thread 是一樣的。
上圖中，我寫了 p.join() 所以主進程是 等待 子進程執行完後，才執行 print("運行結束")
否則就是反過來了（這個不一定，看你的語句了，順序其實是隨機的）例如：
主進加個 sleep
所以不加join() ,其實子進程和主進程是各干各的，誰也不等誰。都執行完後，文件運行就結束了
上面我們用了 os.getpid() 和 os.getppid() 獲取 當前進程，和父進程的id
下面就講一下，這兩個函數的用法：
os.getpid()
返回當前進程的id
os.getppid()
返回父進程的id。 父進程退出後，unix 返回初始化進程（1）中的一個
windows返回相同的id (可能被其他進程使用了)
這也就解釋了，為啥我上面 的程序運行多次， 第一次列印的parentid 都是 14212 了。
而子進程的父級 process id 是調用他的那個進程的 id ： 1940
視頻筆記：
多進程：使用大致方法：
參考： 進程通信（pipe和queue）
pool.map （函數可以有return 也可以共享內存或queue） 結果直接是個列表
poll.apply_async() （同map,只不過是一個進程，返回結果用 xx.get() 獲得）
報錯：
參考 ： https://blog.csdn.net/xiemanR/article/details/71700531
把 pool = Pool() 放到 if name == " main ": 下面初始化搞定。
結果：
這個肯定有解釋的
測試多進程計算效果：
進程池運行：
結果：
普通計算：
我們同樣傳入 1 2 10 三個參數測試：
其實對比下來開始快了一半的；
我們把循環里的數字去掉一個 0；
單進程：
多進程：
兩次測試 單進程/進程池 分別為 0.669 和 0.772 幾乎成正比的。
問題 二：
視圖：
post 視圖裡面
Music 類：
直接報錯：
寫在 類裡面也 在函數里用 self.pool 調用也不行，也是相同的錯誤。
最後 把 pool = Pool 直接寫在 search 函數裡面，奇跡出現了：
前台也能顯示搜索的音樂結果了
總結一點，進程這個東西，最好 寫在 直接運行的函數裡面，而不是 一個函數跳來跳去。因為最後可能 是在子進程的子進程運行的，這是不許的，會報錯。
還有一點，多進程運行的函數對象，不能是 lambda 函數。也許lambda 虛擬，在內存？？
使用 pool.map 子進程 函數報錯，導致整個 pool 掛了:
參考： https://blog.csdn.net/hedongho/article/details/79139606
主要你要，對函數內部捕獲錯誤，而不能讓異常拋出就可以了。
關於map 傳多個函數參數
我一開始，就是正常思維，多個參數，搞個元祖，讓參數一一對應不就行了：
報錯：
參考：
https://blog.csdn.net/qq_15969343/article/details/84672527
普通的 process 當讓可以穿多個參數，map 卻不知道咋傳的。
apply_async 和map 一樣，不知道咋傳的。
最簡單的方法：
使用 starmap 而不是 map
結果：
子進程結束
1.8399453163146973
成功拿到結果了
關於map 和 starmap 不同的地方看源碼：
關於apply_async() ,我沒找到多參數的方法，大不了用 一個迭代的 starmap 實現。哈哈
關於 上面源碼裡面有 itertools.starmap
itertools 用法參考：
https://docs.python.org/zh-cn/3/library/itertools.html#itertool-functions
有個問題，多進程最好不要使用全部的 cpu , 因為這樣可能影響其他任務，所以 在進程池 添加 process 參數 指定，cpu 個數：
上面就是預留了 一個cpu 干其他事的
後面直接使用 Queue 遇到這個問題：
解決：
Manager().Queue() 代替 Queue()
因為 queue.get() 是堵塞型的，所以可以提前判斷是不是 空的，以免堵塞進程。比如下面這樣：
使用 queue.empty() 空為True
㈨ python.exe進程內存佔用多少
、python占內存大嗎
2、python 最大能用多大存儲空間
3、Python 多進程內存佔用問輪罩跡題
4、python編程8g的內存夠么
5、學習python語言需要用到什麼軟體，內存多大？
6、python對於電腦配置要求高嗎
python占內存大嗎
你是問python的安裝包嘛，如果是的話大概29M左右就夠了，不怎麼占內存。
python 最大能用多大存儲空間
這個是操作系統的限制，跟python沒有直接關系，因為python是沒有限制的。
32位的系統：windows下單個進程可以用到2G內存;linux下單個進程可以用到4G內存。
64位的系統：
windows下單個進程Intel Itanium-based可用到7TB,Windows 8.1和Windows Server 2012
R2:可用128，其它版本TBx64: 8 TB
但是不同版本windows系統可用的最大物理內存數也有限制，比如64位win7家庭基本版只能認出8G內存，專業版以上能認出192G內存。
linux下不同的發行商，或者不同的內核編譯參數也會有也不同的限制，但都是按T計的。
Python 多進程內存佔用問題
當我們有一個很長很長的任務隊列(mission_list)和閾值對應的一個處理函數(missionFunction)時，我們一般採用如下的方式進行處理：
但是，如果這任務列表很長很長，處理函數很復雜(佔用cpu)時，單核往往需要很長的時間進行處理，此時，Multiprocess便可以極大的提高我們程序的運行速度，相關內容請借鑒 multiprocessing --- 基於進程的並行 — Python 3.10.4 文檔。
以上這種場景下，推薦大家採用最簡單的進程池+map的方法進行處理，標準的寫法， chunksize要借鑒官方的說法，最好大一點 ：
但是！！！！ 如果我們的任務列表非常的長，這會導致多進程還沒跑起來之前，內存已經撐爆了，任務自然沒法完成，此時我們臘並有幾種辦法進行優化：
進程的啟動方法有三種，可參考官方文檔：
[圖片上傳失敗...(image-48cd3c-1650511153989)]
在linux環境下，使用forkserver可以節省很多的內存空間， 因為進程啟動的是一個服務，不會把主進程的數據全部復制
採用imap會極大的節省空間，它返回的是一個迭代器，也就是結果列表：
但注意，以上寫法中，你寫的結果迭代部分必須寫在with下面。或者採用另一種寫法：
還有最後一種，當你的mission list實在太大了，導致你在生成 mission list的時候已經把內存撐爆了，這個時候就得優化 mission_list了，如果你的mission_list是通悶殲過一個for循環生成的，你可以使用yield欄位，將其封裝為一個迭代器，傳入進程池：
這樣子，我們就封裝好了mission_list，它是一個可迭代對象，在取數據的時候才會將數據拉到內存
我在項目中結合了後兩種方法，原本256G的內存都不夠用，但在修改後內存只佔用了不到10G。希望能夠幫助到你
python編程8g的內存夠么
單純的學習的話夠，應用起來，干項目，請直接32gb，要不你會瘋了的
學習python語言需要用到什麼軟體，內存多大？
我用的vscode寫的,還不錯,筆記本的話8G內存的主流筆記本基本都能勝任,它對硬體要求並不高
python對於電腦配置要求高嗎
答: Python對於電腦配置要求並不算很高，只是當我們在下載玩 Python解釋器之後，還是要安裝集成開發環境。比如jupyter或者pycharn，前者經常用於數據分析。這個軟體對於電腦配置要求並不高。但後者常用於開發大型Python項目，這個軟體可能對電腦配置要求更高一些。所以說，編程開發的話，盡量還是選好一點的電腦。
python軟體佔多少內存的介紹就聊到這里吧，感謝你花時間閱讀本站內容，更多關於python要多少內存、python軟體佔多少內存的信息別忘了在本站進行查找喔。