⑴ python 多線程效率不高嗎
Python由於有全鎖局的存在(同一時間只能有一個線程執行),並不能利用多核優勢。所以,如果你的多線程進程是CPU密集型的,那多線程並不能帶來效率上的提升,相反還可能會因為線程的頻繁切換,導致效率下降;如果是IO密集型,多線程進程可以利用IO阻塞等待時的空閑時間執行其他線程,提升效率。
⑵ Python高階(一) - 單線程、多線程和多進程的效率對比測試
多線程的目的 - 「最大限度地利用CPU資源」。每個程序執行時都會產生一個進程,而每一個進程至少要有一個主線程。對於單CPU來說(沒有開啟超線程),在同一時間只能執行一個線程,所以如果想實現多任務,那麼就只能每個進程或線程獲得一個時間片,在某個時間片內,只能一個線程執行,然後按照某種策略換其他線程執行。由於時間片很短,這樣給用戶的感覺是同時有好多線程在執行。
Python是運行在解釋器中的語言,查找資料知道,python中有一個全局鎖(GIL),在使用多線程(Thread)的情況下,不能發揮多核的優勢。而使用多進程(Multiprocess),則可以發揮多核的優勢真正地提高效率。
單線程、多線程和多進程的效率對比測試: github地址
資料顯示,如果多線程的進程是CPU密集型的,那多線程並不能有多少效率上的提升,相反還可能會因為線程的頻繁切換,導致效率下降,推薦使用多進程;如果是IO密集型,多線程進程可以利用IO阻塞等待時的空閑時間執行其他線程,提升效率。所以我們根據實驗對比不同場景的效率
| CPU密集型操作| IO密集型操作| 網路請求密集型操作
-- | -- | --| --
線性操作| 69.73533328374 |17.76633326213 | 6.78833333651
多線程操作| 75.40299995740 |145.68366670609 | 1.93999997775
多進程操作| 13.97433336576 | 4.67833328247| 2.38333328565
僅個人觀點,,歡迎留言~~~
⑶ python多線程能提高效率嗎
很多爬蟲工作者都遇到過抓取速度非常慢,現在的大多數網站都具備了反爬蟲技術,對IP的訪問頻率限制很嚴格。如果想提升爬蟲的速度,大家可以嘗試以下方法。
一、盡量減少訪問次數。
單次爬蟲任務的大多耗時在網路請求等待響應,所以能減少網路請求就盡量減少請求,這樣既能減少目標網站的壓力,也能減少代理伺服器的壓力,提高工作效率。
二、精簡流程,減少重復。
大部分網站並不是嚴格意義上的樹狀結構,而是多重交叉的網狀結構,所以從多個入口深入的網頁會有很多重復,一般根據URL或者ID進行唯一性判別,爬過的就不需要再爬。一些數據如果可以在一個頁面內獲取到,也可以在多個頁面下獲取到,那就選擇只在一個頁面內獲取。
三、多線程任務。
大量爬蟲是一個IO阻塞的任務,所以採用多線程的並發方式可以有效地提高整體速度。多線程可以更好地提高資源利用率,程序設計也更加堅定,程序響應也更快。
四、分布式任務。
上面三點都做到極致了,但是單機單位時間內能爬取到的網頁數量還不足以達到目標,在指定時間內還不能及時的完成任務,那麼就只能多機器來同時進行爬蟲任務了,這就是分布式爬蟲。
做好以上幾點,基本可以將爬蟲的效率提升大半,另外爬蟲代理ip也是不可缺少的尤其是對於量大的任務,IPIDEA提供全球ip的同時更注重保護數據的安全,也可以減少反爬蟲策略的觸發,一舉多得。
⑷ 關於python多進程使用(Queue、生產者和消費者)
關於 的生產者和消費者的實現,剛好最近有用到,簡單總結記錄下:
是系統獨立調度核分配系統資源(CPU、內存)的基本單位,進程之間是相互獨立的,每啟動一個新的進程相當於把數據進行了一次克隆。
python提供了多種方法實現了多進程中間的 (可以修改同一份數據)。
GIL 的全稱是 Global Interpreter Lock(全局解釋器鎖),來源是 Python 設計之初的考慮,為了數據安全所做的決定。
某個線程想要執行,必須先拿到 GIL,我們可以把 GIL 看作是「通行證」,並且在一個 Python 進程中,GIL 只有一個,這就導致了多線程搶佔GIL耗時。這就是為什麼在多核CPU上,Python 的多線程效率並不高的根本原因。
所以有必要學習下多進程的使用。
⑸ 為什麼python多線程這么慢
差不多是這樣子。多線程目前僅用於網路多線程採集, 以及性能測試。
其它的語言也有類似的情況,線程本身的特點導致線程的適用范圍是受限的。只有CPU過剩,而其它的任務很慢,此時用線程才是有益的,可以很好平衡等待時間,提高並發性能。
線程的問題主要是線程的安全穩定性。線程無法強制中止,同時線程與主進程共享內存,可能會影響主進程的內存管理。
在python里線程出問題,可能會導致主進程崩潰。 雖然python里的線程是操作系統的真實線程。
那麼怎麼解決呢?通過我們用進程方式。子進程崩潰後,會完全的釋放所有的內存和錯誤狀態。所以進程更安全。 另外通過進程,python可以很好的繞過GIL,這個全局鎖問題。
但是進程也是有局限的。不要建立超過CPU總核數的進程,否則效率也不高。
簡單的總結一下。
當我們想實現多任務處理時,首先要想到使用multiprocessing, 但是如果覺著進程太笨重,那麼就要考慮使用線程。 如果多任務處理中需要處理的太多了,可以考慮多進程,每個進程再採用多線程。如果還處理不要,就要使用輪詢模式,比如使用poll event, twisted等方式。如果是GUI方式,則要通過事件機制,或者是消息機制處理,GUI使用單線程。
所以在python里線程不要盲目用, 也不要濫用。 但是線程不安全是事實。如果僅僅是做幾個後台任務,則可以考慮使用守護線程做。如果需要做一些危險操作,可能會崩潰的,就用子進程去做。 如果需要高度穩定性,同時並發數又不高的服務。則強烈建議用多進程的multiprocessing模塊實現。
在linux或者是unix里,進程的使用代價沒有windows高。還是可以接受的。
⑹ 你好大神就單純的易語言和python多線程的話哪個效率更快呢
肯定是易語言,python是腳本語言,跟編譯語言是沒法比的,更何況易語言用的是C語言的編譯器。
⑺ Python 多線程效率不高嗎
在python的原始解釋器CPython中存在著GIL(GlobalInterpreterLock,全局解釋器鎖),因此在解釋執行python代碼時,會產生互斥鎖來限制線程對共享資源的訪問,直到解釋器遇到I/O操作或者操作次數達到一定數目時才會釋放GIL。所以,雖然CPython的線程庫直接封裝了系統的原生線程,但CPython整體作為一個進程,同一時間只會有一個獲得GIL的線程在跑,其他線程則處於等待狀態。這就造成了即使在多核CPU中,多線程也只是做著分時切換而已。不過muiltprocessing的出現,已經可以讓多進程的python代碼編寫簡化到了類似多線程的程度了。
⑻ Python運行效率低的原因有哪些
Python的設計哲學是 第一能讓人看懂,附帶能在機器上運行,
c語言的設計哲學是 第一能讓機器快速運行 附帶能讓人看懂
⑼ Python 多線程效率不高嗎
python因為有GIL全局解釋器鎖,所以python的多線程不能利用多核,但是如果是io密集型的項目,多線程效率也很好,我就是用多線程來做爬蟲的。