python內存提示

1. 7種檢測python程序運行時間、CPU和內存佔用的方法

1. 使用裝飾器來衡量函數執行時間

有一個簡單方法，那就是定義一個裝飾器來測量函數的執行時間，並輸出結果：

import time

from functoolsimport wraps

import random

def fn_timer(function):

  @wraps(function)

  def function_timer(*args, **kwargs):

      t0= time.time()

      result= function(*args, **kwargs)

      t1= time.time()

      print("Total time running %s: %s seconds" %

          (function.__name__, str(t1- t0))

)

      return result

return function_timer

@fn_timer

def random_sort(n):

  return sorted([random.random() for i in range(n)])

if __name__== "__main__":

  random_sort(2000000)

輸出：Total time running random_sort: 0.6598007678985596 seconds

使用方式的話，就是在要監控的函數定義上面加上 @fn_timer 就行了

或者

# 可監控程序運行時間

import time

import random

def clock(func):

    def wrapper(*args, **kwargs):

        start_time= time.time()

        result= func(*args, **kwargs)

        end_time= time.time()

        print("共耗時: %s秒" % round(end_time- start_time, 5))

        return result

return wrapper

@clock

def random_sort(n):

  return sorted([random.random() for i in range(n)])

if __name__== "__main__":

  random_sort(2000000)

輸出結果：共耗時: 0.65634秒

2. 使用timeit模塊

另一種方法是使用timeit模塊，用來計算平均時間消耗。

執行下面的腳本可以運行該模塊。

這里的timing_functions是Python腳本文件名稱。

在輸出的末尾，可以看到以下結果：4 loops, best of 5: 2.08 sec per loop

這表示測試了4次，平均每次測試重復5次，最好的測試結果是2.08秒。

如果不指定測試或重復次數，默認值為10次測試，每次重復5次。

3. 使用Unix系統中的time命令

然而，裝飾器和timeit都是基於Python的。在外部環境測試Python時，unix time實用工具就非常有用。

運行time實用工具：

輸出結果為：

Total time running random_sort: 1.3931210041 seconds

real 1.49

user 1.40

sys 0.08

第一行來自預定義的裝飾器，其他三行為：

    real表示的是執行腳本的總時間

    user表示的是執行腳本消耗的CPU時間。

    sys表示的是執行內核函數消耗的時間。

注意：根據維基網路的定義，內核是一個計算機程序，用來管理軟體的輸入輸出，並將其翻譯成CPU和其他計算機中的電子設備能夠執行的數據處理指令。

因此，Real執行時間和User+Sys執行時間的差就是消耗在輸入/輸出和系統執行其他任務時消耗的時間。

4. 使用cProfile模塊

5. 使用line_profiler模塊

6. 使用memory_profiler模塊

7. 使用guppy包

2. 電腦c盤內存只有2G了，安裝python老提示出錯，python安裝出錯跟這個有關系嗎

c盤那個不叫內存，叫硬碟，硬碟只剩餘2g太少了

3. 安裝python時出現0x60ef5eaa指令引用的0x00000020內存,該內從不能為read 我應該怎麼辦

你好：

很多網友出現的藍屏(0x00390b67指令引用的0x80391510內存不能為read )的問題，總結出了以下解決辦法，看看下面您的電腦是哪方面出的問題，只有對症下葯問題才能解決。這個問題的出現主要有幾個方面：
1.如果使用盜版系統，有可能會出現這樣的問題，建議：使用正版。
2.如果對電腦沒有影響或偶爾出現不用管它，重啟電腦會自動消失。
3.病毒引起的，升級殺毒軟體，對電腦全盤殺毒。
4.硬體上的原因，主要是內存條不兼容引起的，必要時更換內存。
5.系統或其它軟體引起的，檢查電腦年、月、日是否正確。
6.驅動不穩定，重新安裝或及時更新驅動。同時使用優化大師、360、魯大師清理垃圾文件也會出現該問題。
7.打開或關閉IE、QQ、游戲、播放器等出現該內存不能為read或written，首先想到的可能就是這款軟體的問題。
8.如果您使用IE8，打補丁後，很多網友反映不太穩定。最簡單的解決辦法就是：下載更換其它瀏覽器。比如：360安全瀏覽器、世界之窗瀏覽器、傲遊等.
9.系統本身有問題，及時安裝官方發行的補丁，必要時重裝系統
10.某個軟體出現的問題，這里主要是看看開機時運行的軟體，用360等檢查開機運行的軟體，把不必要運行的軟體都去掉
11.軟體沖突，卸載有問題的軟體。（比如：安裝或運行時出現，升級、打補丁、更換其它版本或卸載問題才能解決。
12.下面的處理方法可以試試：如果不行，只有恢復或重裝系統了.
13.試用命令排除
開始－運行－ 輸入cmd-- 回車，在命令提示符下輸入下面命令
for %1 in (%windir%\system32\*.dll) do regsvr32.exe /s %1回車。
完成後，在輸入下面的
for %i in (%windir%\system32\*.ocx) do regsvr32.exe /s %i 回車。
如果怕輸入錯誤，可以復制這兩條指令，然後在命令提示符後擊滑鼠右鍵，打「粘貼」，回車，耐心等待，直到屏幕滾動停止為止。重啟電腦.
14.運行regedit進入注冊表, 在HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\ShellExecuteHooks 下，應該只有一個正常的鍵值{AEB6717E-7E19-11d0-97EE-00C04FD91972}, 將其他的刪除。【如果還有一個（默認）不用管它，一般它為空。】
15.如果上面的方法都不能解決，從網上下載一個「read修復工具」修復一下試試 。

如果有不明之處，請參考：http://hi..com/qiaowenlong/blog/item/eb6f7bdb2b25ce61d1164ee0.html

復制此答案的朋友請自重！！！

4. 為什麼電腦內存很大，python跑程序時卻說memory resource exhauted

要破這個東西，要先破你的演算法。 先別說破這個詞了。 梳理你的演算法，避免三重循環， 避免大量使用字典的多次嵌套。 顯然你的數據量巨大。還用這么耗內存，耗CPU的演算法。只有演算法改良了才能解決這個問題。即使給你C語編程，你都能把內存用光了。...

5. Python如何進行內存管理

Python是如何進行內存管理的？

答:從三個方面來說,一對象的引用計數機制,二垃圾回收機制,三內存池機制。

一、對象的引用計數機制

Python內部使用引用計數，來保持追蹤內存中的對象，所有對象都有引用計數。

引用計數增加的情況：

1，一個對象分配一個新名稱

2，將其放入一個容器中（如列表、元組或字典）

引用計數減少的情況：

1，使用del語句對對象別名顯示的銷毀

2，引用超出作用域或被重新賦值

Sys.getrefcount( )函數可以獲得對象的當前引用計數

多數情況下，引用計數比你猜測得要大得多。對於不可變數據（如數字和字元串），解釋器會在程序的不同部分共享內存，以便節約內存。

相關推薦：《Python視頻教程》

二、垃圾回收

1，當一個對象的引用計數歸零時，它將被垃圾收集機制處理掉。

2，當兩個對象a和b相互引用時，del語句可以減少a和b的引用計數，並銷毀用於引用底層對象的名稱。然而由於每個對象都包含一個對其他對象的應用，因此引用計數不會歸零，對象也不會銷毀。（從而導致內存泄露）。為解決這一問題，解釋器會定期執行一個循環檢測器，搜索不可訪問對象的循環並刪除它們。

三、內存池機制

Python提供了對內存的垃圾收集機制，但是它將不用的內存放到內存池而不是返回給操作系統。

1，Pymalloc機制。為了加速Python的執行效率，Python引入了一個內存池機制，用於管理對小塊內存的申請和釋放。

2，Python中所有小於256個位元組的對象都使用pymalloc實現的分配器，而大的對象則使用系統的malloc。

3，對於Python對象，如整數，浮點數和List，都有其獨立的私有內存池，對象間不共享他們的內存池。也就是說如果你分配又釋放了大量的整數，用於緩存這些整數的內存就不能再分配給浮點數。

6. BAT面試題28：Python是如何進行內存管理的

Python的內存管理，一般從以下三個方面來說：

1)對象的引用計數機制(四增五減)

2)垃圾回收機制(手動自動，分代回收)

3)內存池機制(大m小p)

1)對象的引用計數機制

要保持追蹤內存中的對象，Python使用了引用計數這一簡單的技術。sys.getrefcount(a)可以查看a對象的引用計數，但是比正常計數大1，因為調用函數的時候傳入a，這會讓a的引用計數+1

2)垃圾回收機制

吃太多，總會變胖，Python也是這樣。當Python中的對象越來越多，它們將占據越來越大的內存。不過你不用太擔心Python的體形，它會在適當的時候「減肥」，啟動垃圾回收(garbage
collection)，將沒用的對象清除

從基本原理上，當Python的某個對象的引用計數降為0時，說明沒有任何引用指向該對象，該對象就成為要被回收的垃圾了

比如某個新建對象，它被分配給某個引用，對象的引用計數變為1。如果引用被刪除，對象的引用計數為0，那麼該對象就可以被垃圾回收。

然而，減肥是個昂貴而費力的事情。垃圾回收時，Python不能進行其它的任務。頻繁的垃圾回收將大大降低Python的工作效率。如果內存中的對象不多，就沒有必要總啟動垃圾回收。

所以，Python只會在特定條件下，自動啟動垃圾回收。當Python運行時，會記錄其中分配對象(object
allocation)和取消分配對象(object deallocation)的次數。當兩者的差值高於某個閾值時，垃圾回收才會啟動。

我們可以通過gc模塊的get_threshold()方法，查看該閾值。

3)內存池機制

Python中有分為大內存和小內存：(256K為界限分大小內存)

1、大內存使用malloc進行分配

2、小內存使用內存池進行分配

python中的內存管理機制都有兩套實現，一套是針對小對象，就是大小小於256K時，pymalloc會在內存池中申請內存空間;當大於256K時，則會直接執行系統的malloc的行為來申請內存空間。

7. Python 的內存管理機制

Python採用自動內存管理，即Python會自動進行垃圾回收，不需要像C、C++語言一樣需要程序員手動釋放內存，手動釋放可以做到實時性，但是存在內存泄露、空指針等風險。

Python自動垃圾回收也有自己的優點和缺點：優點：

缺點：

Python的垃圾回收機制採用 以引用計數法為主，分代回收為輔 的策略。

先聊引用計數法，Python中每個對象都有一個核心的結構體，如下

一個對象被創建時，引用計數值為1，當一個變數引用一個對象時，該對象的引用計數ob_refcnt就加一，當一個變數不再引用一個對象時，該對象的引用計數ob_refcnt就減一，Python判斷是否回收一個對象，會將該對象的引用計數值ob_refcnt減一判斷結果是否等於0，如果等於0就回收，如果不等於0就不回收，如下：

一個對象在以下三種情況下引用計數會增加：

一個對象在以下三種情況引用計數會減少：

驗證案例：

運行結果：

事實上，關於垃圾回收的測試，最好在終端環境下測試，比如整數257，它在PyCharm中用下面的測試代碼列印出來的結果是4，而如果在終端環境下列印出來的結果是2。這是因為終端代表的是原始的Python環境，而PyCharm等IDE做了一些特殊處理，在Python原始環境中，整數緩存的范圍是在 [-5, 256] 的雙閉合區間內，而PyCharm做了特殊處理之後，PyCharm整數緩存的范圍變成了 [-5, 無窮大]，但我們必須以終端的測試結果為主，因為它代表的是原始的Python環境，並且代碼最終也都是要發布到終端運行的。

好，那麼回到終端，我們來看兩種特殊情況

前面學習過了，整數緩存的范圍是在 [-5, 256] 之間，這些整數對象在程序載入完全就已經駐留在內存之中，並且直到程序結束退出才會釋放佔有的內存，測試案例如下：

如果字元串的內容只由字母、數字、下劃線構成，那麼它只會創建一個對象駐留在內存中，否則，每創建一次都是一個新的對象。

引用計數法有缺陷，它無法解決循環引用問題，即A對象引用了B對象，B對象又引用了A對象，這種情況下，A、B兩個對象都無法通過引用計數法來進行回收，有一種解決方法是程序運行結束退出時進行回收，代碼如下：

前面講過，Python垃圾回收機制的策略是 以引用計數法為主，以分代回收為輔 。分代回收就是為了解決循環引用問題的。

Python採用分代來管理對象的生命周期：第0代、第1代、第2代，當一個對象被創建時，會被分配到第一代，默認情況下，當第0代的對象達到700個時，就會對處於第0代的對象進行檢測和回收，將存在循環引用的對象釋放內存，經過垃圾回收後，第0代中存活的對象會被分配為第1代，同樣，當第1代的對象個數達到10個時，也會對第1代的對象進行檢測和回收，將存在循環引用的對象釋放內存，經過垃圾回收後，第1代中存活的對象會被分配為第2代，同樣，當第二代的對象個數達到10個時，也會對第2代的對象進行檢測和回收，將存在循環引用的對象釋放內存。Python就是通過這樣一種策略來解決對象之間的循環引用問題的。

測試案例：

運行結果：

如上面的運行結果，當第一代中對象的個數達到699個即將突破臨界值700時（在列印699之前就已經回收了，所以看不到698和699）進行了垃圾回收，回收掉了循環引用的對象。

第一代、第二代、第三代分代回收都是有臨界值的，這個臨界值可以通過調用 gc.get_threshold 方法查看，如下：

當然，如果對默認臨界值不滿意，也可以調用 gc.set_threshold 方法來自定義臨界值，如下：

最後，簡單列出兩個gc的其它方法，了解一下，但禁止在程序代碼中使用

以上就是對Python垃圾回收的簡單介紹，當然，深入研究肯定不止這些內容，目前，了解到這個程度也足夠了。

8. 關於Python一直提示IndexError: list index out of range是怎麼回事

」IndexError: list index out of range」這種錯誤一般有兩種情況：

第一種可能情況：list[index], index超出范圍,也就是常說的數組越界。

第二種可能情況：list是一個空的，沒有一個元素，進行list[0]就會出現該錯誤，在爬蟲問題中很常見，比如有個列表爬去下來為空，統一處理就會報錯。

(8)python內存提示擴展閱讀：

異常處理特點：

1.在應用程序遇到異常情況（如被零除情況或內存不足警告）時，就會產生異常。

2.發生異常時，控制流立即跳轉到關聯的異常處理程序（如果存在）。

3.如果給定異常沒有異常處理程序，則程序將停止執行，並顯示一條錯誤信息。

4.可能導致異常的操作通過 try 關鍵字來執行。

5.異常處理程序是在異常發生時執行的代碼塊。在 C# 中，catch 關鍵字用於定義異常處理程序。

6.程序可以使用 throw 關鍵字顯式地引發異常。

7.異常對象包含有關錯誤的詳細信息，其中包括調用堆棧的狀態以及有關錯誤的文本說明。

8.即使引發了異常，finally 塊中的代碼也會執行，從而使程序可以釋放資源。

參考資料：網路——異常處理

9. python的內存問題該這么解決

1.沒有開gc，或者gc設為debug狀態，導致交叉引用沒有被回收調
2.如果一個數據在邏輯上不應該存在，但是因為代碼上沒有做相關清除操作，導致他還存在，也是一種泄漏
舉個栗子，例如我要記錄最近50天的某個基金的日化收益率，定義一個全局的字典global_dict，運行了一個腳本進行計算，沒10分鍾算一次，但是我沒有進行clear操作，每次的計算只是單純的賦值dict[date] = rate，按理來說dict["五十天前"]的收益率都是不需要的，就是一種泄漏。
3.這種情況出現在python3.4之前，因為3.4已經修復了，是這樣的，如果一個類定義了__del__，並且該類存在循環引用的情況，這時候gc就會把這個類放在gc.garbage當中，不會去做回收，可以說是跳出了分代回收的機制，但是3.4之後的版本就沒有這種情況，會把他回收調。

10. python 中的out of memory是怎麼回事，內存不夠嗎

這不是你電腦內存大小的問題，
在編程中，如果在一個域中輸入的數據超過了它的要求就會引發數據溢出問題。
緩沖區溢出好比是將十磅的糖放進一個只能裝五磅的容器里。一旦該容器放滿了，餘下的部分就溢出在櫃台和地板上，弄得一團糟。由於計算機程序的編寫者寫了一些編碼，但是這些編碼沒有對目的區域或緩沖區——五磅的容器——做適當的檢查，看它們是否夠大，能否完全裝入新的內容——十磅的糖，結果可能造成緩沖區溢出的產生。如果打算被放進新地方的數據不適合，溢得到處都是，該數據也會製造很多麻煩。但是，如果緩沖區僅僅溢出，這只是一個問題。到此時為止，它還沒有破壞性。當糖溢出時，櫃台被蓋住。可以把糖擦掉或用吸塵器吸走，還櫃台本來面貌。與之相對的是，當緩沖區溢出時，過剩的信息覆蓋的是計算機內存中以前的內容。除非這些被覆蓋的內容被保存或能夠恢復，否則就會永遠丟失。

具體你可以看下邊的資料。