① python的內存管理機制
論壇
活動
招聘
專題
打開CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登錄
XCCS_澍
關注
Python 的內存管理機制及調優手段？ 原創
2018-08-05 06:50:53
XCCS_澍
碼齡7年
關注
內存管理機制：引用計數、垃圾回收、內存池。
一、引用計數：
引用計數是一種非常高效的內存管理手段， 當一個 Python 對象被引用時其引用計數增加 1， 當其不再被一個變數引用時則計數減 1. 當引用計數等於 0 時對象被刪除。
二、垃圾回收 ：
1. 引用計數
引用計數也是一種垃圾收集機制，而且也是一種最直觀，最簡單的垃圾收集技術。當 Python 的某個對象的引用計數降為 0 時，說明沒有任何引用指向該對象，該對象就成為要被回收的垃圾了。比如某個新建對象，它被分配給某個引用，對象的引用計數變為 1。如果引用被刪除，對象的引用計數為 0，那麼該對象就可以被垃圾回收。不過如果出現循環引用的話，引用計數機制就不再起有效的作用了
2. 標記清除
如果兩個對象的引用計數都為 1，但是僅僅存在他們之間的循環引用，那麼這兩個對象都是需要被回收的，也就是說，它們的引用計數雖然表現為非 0，但實際上有效的引用計數為 0。所以先將循環引用摘掉，就會得出這兩個對象的有效計數。
3. 分代回收
從前面「標記-清除」這樣的垃圾收集機制來看，這種垃圾收集機制所帶來的額外操作實際上與系統中總的內存塊的數量是相關的，當需要回收的內存塊越多時，垃圾檢測帶來的額外操作就越多，而垃圾回收帶來的額外操作就越少；反之，當需回收的內存塊越少時，垃圾檢測就將比垃圾回收帶來更少的額外操作。
② BAT面試題28：Python是如何進行內存管理的
Python的內存管理，一般從以下三個方面來說：
1)對象的引用計數機制(四增五減)
2)垃圾回收機制(手動自動，分代回收)
3)內存池機制(大m小p)
1)對象的引用計數機制
要保持追蹤內存中的對象，Python使用了引用計數這一簡單的技術。sys.getrefcount(a)可以查看a對象的引用計數，但是比正常計數大1，因為調用函數的時候傳入a，這會讓a的引用計數+1
2)垃圾回收機制
吃太多，總會變胖，Python也是這樣。當Python中的對象越來越多，它們將占據越來越大的內存。不過你不用太擔心Python的體形，它會在適當的時候「減肥」，啟動垃圾回收(garbage
collection)，將沒用的對象清除
從基本原理上，當Python的某個對象的引用計數降為0時，說明沒有任何引用指向該對象，該對象就成為要被回收的垃圾了
比如某個新建對象，它被分配給某個引用，對象的引用計數變為1。如果引用被刪除，對象的引用計數為0，那麼該對象就可以被垃圾回收。
然而，減肥是個昂貴而費力的事情。垃圾回收時，Python不能進行其它的任務。頻繁的垃圾回收將大大降低Python的工作效率。如果內存中的對象不多，就沒有必要總啟動垃圾回收。
所以，Python只會在特定條件下，自動啟動垃圾回收。當Python運行時，會記錄其中分配對象(object
allocation)和取消分配對象(object deallocation)的次數。當兩者的差值高於某個閾值時，垃圾回收才會啟動。
我們可以通過gc模塊的get_threshold()方法，查看該閾值。
3)內存池機制
Python中有分為大內存和小內存：(256K為界限分大小內存)
1、大內存使用malloc進行分配
2、小內存使用內存池進行分配
python中的內存管理機制都有兩套實現，一套是針對小對象，就是大小小於256K時，pymalloc會在內存池中申請內存空間;當大於256K時，則會直接執行系統的malloc的行為來申請內存空間。
③ Python 的內存管理機制
Python採用自動內存管理，即Python會自動進行垃圾回收，不需要像C、C++語言一樣需要程序員手動釋放內存，手動釋放可以做到實時性，但是存在內存泄露、空指針等風險。
Python自動垃圾回收也有自己的優點和缺點：優點：
缺點：
Python的垃圾回收機制採用 以引用計數法為主，分代回收為輔 的策略。
先聊引用計數法，Python中每個對象都有一個核心的結構體，如下
一個對象被創建時，引用計數值為1，當一個變數引用一個對象時，該對象的引用計數ob_refcnt就加一，當一個變數不再引用一個對象時，該對象的引用計數ob_refcnt就減一，Python判斷是否回收一個對象，會將該對象的引用計數值ob_refcnt減一判斷結果是否等於0，如果等於0就回收，如果不等於0就不回收，如下：
一個對象在以下三種情況下引用計數會增加：
一個對象在以下三種情況引用計數會減少：
驗證案例：
運行結果：
事實上，關於垃圾回收的測試，最好在終端環境下測試，比如整數257，它在PyCharm中用下面的測試代碼列印出來的結果是4，而如果在終端環境下列印出來的結果是2。這是因為終端代表的是原始的Python環境，而PyCharm等IDE做了一些特殊處理，在Python原始環境中，整數緩存的范圍是在 [-5, 256] 的雙閉合區間內，而PyCharm做了特殊處理之後，PyCharm整數緩存的范圍變成了 [-5, 無窮大]，但我們必須以終端的測試結果為主，因為它代表的是原始的Python環境，並且代碼最終也都是要發布到終端運行的。
好，那麼回到終端，我們來看兩種特殊情況
前面學習過了，整數緩存的范圍是在 [-5, 256] 之間，這些整數對象在程序載入完全就已經駐留在內存之中，並且直到程序結束退出才會釋放佔有的內存，測試案例如下：
如果字元串的內容只由字母、數字、下劃線構成，那麼它只會創建一個對象駐留在內存中，否則，每創建一次都是一個新的對象。
引用計數法有缺陷，它無法解決循環引用問題，即A對象引用了B對象，B對象又引用了A對象，這種情況下，A、B兩個對象都無法通過引用計數法來進行回收，有一種解決方法是程序運行結束退出時進行回收，代碼如下：
前面講過，Python垃圾回收機制的策略是 以引用計數法為主，以分代回收為輔 。分代回收就是為了解決循環引用問題的。
Python採用分代來管理對象的生命周期：第0代、第1代、第2代，當一個對象被創建時，會被分配到第一代，默認情況下，當第0代的對象達到700個時，就會對處於第0代的對象進行檢測和回收，將存在循環引用的對象釋放內存，經過垃圾回收後，第0代中存活的對象會被分配為第1代，同樣，當第1代的對象個數達到10個時，也會對第1代的對象進行檢測和回收，將存在循環引用的對象釋放內存，經過垃圾回收後，第1代中存活的對象會被分配為第2代，同樣，當第二代的對象個數達到10個時，也會對第2代的對象進行檢測和回收，將存在循環引用的對象釋放內存。Python就是通過這樣一種策略來解決對象之間的循環引用問題的。
測試案例：
運行結果：
如上面的運行結果，當第一代中對象的個數達到699個即將突破臨界值700時（在列印699之前就已經回收了，所以看不到698和699）進行了垃圾回收，回收掉了循環引用的對象。
第一代、第二代、第三代分代回收都是有臨界值的，這個臨界值可以通過調用 gc.get_threshold 方法查看，如下：
當然，如果對默認臨界值不滿意，也可以調用 gc.set_threshold 方法來自定義臨界值，如下：
最後，簡單列出兩個gc的其它方法，了解一下，但禁止在程序代碼中使用
以上就是對Python垃圾回收的簡單介紹，當然，深入研究肯定不止這些內容，目前，了解到這個程度也足夠了。
④ 如何進行python項目配置管理這才是你最需要的python技術
每次開始一個新的 Python 項目，我都會為怎麼管理配置文件而頭疼。不過在遷移我的博客時，終於有空花了點時間，把這件事想清楚。
一年多的時間過去了，一切似乎都很順利，連我在知乎所做的新項段納目也沿用了該方案，於是決定把解決方案記錄下來。
先說說我要解決什麼哪些Python項目的配置管理問題吧：
可以區分各種環境。
在開發、測試和生產等環境，都可能用到不同的配置，握擾沒所以能區分它們是一個很基本的需求。
可以有通用的配置項。
各種環境的配置中，需要修改的只佔一小部分。因此通用的部分應該不需要重復定義，否則會帶來維護成本。
可以分成多個部分/模塊。
隨著Python項目的配置管理項的增多，找起配置來會花大量時間，所以劃分它們對維護配置很有幫助。
可以直接使用 Python 代碼。
從文本文件中解析出變數值太麻煩，而且不方便生成批量的數據(例如數組)，也不好通過函數調用來生成配置值(例如獲取文件路徑)。
可以將公開和私有的配置文件分開管理。
在開源項目中，應只包含公開的配置項，而不包含私有的配置。不過這個需求對私有項目而言，沒什麼意義。
工作中我先後使用了幾種Python項目的配置管理方式，主要使用的就兩種：
為每個環境分別寫一個配置文件，到相應的環境里，將該環境的配置文件軟鏈接到正確的路徑。
如何進行python項目配置管理?使用分布式的配置服務，從遠程獲取配置。
前者用起來其實蠻麻煩的，特別是想在本地跑單元測試時，需要替換成單元測試環境的配置文件。所以我又把環境變數給加了進來，檢測到指定的環境變數，就載入單元測試的配置。而其他幾個需求也能勉強實現，不過並不優雅。
後者不能直接使用 Python 代碼，網路不好時需要降級成使用本地緩存，獲取配置伺服器的地址需要配置，配置伺服器自己也需要配置，而且配置伺服器還可能掛掉(知乎內網遇到過全部五台配置伺服器都掛掉的情況)，所以我用得比較少。
其實仔細想想就能發現，「使用 Python 代碼」也就意味著是 Python 源文件，「有通用的配置項」用 Python 實現就是繼承，似乎沒更好的選擇了。
如何進行python項目配置管理?於是定義一個 Config 類，讓其他環境的配置都繼承這個類：
# config/default.pyclass Config(object):
DEBUG_MODE = True
PORT = 12345
COOKIE_SECRET = '李配default'
REDIS_CONFIG = {'host': 'localhost', 'port': 6379, 'db': 0} # ...
# config/development.pyfrom .default import Configclass DevelopmentConfig(Config):
COOKIE_SECRET = 'dev'
# config/unit_testing.pyfrom .default import Configclass UnitTestingConfig(Config):
REDIS_CONFIG = {'host': 'localhost', 'port': 6379, 'db': 1}
# config/proction.pyfrom .default import Configclass ProctionConfig(Config):
COOKIE_SECRET = '...'
REDIS_CONFIG = {'unix_socket_path': '/tmp/redis.sock'}
為了讓每種環境都只有一個配置生效，還需要加一個策略：[page]
# config/__init__.pyimport loggingimport os
env = os.getenv('ENV') # 可以改成其他名字，自己進行設置try: if env == 'PRODUCTION': from .proction import
ProctionConfig as CONFIG
logging.info('Proction config loaded.') elif env == 'TESTING': from .testing import TestingConfig as CONFIG
logging.info('Testing config loaded.') elif env == 'UNIT_TESTING': from .unit_testing import UnitTestingConfig as
CONFIG
logging.info('Unit testing config loaded.') else: # 默認使用本地開發環境的配置，省去設置環境變數的環節
from .development import DevelopmentConfig as CONFIG
logging.info('Development config loaded.')except ImportError:
logging.warning('Loading config for %s environment failed, use default config instead.', env or 'unspecified')
from .default import Config as CONFIG
這樣只需要在跑應用前，設置不同的環境變數即可。如果是用 Supervisor 維護進程的話，加上一行environment = ENV="PRODUCTION"配置即可。
當然還可以加其他的規則，例如沒環境變數時，再檢查機器名等。
如何進行python項目配置管理?現在前兩個需求都解決了，再來看分模塊的功能。
這個需求正好對應 Python 的 package，於是把每個Python項目的配置管理文件改成一個 package 即可。接著是如何同時滿足第二和第三個需求。
舉例來說，有這樣的配置：
# config/default.pyclass Config(object):
ROOT_PATH = '/'
LOGIN_PATH = ROOT_PATH + 'login'
SCHEME = 'http'
DOMAIN = 'localhost'
ROOT_URL = '%s://%s%s' % (SCHEME, DOMAIN, ROOT_PATH)
# config/proction.pyfrom .default import Configclass ProctionConfig(Config):
ROOT_PATH = '/blog/'
LOGIN_PATH = ROOT_PATH + 'login'
DOMAIN = 'www.keakon.net'
ROOT_URL = '%s://%s%s' % (Config.SCHEME, DOMAIN, ROOT_PATH)
其中，LOGIN_PATH 和 LOGIN_URL 的設置邏輯其實是一樣的，但值卻不同，在 ProctionConfig 中重新賦值一次有點不太優雅。
於是把這些設置提取出來，在基本設置初始化以後，再進行設置：
class _AfterMeta(type):
def __init__(cls, name, bases, dct):
super(_AfterMeta, cls).__init__(name, bases, dct)
cls._after()class Config(object):
__metaclass__ = _AfterMeta
ROOT_PATH = '/'
SCHEME = 'http'
DOMAIN = 'localhost' @classmethod
def _after(cls):
cls.LOGIN_PATH = cls.ROOT_PATH + 'login'
cls.ROOT_URL = '%s://%s%s' % (cls.SCHEME, cls.DOMAIN, cls.ROOT_PATH)
# config/proction.pyfrom .default import Configclass ProctionConfig(Config):
ROOT_PATH = '/blog/'
DOMAIN = 'www.keakon.net'
如何進行python項目配置管理?所有有依賴的設置項，都在 _after 方法里賦值即可。
不過這樣可能導致靜態檢查和代碼提示出問題，而且使得所有子類都重新定義這些屬性，即便沒有修改父類的屬性，或是覆蓋掉手動設置的值。所以可以再修改一下：[page]
class _AfterMeta(type):
def __init__(cls, name, bases, dct):
super(_AfterMeta, cls).__init__(name, bases, dct)
cls._after(dct)class Config(object):
__metaclass__ = _AfterMeta
ROOT_PATH = '/'
LOGIN_PATH = ROOT_PATH + 'login'
SCHEME = 'http'
DOMAIN = 'localhost'
ROOT_URL = '%s://%s%s' % (SCHEME, DOMAIN, ROOT_PATH) @classmethod
def _after(cls, own_attrs):
if 'LOGIN_PATH' not in own_attrs and 'ROOT_PATH' in own_attrs:
cls.LOGIN_PATH = cls.ROOT_PATH + 'login'
if 'ROOT_URL' not in own_attrs and ('SCHEME' in own_attrs or 'DOMAIN' in own_attrs or 'ROOT_PATH' in
own_attrs):
cls.ROOT_URL = '%s://%s%s' % (cls.SCHEME, cls.DOMAIN, cls.ROOT_PATH)
雖然問題是解決了，不過代碼量似乎大了點，寫起來很麻煩。只是似乎也沒有更好解決辦法，所幸這類配置並不多，所以重寫一次倒也無妨。
最後只剩下分離公開和私有配置這個需求了。
既然要有私有配置，很容易想到的就是把私有配置放在另一個倉庫里，再 link 到配置文件夾即可：
└── config
├── __init__.py
├── default.py
├── development.py -> private/development.py
├── development_sample.py
├── private (cloned from another private repository)
│ ├── development.py
│ └── proction.py
├── proction.py -> private/proction.py
└── proction_sample.py
為了避免文件被提交到公共倉庫，私有的配置文件可以加到 .gitignore 里。
順帶一提，我的博客數據全存放在 Redis 中，備份時只要備份 rdb 文件即可。不過用另一台伺服器來備份顯得太奢侈了，所以我在伺服器上裝了個 Dropbox，然後把 Dropbox 文件夾里的數據文件夾 link 到博客的數據文件夾里，即：
doodle
└── data
└── redis -> ~/Dropbox/doodle/redis
這樣一旦文件有改動，Dropbox 就會自動進行備份，而且保留了所有的歷史版本，簡直完美。
如何進行python項目配置管理?這才是你最需要的python技術，我用於創建和管理虛擬環境的模塊稱為 venv。venv 通常會安裝你可用的最新版本的 Python。如果您的系統上有多個版本的 Python，你能處理好嗎?如果您還擔心自己入門不順利，那麼本科目的其他文章一定會幫助你。