① python的内存管理机制
论坛
活动
招聘
专题
打开CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登录
XCCS_澍
关注
Python 的内存管理机制及调优手段？ 原创
2018-08-05 06:50:53
XCCS_澍
码龄7年
关注
内存管理机制：引用计数、垃圾回收、内存池。
一、引用计数：
引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。
二、垃圾回收 ：
1. 引用计数
引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的垃圾收集技术。当 Python 的某个对象的引用计数降为 0 时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了。比如某个新建对象，它被分配给某个引用，对象的引用计数变为 1。如果引用被删除，对象的引用计数为 0，那么该对象就可以被垃圾回收。不过如果出现循环引用的话，引用计数机制就不再起有效的作用了
2. 标记清除
如果两个对象的引用计数都为 1，但是仅仅存在他们之间的循环引用，那么这两个对象都是需要被回收的，也就是说，它们的引用计数虽然表现为非 0，但实际上有效的引用计数为 0。所以先将循环引用摘掉，就会得出这两个对象的有效计数。
3. 分代回收
从前面“标记-清除”这样的垃圾收集机制来看，这种垃圾收集机制所带来的额外操作实际上与系统中总的内存块的数量是相关的，当需要回收的内存块越多时，垃圾检测带来的额外操作就越多，而垃圾回收带来的额外操作就越少；反之，当需回收的内存块越少时，垃圾检测就将比垃圾回收带来更少的额外操作。
② BAT面试题28：Python是如何进行内存管理的
Python的内存管理，一般从以下三个方面来说：
1)对象的引用计数机制(四增五减)
2)垃圾回收机制(手动自动，分代回收)
3)内存池机制(大m小p)
1)对象的引用计数机制
要保持追踪内存中的对象，Python使用了引用计数这一简单的技术。sys.getrefcount(a)可以查看a对象的引用计数，但是比正常计数大1，因为调用函数的时候传入a，这会让a的引用计数+1
2)垃圾回收机制
吃太多，总会变胖，Python也是这样。当Python中的对象越来越多，它们将占据越来越大的内存。不过你不用太担心Python的体形，它会在适当的时候“减肥”，启动垃圾回收(garbage
collection)，将没用的对象清除
从基本原理上，当Python的某个对象的引用计数降为0时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了
比如某个新建对象，它被分配给某个引用，对象的引用计数变为1。如果引用被删除，对象的引用计数为0，那么该对象就可以被垃圾回收。
然而，减肥是个昂贵而费力的事情。垃圾回收时，Python不能进行其它的任务。频繁的垃圾回收将大大降低Python的工作效率。如果内存中的对象不多，就没有必要总启动垃圾回收。
所以，Python只会在特定条件下，自动启动垃圾回收。当Python运行时，会记录其中分配对象(object
allocation)和取消分配对象(object deallocation)的次数。当两者的差值高于某个阈值时，垃圾回收才会启动。
我们可以通过gc模块的get_threshold()方法，查看该阈值。
3)内存池机制
Python中有分为大内存和小内存：(256K为界限分大小内存)
1、大内存使用malloc进行分配
2、小内存使用内存池进行分配
python中的内存管理机制都有两套实现，一套是针对小对象，就是大小小于256K时，pymalloc会在内存池中申请内存空间;当大于256K时，则会直接执行系统的malloc的行为来申请内存空间。
③ Python 的内存管理机制
Python采用自动内存管理，即Python会自动进行垃圾回收，不需要像C、C++语言一样需要程序员手动释放内存，手动释放可以做到实时性，但是存在内存泄露、空指针等风险。
Python自动垃圾回收也有自己的优点和缺点：优点：
缺点：
Python的垃圾回收机制采用 以引用计数法为主，分代回收为辅 的策略。
先聊引用计数法，Python中每个对象都有一个核心的结构体，如下
一个对象被创建时，引用计数值为1，当一个变量引用一个对象时，该对象的引用计数ob_refcnt就加一，当一个变量不再引用一个对象时，该对象的引用计数ob_refcnt就减一，Python判断是否回收一个对象，会将该对象的引用计数值ob_refcnt减一判断结果是否等于0，如果等于0就回收，如果不等于0就不回收，如下：
一个对象在以下三种情况下引用计数会增加：
一个对象在以下三种情况引用计数会减少：
验证案例：
运行结果：
事实上，关于垃圾回收的测试，最好在终端环境下测试，比如整数257，它在PyCharm中用下面的测试代码打印出来的结果是4，而如果在终端环境下打印出来的结果是2。这是因为终端代表的是原始的Python环境，而PyCharm等IDE做了一些特殊处理，在Python原始环境中，整数缓存的范围是在 [-5, 256] 的双闭合区间内，而PyCharm做了特殊处理之后，PyCharm整数缓存的范围变成了 [-5, 无穷大]，但我们必须以终端的测试结果为主，因为它代表的是原始的Python环境，并且代码最终也都是要发布到终端运行的。
好，那么回到终端，我们来看两种特殊情况
前面学习过了，整数缓存的范围是在 [-5, 256] 之间，这些整数对象在程序加载完全就已经驻留在内存之中，并且直到程序结束退出才会释放占有的内存，测试案例如下：
如果字符串的内容只由字母、数字、下划线构成，那么它只会创建一个对象驻留在内存中，否则，每创建一次都是一个新的对象。
引用计数法有缺陷，它无法解决循环引用问题，即A对象引用了B对象，B对象又引用了A对象，这种情况下，A、B两个对象都无法通过引用计数法来进行回收，有一种解决方法是程序运行结束退出时进行回收，代码如下：
前面讲过，Python垃圾回收机制的策略是 以引用计数法为主，以分代回收为辅 。分代回收就是为了解决循环引用问题的。
Python采用分代来管理对象的生命周期：第0代、第1代、第2代，当一个对象被创建时，会被分配到第一代，默认情况下，当第0代的对象达到700个时，就会对处于第0代的对象进行检测和回收，将存在循环引用的对象释放内存，经过垃圾回收后，第0代中存活的对象会被分配为第1代，同样，当第1代的对象个数达到10个时，也会对第1代的对象进行检测和回收，将存在循环引用的对象释放内存，经过垃圾回收后，第1代中存活的对象会被分配为第2代，同样，当第二代的对象个数达到10个时，也会对第2代的对象进行检测和回收，将存在循环引用的对象释放内存。Python就是通过这样一种策略来解决对象之间的循环引用问题的。
测试案例：
运行结果：
如上面的运行结果，当第一代中对象的个数达到699个即将突破临界值700时（在打印699之前就已经回收了，所以看不到698和699）进行了垃圾回收，回收掉了循环引用的对象。
第一代、第二代、第三代分代回收都是有临界值的，这个临界值可以通过调用 gc.get_threshold 方法查看，如下：
当然，如果对默认临界值不满意，也可以调用 gc.set_threshold 方法来自定义临界值，如下：
最后，简单列出两个gc的其它方法，了解一下，但禁止在程序代码中使用
以上就是对Python垃圾回收的简单介绍，当然，深入研究肯定不止这些内容，目前，了解到这个程度也足够了。
④ 如何进行python项目配置管理这才是你最需要的python技术
每次开始一个新的 Python 项目，我都会为怎么管理配置文件而头疼。不过在迁移我的博客时，终于有空花了点时间，把这件事想清楚。
一年多的时间过去了，一切似乎都很顺利，连我在知乎所做的新项段纳目也沿用了该方案，于是决定把解决方案记录下来。
先说说我要解决什么哪些Python项目的配置管理问题吧：
可以区分各种环境。
在开发、测试和生产等环境，都可能用到不同的配置，握扰没所以能区分它们是一个很基本的需求。
可以有通用的配置项。
各种环境的配置中，需要修改的只占一小部分。因此通用的部分应该不需要重复定义，否则会带来维护成本。
可以分成多个部分/模块。
随着Python项目的配置管理项的增多，找起配置来会花大量时间，所以划分它们对维护配置很有帮助。
可以直接使用 Python 代码。
从文本文件中解析出变量值太麻烦，而且不方便生成批量的数据(例如数组)，也不好通过函数调用来生成配置值(例如获取文件路径)。
可以将公开和私有的配置文件分开管理。
在开源项目中，应只包含公开的配置项，而不包含私有的配置。不过这个需求对私有项目而言，没什么意义。
工作中我先后使用了几种Python项目的配置管理方式，主要使用的就两种：
为每个环境分别写一个配置文件，到相应的环境里，将该环境的配置文件软链接到正确的路径。
如何进行python项目配置管理?使用分布式的配置服务，从远程获取配置。
前者用起来其实蛮麻烦的，特别是想在本地跑单元测试时，需要替换成单元测试环境的配置文件。所以我又把环境变量给加了进来，检测到指定的环境变量，就加载单元测试的配置。而其他几个需求也能勉强实现，不过并不优雅。
后者不能直接使用 Python 代码，网络不好时需要降级成使用本地缓存，获取配置服务器的地址需要配置，配置服务器自己也需要配置，而且配置服务器还可能挂掉(知乎内网遇到过全部五台配置服务器都挂掉的情况)，所以我用得比较少。
其实仔细想想就能发现，“使用 Python 代码”也就意味着是 Python 源文件，“有通用的配置项”用 Python 实现就是继承，似乎没更好的选择了。
如何进行python项目配置管理?于是定义一个 Config 类，让其他环境的配置都继承这个类：
# config/default.pyclass Config(object):
DEBUG_MODE = True
PORT = 12345
COOKIE_SECRET = '李配default'
REDIS_CONFIG = {'host': 'localhost', 'port': 6379, 'db': 0} # ...
# config/development.pyfrom .default import Configclass DevelopmentConfig(Config):
COOKIE_SECRET = 'dev'
# config/unit_testing.pyfrom .default import Configclass UnitTestingConfig(Config):
REDIS_CONFIG = {'host': 'localhost', 'port': 6379, 'db': 1}
# config/proction.pyfrom .default import Configclass ProctionConfig(Config):
COOKIE_SECRET = '...'
REDIS_CONFIG = {'unix_socket_path': '/tmp/redis.sock'}
为了让每种环境都只有一个配置生效，还需要加一个策略：[page]
# config/__init__.pyimport loggingimport os
env = os.getenv('ENV') # 可以改成其他名字，自己进行设置try: if env == 'PRODUCTION': from .proction import
ProctionConfig as CONFIG
logging.info('Proction config loaded.') elif env == 'TESTING': from .testing import TestingConfig as CONFIG
logging.info('Testing config loaded.') elif env == 'UNIT_TESTING': from .unit_testing import UnitTestingConfig as
CONFIG
logging.info('Unit testing config loaded.') else: # 默认使用本地开发环境的配置，省去设置环境变量的环节
from .development import DevelopmentConfig as CONFIG
logging.info('Development config loaded.')except ImportError:
logging.warning('Loading config for %s environment failed, use default config instead.', env or 'unspecified')
from .default import Config as CONFIG
这样只需要在跑应用前，设置不同的环境变量即可。如果是用 Supervisor 维护进程的话，加上一行environment = ENV="PRODUCTION"配置即可。
当然还可以加其他的规则，例如没环境变量时，再检查机器名等。
如何进行python项目配置管理?现在前两个需求都解决了，再来看分模块的功能。
这个需求正好对应 Python 的 package，于是把每个Python项目的配置管理文件改成一个 package 即可。接着是如何同时满足第二和第三个需求。
举例来说，有这样的配置：
# config/default.pyclass Config(object):
ROOT_PATH = '/'
LOGIN_PATH = ROOT_PATH + 'login'
SCHEME = 'http'
DOMAIN = 'localhost'
ROOT_URL = '%s://%s%s' % (SCHEME, DOMAIN, ROOT_PATH)
# config/proction.pyfrom .default import Configclass ProctionConfig(Config):
ROOT_PATH = '/blog/'
LOGIN_PATH = ROOT_PATH + 'login'
DOMAIN = 'www.keakon.net'
ROOT_URL = '%s://%s%s' % (Config.SCHEME, DOMAIN, ROOT_PATH)
其中，LOGIN_PATH 和 LOGIN_URL 的设置逻辑其实是一样的，但值却不同，在 ProctionConfig 中重新赋值一次有点不太优雅。
于是把这些设置提取出来，在基本设置初始化以后，再进行设置：
class _AfterMeta(type):
def __init__(cls, name, bases, dct):
super(_AfterMeta, cls).__init__(name, bases, dct)
cls._after()class Config(object):
__metaclass__ = _AfterMeta
ROOT_PATH = '/'
SCHEME = 'http'
DOMAIN = 'localhost' @classmethod
def _after(cls):
cls.LOGIN_PATH = cls.ROOT_PATH + 'login'
cls.ROOT_URL = '%s://%s%s' % (cls.SCHEME, cls.DOMAIN, cls.ROOT_PATH)
# config/proction.pyfrom .default import Configclass ProctionConfig(Config):
ROOT_PATH = '/blog/'
DOMAIN = 'www.keakon.net'
如何进行python项目配置管理?所有有依赖的设置项，都在 _after 方法里赋值即可。
不过这样可能导致静态检查和代码提示出问题，而且使得所有子类都重新定义这些属性，即便没有修改父类的属性，或是覆盖掉手动设置的值。所以可以再修改一下：[page]
class _AfterMeta(type):
def __init__(cls, name, bases, dct):
super(_AfterMeta, cls).__init__(name, bases, dct)
cls._after(dct)class Config(object):
__metaclass__ = _AfterMeta
ROOT_PATH = '/'
LOGIN_PATH = ROOT_PATH + 'login'
SCHEME = 'http'
DOMAIN = 'localhost'
ROOT_URL = '%s://%s%s' % (SCHEME, DOMAIN, ROOT_PATH) @classmethod
def _after(cls, own_attrs):
if 'LOGIN_PATH' not in own_attrs and 'ROOT_PATH' in own_attrs:
cls.LOGIN_PATH = cls.ROOT_PATH + 'login'
if 'ROOT_URL' not in own_attrs and ('SCHEME' in own_attrs or 'DOMAIN' in own_attrs or 'ROOT_PATH' in
own_attrs):
cls.ROOT_URL = '%s://%s%s' % (cls.SCHEME, cls.DOMAIN, cls.ROOT_PATH)
虽然问题是解决了，不过代码量似乎大了点，写起来很麻烦。只是似乎也没有更好解决办法，所幸这类配置并不多，所以重写一次倒也无妨。
最后只剩下分离公开和私有配置这个需求了。
既然要有私有配置，很容易想到的就是把私有配置放在另一个仓库里，再 link 到配置文件夹即可：
└── config
├── __init__.py
├── default.py
├── development.py -> private/development.py
├── development_sample.py
├── private (cloned from another private repository)
│ ├── development.py
│ └── proction.py
├── proction.py -> private/proction.py
└── proction_sample.py
为了避免文件被提交到公共仓库，私有的配置文件可以加到 .gitignore 里。
顺带一提，我的博客数据全存放在 Redis 中，备份时只要备份 rdb 文件即可。不过用另一台服务器来备份显得太奢侈了，所以我在服务器上装了个 Dropbox，然后把 Dropbox 文件夹里的数据文件夹 link 到博客的数据文件夹里，即：
doodle
└── data
└── redis -> ~/Dropbox/doodle/redis
这样一旦文件有改动，Dropbox 就会自动进行备份，而且保留了所有的历史版本，简直完美。
如何进行python项目配置管理?这才是你最需要的python技术，我用于创建和管理虚拟环境的模块称为 venv。venv 通常会安装你可用的最新版本的 Python。如果您的系统上有多个版本的 Python，你能处理好吗?如果您还担心自己入门不顺利，那么本科目的其他文章一定会帮助你。