⑴ 如何使用python动态控制linux系统的内存占用百分比
如何使用Python动态控制Linux系统的内存占用百分比?
近期有网上朋友寻求帮助：如何通过脚本动态控制Linux系统的内存占用百分比？经过一番网络+编写调试，终于初步完成了动态控制Linux系统内存占用百分比。现写出来以帮助更多的朋友。
1 前言
根据需求是动态控制Linux系统内存占用百分比，比如当前内存占用30%，如果设置内存占用为70%，则需要申请内存使达到占用70%；如果再降低到40%，则需要释放部分申请的内存。其实脚本的本质是内存动态申请与释放。
注意：因为Python脚本运行之前内存有一定占用，故设定内存占用不能低于该百分比。
2 内存动态申请
通过查询资料，使用Python动态申请内存块，可以使用ctypes包中的函数，导入包及代码如下所示：
>>> from ctypes import *
>>> mem=create_string_buffer(1024)
说明：内存申请使用create_string_buffer()函数，上面申请了1024字节的内存块。
下面演示申请100MB内存前后变化
申请前如下图所示：
使用代码如下：
>>>mem=create_string_buffer(104857600)
申请后如下图所示：
从上述两幅图中可以看出，申请内存前内存占用295MB，申请后内存占用397MB，增加了约100MB内存占用。
3 内存动态释放
由于Python对内存是有垃圾回收机制的，采用对象引用计数方式。当对象的引用计数为0时，启动垃圾回收GC。此处内存动态释放就是使用该原理。
代码如下：
>>> mem=None
释放后内存占用如下图所示：
内存占用由397MB降低到297MB，释放了100MB内存占用。
说明：将None赋值给对象mem后，mem对象的引用计数即为0，此时垃圾回收启动，释放mem对象占用的内存。
4 系统总内存、占用内存检测
由于需要设定内存占用百分比，故需要获取系统总物理内存和占用内存。本文使用的方法是读取系统文件“/proc/meminfo”，从中解析出总内存大小以及当前内存占用大小等内存相关的信息。该文件内容格式如下图所示：
代码片段如下所示：
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
说明：按行读取meminfo文件内容，创建字典对象mem，将meminfo文件第一列设置为mem对象的键值，将meminfo文件第二列数字设置为mem对象的值。
5 获取用户输入百分比
通过读取键盘输入字符串，然后转换为数字实现接收用户输入的百分比，代码如下所示：
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
rate=float(input_str)
注意：此处键盘输入的都是字符串，需要进行字符串转换为数字，使用float()或long()函数进行转换。
6 动态设置内存占用百分比测试
测试使用两个Python脚本文件，分别是test.py和mem_rate.py，其功能分别是查看当前内存占用和动态设定内存占用百分比。如下图所示：
注意：上述两个文件需要使用“chmod +x *.py”修改为可执行属性。
6.1 查看当前内存占用
查看当前内存占用百分比，使用上述test.py文件，运行命令为“./test.py”，运行结果如下图所示：
当前使用内存为320MB，占用百分比为17%。
6.2 动态设置内存占用百分比
动态设置内存占用百分比使用上述mem_rate.py脚本，注意该脚本文件第一行代码为“#!/usr/bin/python2.6”，表示该脚本使用python2.6程序运行。该行需要修改为待运行Linux系统中Python实际的安装程序路径。
动态内存百分比设置界面如下图所示：
处于待输入状态。另外显示了当前内存占用（321MB），总内存大小（1869MB）以及内存占用百分比（17%）。
如果此时设置内存占用百分比为80%，则脚本会每次申请10MB空间，直至内存占用接近或等于80%为止。如下图所示：
内存申请过程如下图所示：
内存申请过程中占用百分比变化为：35%，45%，56%，70%，…
mem_rate.py运行过程如下图所示：
内存申请过程中占用变化为：1461MB，1471MB，1481MB，1491MB。
此时如果内存占用百分比设置为20%，则需要释放一部分内存。
test.py脚本运行过程如下图所示：
由于释放内存运行较快，抓取到最后结果
内存占用为20%。
mem_rate.py脚本运行过程如下图所示：
内存释放过程中内存占用为：413MB，403MB，393MB，383MB，最后内存占用稳定在20%，383MB。
输入“q”或“Q”退出内存占用百分比设定过程，如下图所示：
此时内存占用如下图所示：
内存占用恢复到运行mem_rate.py脚本之前状态，17%，321MB。
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
附：完整Python脚本代码
test.py
------------------------------------------------------------------------------------------------
#!/usr/bin/python2.6
def memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# - mem['Buffers']- mem['Cached']
return mem
mem=memory_stat()
print("Used(MB):%d"%(long(mem['MemUsed'])/1024/1024))
print("Rate:%d%%"%(100*long(mem['MemUsed'])/float(mem['MemTotal'])))
§§§§§§§§§§§§§§§§§§§§§§§§§§
mem_rate.py
---------------------------------------------------
#!/usr/bin/python2.6
from ctypes import *
# Get Memory Info(Total, Used... Byte)
def get_memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# Return MemroyInfo Object
return mem
# Get Simple Memory Info
def get_memory_info(mem):
# Byte -> MB
n=1024* 1024
used=float(mem['MemUsed'])/ n
total=float(mem['MemTotal'])/ n
rate=used/total* 100
smp={'used':used,'total':total,'rate':rate}
return smp
# Display Current Memory Info
def print_memory_info(mem):
# Get SimpleMemory Info
smp=get_memory_info(mem)
print("Used(MB):%d\tTotal(MB):%d\tUsedRate:%d%%"%(smp['used'], smp['total'], smp['rate']))
# Get Rate Of Memory Used To Be Setted(Integer Formate)
def input_memory_used_rate(org_rate):
# Byte -> MB
n=1024* 1024
while(True):
mem=get_memory_stat()
print_memory_info(mem)
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
if(len(input_str)== 0):
continue
if("q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
if("Q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
try:
rate=float(input_str)
if((rate>=org_rate)and (rate<=95)):
info={'rate':rate,'used':mem['MemUsed']/ n}
return info
else:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
except:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
# Set Rate Of Memory Used
def set_memory_used_rate(new_rate, total, pre_used,list):
if(new_rate==0):
return None
dest_mem=total* new_rate /100.0
# 10MB
mb10=10485760
n_chg=10
# Free Memory OrAllocate Memory ?
is_new=dest_mem>pre_used
cur_used=pre_used
while(True):
# To Calc FreeMemory Or Allocate Memory ?
need_new=dest_mem-n_chg>=pre_used
need_del=dest_mem+n_chg<=pre_used
# Need To AllocateMemory
if(is_new):
if(need_new):
p=create_string_buffer(mb10)
list.append(p)
dest_mem=dest_mem-n_chg
cur_used=cur_used+n_chg
else:
return"end"
# Need To FreeMemory
else:
idx=len(list)-1
if(need_deland (idx>=0)):
p=list[idx]
del list[idx]
p=None
dest_mem=dest_mem+n_chg
cur_used=cur_used-n_chg
else:
return"end"
print("****** MemoryUsed(MB):%d"%(cur_used))
# Entry Of Program
# List Of Memory Object, 10MB Of One Object
list=[]
# Get Current Memory Info
mem=get_memory_stat()
# Get Simple Memory Info
smp=get_memory_info(mem)
org_rate=smp['rate']
total=smp['total']
while(True):
# Get Rate OfMemory To Be Used
info=input_memory_used_rate(org_rate)
new_rate=float(info['rate'])
pre_used=float(info['used'])
# Set Rate OfMemory To Be Used
rtn=set_memory_used_rate(new_rate, total, pre_used, list)
if(not rtn):
print("bye!")
exit()
⑵ 如何编译可以在Windows下运行的带有Python支持的ARM Linux GDB
做这件事情的目的是为了在QtCreator里调试ARM Linux程序的时候，能看清楚QString、QList这些Qt特有的对象的内容，而不是一个完全看不懂的结构体。
目前（2014年8月）Linaro、CodeSourcery的GCC工具链里的GDB都不支持Python。想知道你用的GDB支持不支持，试一试就行，这样表示不支持：
(gdb) python
>print 'Hello GDB!'
>（按Ctrl+D）Python scripting is not supported in this of GDB.
这样表示支持：
(gdb) python
>print 'Hello GDB!'
>（按Ctrl+D）Hello GDB!
这件事情乍一看也很简单，只要把GDB源码下载下来，然后再配置，打开Python支持就行了。实际上会遇到的问题是，在MinGW下，又要与“\”和“:”这两个Windows路径里的刺头斗争了。我觉得我之前挺傻，编译MinGW下Qt的时候，就去硬磕源码和configure脚本去了。这次GDB的configure是自动生成的，不是给人看的，configure.ac看起来也很费劲，根本磕不下去，于是我换了个思路，在ubuntu下交叉编译吧，sudo apt-get install mingw32，这是Ubuntu下的MinGW交叉编译器。
然后是依赖，这样的GDB要依赖expat和python的开发版本。如果是ubuntu底下直接编译，apt-cache search一下他们的开发版本，然后sudo apt-get install一下就好了；给MinGW交叉编译就麻烦了。先说expat，这个好办，把http://downloads.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz下载下来，然后：
./configure --prefix=[安装目录，如/home/c/mingw-gdb/expat] --host=i586-mingw32msvc
make
make install
会提示一些警告，无视即可。
Python就无语了，目前的GDB貌似最高支持Python 2.7，而2.7版本的Python本身不支持MinGW…… 好在有高手做了Patch，也写了说明，可以参考这文章：http://mdqinc.com/blog/2011/10/cross-compiling-python-for-windows-with-mingw32/
但是，就算这样，编译也充满挑战，要修复很多问题，出来的Python还少“nt”模块。就在我觉得没办法的时候，突然发现Windows版Qt提供的MinGW居然内置了Python开发包，位置在Tools/mingw48_32/opt，赶紧把它拷贝到Linux下，比如/home/c/mingw-gdb/python。当然，你也必须确保ubuntu下有可用的python。
然后，给GDB打一个补丁：
--- gdb-7.8/gdb/configure 2014-07-29 20:37:42.000000000 +0800
+++ gdb-7.8-old/gdb/configure 2014-08-30 00:08:27.122042706 +0800
@@ -8263,21 +8263,22 @@
# We have a python program to use, but it may be too old.
# Don't flag an error for --with-python=auto (the default).
have_python_config=yes
- python_includes=`${python_prog} ${srcdir}/python/python-config.py --includes`
+ python_config_tool=`echo ${python_prog} | sed "s#python.exe#python-config#g"`
+ python_includes=`${python_config_tool} --includes`
if test $? != 0; then
have_python_config=failed
if test "${with_python}" != auto; then
as_fn_error "failure running python-config --includes" "$LINENO" 5
fi
fi
- python_libs=`${python_prog} ${srcdir}/python/python-config.py --ldflags`
+ python_libs=`${python_config_tool} --ldflags`
if test $? != 0; then
have_python_config=failed
if test "${with_python}" != auto; then
as_fn_error "failure running python-config --ldflags" "$LINENO" 5
fi
fi
- python_prefix=`${python_prog} ${srcdir}/python/python-config.py --exec-prefix`
+ python_prefix=`${python_config_tool} --exec-prefix`
if test $? != 0; then
have_python_config=failed
if test "${with_python}" != auto; then
@@ -8343,12 +8344,12 @@
return 0;
}
_ACEOF
-if ac_fn_c_try_link "$LINENO"; then :
+#if ac_fn_c_try_link "$LINENO"; then :
have_libpython=${version}
found_usable_python=yes
PYTHON_CPPFLAGS=$new_CPPFLAGS
PYTHON_LIBS=$new_LIBS
-fi
+#fi
rm -f core conftest.err conftest.$ac_objext \
conftest$ac_exeext conftest.$ac_ext
CPPFLAGS=$save_CPPFLAGS
这个补丁的目的是强制为检测到python。
然后给拷贝到Linux下的python开发包打一个补丁：
--- python-old/bin/python-config 2013-04-18 02:43:01.000000000 +0800
+++ python/bin/python-config 2014-08-30 00:53:16.630060288 +0800
@@ -1,4 +1,4 @@
-#!/temp/x32-480-posix-dwarf-r2/mingw32/opt/bin/python2.7.exe
+#!/usr/bin/python
import sys
import os
@@ -31,26 +31,23 @@
for opt in opt_flags:
if opt == '--prefix':
- print sysconfig.PREFIX
+ print '../python'
elif opt == '--exec-prefix':
- print sysconfig.EXEC_PREFIX
+ print '../python'
elif opt in ('--includes', '--cflags'):
- flags = ['-I' + sysconfig.get_python_inc(),
- '-I' + sysconfig.get_python_inc(plat_specific=True)]
+ flags = ['-I' + os.path.split(os.path.realpath(__file__))[0] + '/../include/python2.7']
if opt == '--cflags':
- flags.extend(getvar('CFLAGS').split())
+ flags += ['-fno-strict-aliasing -DMS_WIN32 -DMS_WINDOWS -DHAVE_USABLE_WCHAR_T -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes']
print ' '.join(flags)
elif opt in ('--libs', '--ldflags'):
- libs = getvar('LIBS').split() + getvar('SYSLIBS').split()
- libs.append('-lpython'+pyver)
+ libs = ['-lm -lpython2.7 -Wl,--out-implib=libpython2.7.dll.a']
# add the prefix/lib/pythonX.Y/config dir, but only if there is no
# shared library in prefix/lib/.
if opt == '--ldflags':
if not getvar('Py_ENABLE_SHARED'):
- libs.insert(0, '-L' + getvar('LIBPL'))
- libs.extend(getvar('LINKFORSHARED').split())
+ libs.insert(0, '-L' + os.path.split(os.path.realpath(__file__))[0] + '/../lib/python2.7/config')
print ' '.join(libs)
因为Linux下是无法运行开发包中的python.exe的，所以这个补丁借用了ubuntu的python。里面的cflags和ldflags都是在Windows底下运行原始python-config获得的。prefix和exec-prefix设成“../python”，可以在编译完以后，把python开发包拷贝到gdb安装目录里面的python子目录，这样运行GDB的时候就不需要设定PYTHONHOME环境变量了。
最后一个事情，确保你的Linux下有arm交叉编译器，我的是arm-linux-gnueabihf，是啥target就写啥。
准备工作做完了，开始配置和编译：
./configure --with-expat --host=i586-mingw32msvc --target=arm-linux-gnueabihf --with-libexpat-prefix=[expat安装位置] --with-python=[python开发包安装位置/bin/python.exe]
make
make DESTDIR=[GDB安装位置] install
然后把GDB安装位置下面的所有文件拷贝到Windows下，再把python开发包拷贝到同目录下的python子目录，大功告成。
如果提示没找到libpython2.7.dll，那就把GDB安装目录的python/bin下的拷贝到bin下。
如果发现生成的exe文件太大了，那就strip一下。
2015年9月12日追加：
在windows下调试时，一般会提示说加载不了共享库，让你用"set sysroot"或"set solib-search-path"之类设定路径的。这个问题可以通过.gdbinit文件，用上面这两条命令来设定路径解决，如果想一劳永逸，可以在编译的时候加上host_configargs环境变量来解决这个问题：
host_configargs=--with-sysroot=E:\MinGW\opt\sysroot-arm ./configure ...
或者
export host_configargs=--with-sysroot=E:\MinGW\opt\sysroot-arm
./configure ...
后面的路径是放在windows下的sysroot的位置。
⑶ 如何创建python开发环境
搭建Python语言IDE开发环境方法：
1、下载并安装Python For Windows。打开Python官方网站（python.org），推荐下载Python 2.7.X版本。
2、安装Python：一路默认设置Next下去，直到Finish，完成Python安装3、推荐使用PyCharm: PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。
4、下载PyCharm集成开发软件，官网提供了两种版本：Professional Edition（专业版可以试用30天，学习Python30天也够用了。，Community Edition（社区版，功能少一点但也够用了）。
5、安装PyCharm集成开发软件：一路默认设置Next下去，直到Finish，完成PyCharm的安装。
6、配置PyCharm一：风格（配色方案）的调整：：【File】→【Settings】→【 Editor】→【Colors & Fonts】→Scheme选择Dracula注意事项：每天第一次启动有点慢，第二次就快了。主题Scheme选择以后，需要重启软件才能生效高分辨率下，Pycharm的字体显得很小，可以在Colors & Fonts选项里设置。但先要复制一个Scheme才能更改字体大小