⑴ 如何使用python動態控制linux系統的內存佔用百分比
如何使用Python動態控制Linux系統的內存佔用百分比?
近期有網上朋友尋求幫助：如何通過腳本動態控制Linux系統的內存佔用百分比？經過一番網路+編寫調試，終於初步完成了動態控制Linux系統內存佔用百分比。現寫出來以幫助更多的朋友。
1 前言
根據需求是動態控制Linux系統內存佔用百分比，比如當前內存佔用30%，如果設置內存佔用為70%，則需要申請內存使達到佔用70%；如果再降低到40%，則需要釋放部分申請的內存。其實腳本的本質是內存動態申請與釋放。
注意：因為Python腳本運行之前內存有一定佔用，故設定內存佔用不能低於該百分比。
2 內存動態申請
通過查詢資料，使用Python動態申請內存塊，可以使用ctypes包中的函數，導入包及代碼如下所示：
>>> from ctypes import *
>>> mem=create_string_buffer(1024)
說明：內存申請使用create_string_buffer()函數，上面申請了1024位元組的內存塊。
下面演示申請100MB內存前後變化
申請前如下圖所示：
使用代碼如下：
>>>mem=create_string_buffer(104857600)
申請後如下圖所示：
從上述兩幅圖中可以看出，申請內存前內存佔用295MB，申請後內存佔用397MB，增加了約100MB內存佔用。
3 內存動態釋放
由於Python對內存是有垃圾回收機制的，採用對象引用計數方式。當對象的引用計數為0時，啟動垃圾回收GC。此處內存動態釋放就是使用該原理。
代碼如下：
>>> mem=None
釋放後內存佔用如下圖所示：
內存佔用由397MB降低到297MB，釋放了100MB內存佔用。
說明：將None賦值給對象mem後，mem對象的引用計數即為0，此時垃圾回收啟動，釋放mem對象佔用的內存。
4 系統總內存、佔用內存檢測
由於需要設定內存佔用百分比，故需要獲取系統總物理內存和佔用內存。本文使用的方法是讀取系統文件「/proc/meminfo」，從中解析出總內存大小以及當前內存佔用大小等內存相關的信息。該文件內容格式如下圖所示：
代碼片段如下所示：
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
說明：按行讀取meminfo文件內容，創建字典對象mem，將meminfo文件第一列設置為mem對象的鍵值，將meminfo文件第二列數字設置為mem對象的值。
5 獲取用戶輸入百分比
通過讀取鍵盤輸入字元串，然後轉換為數字實現接收用戶輸入的百分比，代碼如下所示：
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
rate=float(input_str)
注意：此處鍵盤輸入的都是字元串，需要進行字元串轉換為數字，使用float()或long()函數進行轉換。
6 動態設置內存佔用百分比測試
測試使用兩個Python腳本文件，分別是test.py和mem_rate.py，其功能分別是查看當前內存佔用和動態設定內存佔用百分比。如下圖所示：
注意：上述兩個文件需要使用「chmod +x *.py」修改為可執行屬性。
6.1 查看當前內存佔用
查看當前內存佔用百分比，使用上述test.py文件，運行命令為「./test.py」，運行結果如下圖所示：
當前使用內存為320MB，佔用百分比為17%。
6.2 動態設置內存佔用百分比
動態設置內存佔用百分比使用上述mem_rate.py腳本，注意該腳本文件第一行代碼為「#!/usr/bin/python2.6」，表示該腳本使用python2.6程序運行。該行需要修改為待運行Linux系統中Python實際的安裝程序路徑。
動態內存百分比設置界面如下圖所示：
處於待輸入狀態。另外顯示了當前內存佔用（321MB），總內存大小（1869MB）以及內存佔用百分比（17%）。
如果此時設置內存佔用百分比為80%，則腳本會每次申請10MB空間，直至內存佔用接近或等於80%為止。如下圖所示：
內存申請過程如下圖所示：
內存申請過程中佔用百分比變化為：35%，45%，56%，70%，…
mem_rate.py運行過程如下圖所示：
內存申請過程中佔用變化為：1461MB，1471MB，1481MB，1491MB。
此時如果內存佔用百分比設置為20%，則需要釋放一部分內存。
test.py腳本運行過程如下圖所示：
由於釋放內存運行較快，抓取到最後結果
內存佔用為20%。
mem_rate.py腳本運行過程如下圖所示：
內存釋放過程中內存佔用為：413MB，403MB，393MB，383MB，最後內存佔用穩定在20%，383MB。
輸入「q」或「Q」退出內存佔用百分比設定過程，如下圖所示：
此時內存佔用如下圖所示：
內存佔用恢復到運行mem_rate.py腳本之前狀態，17%，321MB。
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
附：完整Python腳本代碼
test.py
------------------------------------------------------------------------------------------------
#!/usr/bin/python2.6
def memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# - mem['Buffers']- mem['Cached']
return mem
mem=memory_stat()
print("Used(MB):%d"%(long(mem['MemUsed'])/1024/1024))
print("Rate:%d%%"%(100*long(mem['MemUsed'])/float(mem['MemTotal'])))
§§§§§§§§§§§§§§§§§§§§§§§§§§
mem_rate.py
---------------------------------------------------
#!/usr/bin/python2.6
from ctypes import *
# Get Memory Info(Total, Used... Byte)
def get_memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# Return MemroyInfo Object
return mem
# Get Simple Memory Info
def get_memory_info(mem):
# Byte -> MB
n=1024* 1024
used=float(mem['MemUsed'])/ n
total=float(mem['MemTotal'])/ n
rate=used/total* 100
smp={'used':used,'total':total,'rate':rate}
return smp
# Display Current Memory Info
def print_memory_info(mem):
# Get SimpleMemory Info
smp=get_memory_info(mem)
print("Used(MB):%d\tTotal(MB):%d\tUsedRate:%d%%"%(smp['used'], smp['total'], smp['rate']))
# Get Rate Of Memory Used To Be Setted(Integer Formate)
def input_memory_used_rate(org_rate):
# Byte -> MB
n=1024* 1024
while(True):
mem=get_memory_stat()
print_memory_info(mem)
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
if(len(input_str)== 0):
continue
if("q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
if("Q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
try:
rate=float(input_str)
if((rate>=org_rate)and (rate<=95)):
info={'rate':rate,'used':mem['MemUsed']/ n}
return info
else:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
except:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
# Set Rate Of Memory Used
def set_memory_used_rate(new_rate, total, pre_used,list):
if(new_rate==0):
return None
dest_mem=total* new_rate /100.0
# 10MB
mb10=10485760
n_chg=10
# Free Memory OrAllocate Memory ?
is_new=dest_mem>pre_used
cur_used=pre_used
while(True):
# To Calc FreeMemory Or Allocate Memory ?
need_new=dest_mem-n_chg>=pre_used
need_del=dest_mem+n_chg<=pre_used
# Need To AllocateMemory
if(is_new):
if(need_new):
p=create_string_buffer(mb10)
list.append(p)
dest_mem=dest_mem-n_chg
cur_used=cur_used+n_chg
else:
return"end"
# Need To FreeMemory
else:
idx=len(list)-1
if(need_deland (idx>=0)):
p=list[idx]
del list[idx]
p=None
dest_mem=dest_mem+n_chg
cur_used=cur_used-n_chg
else:
return"end"
print("****** MemoryUsed(MB):%d"%(cur_used))
# Entry Of Program
# List Of Memory Object, 10MB Of One Object
list=[]
# Get Current Memory Info
mem=get_memory_stat()
# Get Simple Memory Info
smp=get_memory_info(mem)
org_rate=smp['rate']
total=smp['total']
while(True):
# Get Rate OfMemory To Be Used
info=input_memory_used_rate(org_rate)
new_rate=float(info['rate'])
pre_used=float(info['used'])
# Set Rate OfMemory To Be Used
rtn=set_memory_used_rate(new_rate, total, pre_used, list)
if(not rtn):
print("bye!")
exit()
⑵ 如何編譯可以在Windows下運行的帶有Python支持的ARM Linux GDB
做這件事情的目的是為了在QtCreator里調試ARM Linux程序的時候，能看清楚QString、QList這些Qt特有的對象的內容，而不是一個完全看不懂的結構體。
目前（2014年8月）Linaro、CodeSourcery的GCC工具鏈里的GDB都不支持Python。想知道你用的GDB支持不支持，試一試就行，這樣表示不支持：
(gdb) python
>print 'Hello GDB!'
>（按Ctrl+D）Python scripting is not supported in this of GDB.
這樣表示支持：
(gdb) python
>print 'Hello GDB!'
>（按Ctrl+D）Hello GDB!
這件事情乍一看也很簡單，只要把GDB源碼下載下來，然後再配置，打開Python支持就行了。實際上會遇到的問題是，在MinGW下，又要與「\」和「:」這兩個Windows路徑里的刺頭斗爭了。我覺得我之前挺傻，編譯MinGW下Qt的時候，就去硬磕源碼和configure腳本去了。這次GDB的configure是自動生成的，不是給人看的，configure.ac看起來也很費勁，根本磕不下去，於是我換了個思路，在ubuntu下交叉編譯吧，sudo apt-get install mingw32，這是Ubuntu下的MinGW交叉編譯器。
然後是依賴，這樣的GDB要依賴expat和python的開發版本。如果是ubuntu底下直接編譯，apt-cache search一下他們的開發版本，然後sudo apt-get install一下就好了；給MinGW交叉編譯就麻煩了。先說expat，這個好辦，把http://downloads.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz下載下來，然後：
./configure --prefix=[安裝目錄，如/home/c/mingw-gdb/expat] --host=i586-mingw32msvc
make
make install
會提示一些警告，無視即可。
Python就無語了，目前的GDB貌似最高支持Python 2.7，而2.7版本的Python本身不支持MinGW…… 好在有高手做了Patch，也寫了說明，可以參考這文章：http://mdqinc.com/blog/2011/10/cross-compiling-python-for-windows-with-mingw32/
但是，就算這樣，編譯也充滿挑戰，要修復很多問題，出來的Python還少「nt」模塊。就在我覺得沒辦法的時候，突然發現Windows版Qt提供的MinGW居然內置了Python開發包，位置在Tools/mingw48_32/opt，趕緊把它拷貝到Linux下，比如/home/c/mingw-gdb/python。當然，你也必須確保ubuntu下有可用的python。
然後，給GDB打一個補丁：
--- gdb-7.8/gdb/configure 2014-07-29 20:37:42.000000000 +0800
+++ gdb-7.8-old/gdb/configure 2014-08-30 00:08:27.122042706 +0800
@@ -8263,21 +8263,22 @@
# We have a python program to use, but it may be too old.
# Don't flag an error for --with-python=auto (the default).
have_python_config=yes
- python_includes=`${python_prog} ${srcdir}/python/python-config.py --includes`
+ python_config_tool=`echo ${python_prog} | sed "s#python.exe#python-config#g"`
+ python_includes=`${python_config_tool} --includes`
if test $? != 0; then
have_python_config=failed
if test "${with_python}" != auto; then
as_fn_error "failure running python-config --includes" "$LINENO" 5
fi
fi
- python_libs=`${python_prog} ${srcdir}/python/python-config.py --ldflags`
+ python_libs=`${python_config_tool} --ldflags`
if test $? != 0; then
have_python_config=failed
if test "${with_python}" != auto; then
as_fn_error "failure running python-config --ldflags" "$LINENO" 5
fi
fi
- python_prefix=`${python_prog} ${srcdir}/python/python-config.py --exec-prefix`
+ python_prefix=`${python_config_tool} --exec-prefix`
if test $? != 0; then
have_python_config=failed
if test "${with_python}" != auto; then
@@ -8343,12 +8344,12 @@
return 0;
}
_ACEOF
-if ac_fn_c_try_link "$LINENO"; then :
+#if ac_fn_c_try_link "$LINENO"; then :
have_libpython=${version}
found_usable_python=yes
PYTHON_CPPFLAGS=$new_CPPFLAGS
PYTHON_LIBS=$new_LIBS
-fi
+#fi
rm -f core conftest.err conftest.$ac_objext \
conftest$ac_exeext conftest.$ac_ext
CPPFLAGS=$save_CPPFLAGS
這個補丁的目的是強制為檢測到python。
然後給拷貝到Linux下的python開發包打一個補丁：
--- python-old/bin/python-config 2013-04-18 02:43:01.000000000 +0800
+++ python/bin/python-config 2014-08-30 00:53:16.630060288 +0800
@@ -1,4 +1,4 @@
-#!/temp/x32-480-posix-dwarf-r2/mingw32/opt/bin/python2.7.exe
+#!/usr/bin/python
import sys
import os
@@ -31,26 +31,23 @@
for opt in opt_flags:
if opt == '--prefix':
- print sysconfig.PREFIX
+ print '../python'
elif opt == '--exec-prefix':
- print sysconfig.EXEC_PREFIX
+ print '../python'
elif opt in ('--includes', '--cflags'):
- flags = ['-I' + sysconfig.get_python_inc(),
- '-I' + sysconfig.get_python_inc(plat_specific=True)]
+ flags = ['-I' + os.path.split(os.path.realpath(__file__))[0] + '/../include/python2.7']
if opt == '--cflags':
- flags.extend(getvar('CFLAGS').split())
+ flags += ['-fno-strict-aliasing -DMS_WIN32 -DMS_WINDOWS -DHAVE_USABLE_WCHAR_T -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes']
print ' '.join(flags)
elif opt in ('--libs', '--ldflags'):
- libs = getvar('LIBS').split() + getvar('SYSLIBS').split()
- libs.append('-lpython'+pyver)
+ libs = ['-lm -lpython2.7 -Wl,--out-implib=libpython2.7.dll.a']
# add the prefix/lib/pythonX.Y/config dir, but only if there is no
# shared library in prefix/lib/.
if opt == '--ldflags':
if not getvar('Py_ENABLE_SHARED'):
- libs.insert(0, '-L' + getvar('LIBPL'))
- libs.extend(getvar('LINKFORSHARED').split())
+ libs.insert(0, '-L' + os.path.split(os.path.realpath(__file__))[0] + '/../lib/python2.7/config')
print ' '.join(libs)
因為Linux下是無法運行開發包中的python.exe的，所以這個補丁借用了ubuntu的python。裡面的cflags和ldflags都是在Windows底下運行原始python-config獲得的。prefix和exec-prefix設成「../python」，可以在編譯完以後，把python開發包拷貝到gdb安裝目錄裡面的python子目錄，這樣運行GDB的時候就不需要設定PYTHONHOME環境變數了。
最後一個事情，確保你的Linux下有arm交叉編譯器，我的是arm-linux-gnueabihf，是啥target就寫啥。
准備工作做完了，開始配置和編譯：
./configure --with-expat --host=i586-mingw32msvc --target=arm-linux-gnueabihf --with-libexpat-prefix=[expat安裝位置] --with-python=[python開發包安裝位置/bin/python.exe]
make
make DESTDIR=[GDB安裝位置] install
然後把GDB安裝位置下面的所有文件拷貝到Windows下，再把python開發包拷貝到同目錄下的python子目錄，大功告成。
如果提示沒找到libpython2.7.dll，那就把GDB安裝目錄的python/bin下的拷貝到bin下。
如果發現生成的exe文件太大了，那就strip一下。
2015年9月12日追加：
在windows下調試時，一般會提示說載入不了共享庫，讓你用"set sysroot"或"set solib-search-path"之類設定路徑的。這個問題可以通過.gdbinit文件，用上面這兩條命令來設定路徑解決，如果想一勞永逸，可以在編譯的時候加上host_configargs環境變數來解決這個問題：
host_configargs=--with-sysroot=E:\MinGW\opt\sysroot-arm ./configure ...
或者
export host_configargs=--with-sysroot=E:\MinGW\opt\sysroot-arm
./configure ...
後面的路徑是放在windows下的sysroot的位置。
⑶ 如何創建python開發環境
搭建Python語言IDE開發環境方法：
1、下載並安裝Python For Windows。打開Python官方網站（python.org），推薦下載Python 2.7.X版本。
2、安裝Python：一路默認設置Next下去，直到Finish，完成Python安裝3、推薦使用PyCharm: PyCharm是一種Python IDE，帶有一整套可以幫助用戶在使用Python語言開發時提高其效率的工具，比如調試、語法高亮、Project管理、代碼跳轉、智能提示、自動完成、單元測試、版本控制。
4、下載PyCharm集成開發軟體，官網提供了兩種版本：Professional Edition（專業版可以試用30天，學習Python30天也夠用了。，Community Edition（社區版，功能少一點但也夠用了）。
5、安裝PyCharm集成開發軟體：一路默認設置Next下去，直到Finish，完成PyCharm的安裝。
6、配置PyCharm一：風格（配色方案）的調整：：【File】→【Settings】→【 Editor】→【Colors & Fonts】→Scheme選擇Dracula注意事項：每天第一次啟動有點慢，第二次就快了。主題Scheme選擇以後，需要重啟軟體才能生效高解析度下，Pycharm的字體顯得很小，可以在Colors & Fonts選項里設置。但先要復制一個Scheme才能更改字體大小