linux匿名內存

❶ linux系統基本的內存管理知識講解

Linux系統基本的內存管理知識講解

內存是Linux內核所管理的最重要的資源之一。內存管理系統是操作系統中最為重要的部分，因為系統的物理內存總是少於系統所需要的內存數量。虛擬內存就是為了克服這個矛盾而採用的策略。系統的虛擬內存通過在各個進程之間共享內存而使系統看起來有多於實際內存的內存容量。Linux支持虛擬內存, 就是使用磁碟作為RAM的擴展，使可用內存相應地有效擴大。核心把當前不用的內存塊存到硬碟，騰出內存給其他目的。當原來的內容又要使用時，再讀回內存。

一、內存使用情況監測

(1)實時監控內存使用情況

在命令行使用「Free」命令可以監控內存使用情況

代碼如下:

#free

total used free shared buffers cached

Mem: 256024 192284 63740 0 10676 101004

-/+ buffers/cache: 80604 175420

Swap: 522072 0 522072

上面給出了一個256兆的RAM和512兆交換空間的'系統情況。第三行輸出(Mem:)顯示物理內存。total列不顯示核心使用的物理內存(通常大約1MB)。used列顯示被使用的內存總額(第二行不計緩沖)。 free列顯示全部沒使用的內存。Shared列顯示多個進程共享的內存總額。Buffers列顯示磁碟緩存的當前大小。第五行(Swap:)對對換空間，顯示的信息類似上面。如果這行為全0，那麼沒使用對換空間。在預設的狀態下，free命令以千位元組(也就是1024位元組為單位)來顯示內存使用情況。可以使用—h參數以位元組為單位顯示內存使用情況，或者可以使用—m參數以兆位元組為單位顯示內存使用情況。還可以通過—s參數使用命令來不間斷地監視內存使用情況：

#free –b –s2

這個命令將會在終端窗口中連續不斷地報告內存的使用情況，每2秒鍾更新一次。

(2)組合watch與 free命令用來實時監控內存使用情況：

代碼如下:

#watch -n 2 -d free

Every 2.0s: free Fri Jul 6 06:06:12 2007

total used free shared buffers cached

Mem: 233356 218616 14740 0 5560 64784

-/+ buffers/cache: 148272 85084

Swap: 622584 6656 615928

watch命令會每兩秒執行 free一次，執行前會清除屏幕，在同樣位置顯示數據。因為 watch命令不會卷動屏幕，所以適合出長時間的監測內存使用率。可以使用 -n選項，控制執行的頻率;也可以利用 -d選項，讓命令將每次不同的地方顯示出來。Watch命令會一直執行，直到您按下 [Ctrl]-[C] 為止。

二、虛擬內存的概念

(1)Linux虛擬內存實現機制

Linux虛擬內存的實現需要六種機制的支持：地址映射機制、內存分配回收機制、緩存和刷新機制、請求頁機制、交換機制、內存共享機制。

首先內存管理程序通過映射機制把用戶程序的邏輯地址映射到物理地址，在用戶程序運行時如果發現程序中要用的虛地址沒有對應的物理內存時，就發出了請求頁要求;如果有空閑的內存可供分配，就請求分配內存(於是用到了內存的分配和回收)，並把正在使用的物理頁記錄在緩存中(使用了緩存機制)。 如果沒有足夠的內存可供分配，那麼就調用交換機制，騰出一部分內存。另外在地址映射中要通過TLB(翻譯後援存儲器)來尋找物理頁;交換機制中也要用到交換緩存，並且把物理頁內容交換到交換文件中後也要修改頁表來映射文件地址。

(2)虛擬內存容量設定

也許有人告訴你，應該分配2倍於物理內存的虛擬內存，但這是個不固定的規律。如果你的物理保存比較小，可以這樣設定。如果你有1G物理內存或更多的話，可以縮小一下虛擬內存。Linux會把大量的內存用做Cache的,但在資源緊張時回收回.。你只要看到swap為0或者很小就可以放心了,因為內存放著不用才是最大的浪費。

三、使甩vmstat命令監視虛擬內存使用情況

vmstat是Virtual Meomory Statistics(虛擬內存統計)的縮寫，可對操作系統的虛擬內存、進程、CPU活動進行監視。它是對系統的整體情況進行統計，不足之處是無法對某個進程進行深入分析。通常使用vmstat 5 5(表示在5秒時間內進行5次采樣)命令測試。將得到一個數據匯總它可以反映真正的系統情況。

代碼如下:

#vmstat 5 5

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

1 0 62792 3460 9116 88092 6 30 189 89 1061 569 17 28 54 2

0 0 62792 3400 9124 88092 0 0 0 14 884 434 4 14 81 0

0 0 62792 3400 9132 88092 0 0 0 14 877 424 4 15 81 0

1 0 62792 3400 9140 88092 0 0 0 14 868 418 6 20 74 0

1 0 62792 3400 9148 88092 0 0 0 15 847 400 9 25 67 0

vmstat命令輸出分成六個部分：

❷ 如何手動釋放Linux內存的方法

1、首先打開Linux命令窗口，可使用快捷鍵Ctrl+Alt+T打開。

❸ 探討一下 Linux 共享內存的 N 種方式

關於 Linux 共享內存，寫得最好的應該是宋寶華的 《世上最好的共享內存》 一文。

本文可以說是對這篇文章的學習筆記，順手練習了一下 rust libc —— shichaoyuan/learn_rust/linux-shmipc-demo

按照宋寶華的總結，當前有四種主流的共享內存方式：

前兩種方式比較符合傳統的用法，共享內存做為進程間通信的媒介。
第三種方式更像是通過傳遞內存「句柄」進行數據傳輸。
第四種方式是為設備間傳遞數據設計，避免內存拷貝，直接傳遞內存「句柄」。

這里嘗試了一下第二種和第三種方式。

這套 API 應該是最普遍的 —— shm_open + mmap，本質上來說 Aeron 也是用的這種方式（關於 Aeron 可以參考 我之前的文章 ）。

看一下 glibc 中 shm_open 函數的實現就一清二楚了：

shm_open 函數就是在 /dev/shm 目錄下建文件，該目錄掛載為 tmpfs，至於 tmpfs 可以簡單理解為存儲介質是內存的一種文件系統，更准確的理解可以參考官方文檔 tmpfs.txt 。

然後通過 mmap 函數將 tmpfs 文件映射到用戶空間就可以隨意操作了。

優點：
這種方式最大的優勢在於共享的內存是有「實體」（也就是 tmpfs 中的文件）的，所以多個進程可以很容易通過文件名這個信息構建共享內存結構，特別適合把共享內存做為通信媒介的場景（例如 Aeron ）。

缺點：
如果非要找一個缺點的話，可能是，文件本身獨立於進程的生命周期，在使用完畢後需要注意刪除文件（僅僅 close 是不行的），否則會一直佔用內存資源。

memfd_create 函數的作用是創建一個匿名的文件，返回對應的 fd，這個文件當然不普通，它存活在內存中。更准確的理解可以參考官方文檔 memfd_create(2) 。

直觀理解，memfd_create 與 shm_open 的作用是一樣的，都是創建共享內存實體，只是 memfd_create 創建的實體是匿名的，這就帶了一個問題：如何讓其它進程獲取到匿名的實體？shm_open 方式有具體的文件名，所以可以通過打開文件的方式獲取，那麼對於匿名的文件怎麼處理呢？

答案是：通過 Unix Domain Socket 傳遞 fd。

rust 的 UDS 實現：
rust 在 std 中已經提供了 UDS 的實現，但是關於傳遞 fd 的 send_vectored_with_ancillary 函數還屬於 nightly-only experimental API 階段。所以這里使用了一個三方 crate —— sendfd ，坦白說可以自己實現一下，使用 libc 構建好 SCM_RIGHTS 數據，sendmsg 出去即可，不過細節還是挺多，我這里就放棄了。

這套 API 設計更靈活，直接拓展了我的思路，本來還是受限於 Aeron 的用法，如果在這套 API 的加持下，是否可以通過傳遞數據包內存塊（fd）真正實現零拷貝呢？

優點：
靈活。

缺點：
無

❹ 共享內存 linux下怎麼跑

linux 共享內存實現

說起共享內存，一般來說會讓人想起下面一些方法：
1、多線程。線程之間的內存都是共享的。更確切的說，屬於同一進程的線程使用的是同一個地址空間，而不是在不同地址空間之間進行內存共享；
2、父子進程間的內存共享。父進程以MAP_SHARED|MAP_ANONYMOUS選項mmap一塊匿名內存，fork之後，其子孫進程之間就能共享這塊內存。這種共享內存由於受到進程父子關系的限制，一般較少使用；
3、mmap文件。多個進程mmap到同一個文件，實際上就是大家在共享文件pagecache中的內存。不過文件牽涉到磁碟的讀寫，用來做共享內存顯然十分笨重，所以就有了不跟磁碟扯上關系的內存文件，也就是我們這里要討論的tmpfs和shmem；

tmpfs是一套虛擬的文件系統，在其中創建的文件都是基於內存的，機器重啟即消失。
shmem是一套ipc，通過相應的ipc系統調用shmget能夠以指定key創建一塊的共享內存。需要使用這塊內存的進程可以通過shmat系統調用來獲得它。
雖然是兩套不同的介面，但是在內核裡面的實現卻是同一套。shmem內部掛載了一個tmpfs分區（用戶不可見），shmget就是在該分區下獲取名為"SYSV${key}"的文件。然後shmat就相當於mmap這個文件。
所以我們接下來就把tmpfs和shmem當作同一個東西來討論了。

tmpfs/shmem是一個介於文件和匿名內存之間的東西。
一方面，它具有文件的屬性，能夠像操作文件一樣去操作它。它有自己inode、有自己的pagecache；
另一方面，它也有匿名內存的屬性。由於沒有像磁碟這樣的外部存儲介質，內核在內存緊缺時不能簡單的將page從它們的pagecache中丟棄，而需要swap-out；（參閱《linux頁面回收淺析》）

對tmpfs/shmem內存的讀寫，就是對pagecache中相應位置的page所代表的內存進行讀寫，這一點跟普通的文件映射沒有什麼不同。
如果進程地址空間的相應位置尚未映射，則會建立到pagecache中相應page的映射；
如果pagecache中的相應位置還沒有分配page，則會分配一個。當然，由於不存在磁碟上的源數據，新分配的page總是空的（特別的，通過read系統調用去讀一個尚未分配page的位置時，並不會分配新的page，而是共享ZERO_PAGE）；
如果pagecache中相應位置的page被回收了，則會先將其恢復；

對於第三個「如果」，tmpfs/shmem和普通文件的page回收及其恢復方式是不同的：
page回收時，跟普通文件的情況一樣，內核會通過prio_tree反向映射找到映射這個page的每一個pagetable，然後將其中對應的pte清空。
不同之處是普通文件的page在確保與磁碟同步（如果page為臟的話需要刷回磁碟）之後就可以丟棄了，而對於tmpfs/shmem的page則需要進行swap-out。
注意，匿名page在被swap-out時，並不是將映射它的pte清空，而是得在pte上填寫相應的swap_entry，以便知道page被換出到哪裡去，否則再需要這個page的時候就沒法swap-in了。
而tmpfs/shmem的page呢？pagetable中對應的pte被清空，swap_entry會被存放在pagecache的radix_tree的對應slot上。

等下一次訪問觸發pagefault時，page需要恢復。
普通文件的page恢復跟page未分配時的情形一樣，需要新分配page、然後根據映射的位置重新從磁碟讀出相應的數據；
而tmpfs/shmem則是通過映射的位置找到radix_tree上對應的slot，從中得到swap_entry，從而進行swap-in，並將新的page放回pagecache；

這里就有個問題了，在pagecache的radix_tree的某個slot上，怎麼知道裡面存放著的是正常的page？還是swap-out後留下的swap_entry？
如果是swap_entry，那麼slot上的值將被加上RADIX_TREE_EXCEPTIONAL_ENTRY標記（值為2）。swap_entry的值被左移兩位後OR上RADIX_TREE_EXCEPTIONAL_ENTRY，填入slot。
也就是說，如果${slot}&RADIX_TREE_EXCEPTIONAL_ENTRY!=0，則它代表swap_entry，且swap_entry的值是${slot}>>2；否則它代表page，${slot}就是指向page的指針，當然其值可能是NULL，說明page尚未分配。
那麼顯然，page的地址值其末兩位肯定是0，否則就可能跟RADIX_TREE_EXCEPTIONAL_ENTRY標記沖突了；而swap_entry的值最大隻能是30bit或62bit（對應32位或64位機器），否則左移兩位就溢出了。

最後以一張圖說明一下匿名page、文件映射page、tmpfs/shmempage的回收及恢復過程：

❺ Linux內存機制（swap）

我們知道，直接從物理內存讀寫數據要比從硬碟讀寫數據要快的多，因此，我們希望所有數據的讀取和寫入都在內存完成，而內存是有限的，這樣就引出了物理內存與虛擬內存的概念。

物理內存就是系統硬體提供的內存大小，是真正的內存，相對於物理內存，在linux下還有一個虛擬內存的概念，虛擬內存就是為了滿足物理內存的不足而提出的策略，它是利用磁碟空間虛擬出的一塊邏輯內存，用作虛擬內存的磁碟空間被稱為交換空間（Swap Space）。

作為物理內存的擴展，linux會在物理內存不足時，使用交換分區的虛擬內存，更詳細的說，就是內核會將暫時不用的內存塊信息寫到交換空間，這樣以來，物理內存得到了釋放，這塊內存就可以用於其它目的，當需要用到原始的內容時，這些信息會被重新從交換空間讀入物理內存。

Linux的內存管理採取的是分頁存取機制，為了保證物理內存能得到充分的利用，內核會在適當的時候將物理內存中不經常使用的數據塊自動交換到虛擬內存中，而將經常使用的信息保留到物理內存。

要深入了解linux內存運行機制，需要知道下面提到的幾個方面：

Linux系統會不時的進行頁面交換操作，以保持盡可能多的空閑物理內存，即使並沒有什麼事情需要內存，Linux也會交換出暫時不用的內存頁面。這可以避免等待交換所需的時間。

Linux 進行頁面交換是有條件的，不是所有頁面在不用時都交換到虛擬內存，linux內核根據」最近最經常使用「演算法，僅僅將一些不經常使用的頁面文件交換到虛擬 內存，有時我們會看到這么一個現象：linux物理內存還有很多，但是交換空間也使用了很多。其實，這並不奇怪，例如，一個佔用很大內存的進程運行時，需 要耗費很多內存資源，此時就會有一些不常用頁面文件被交換到虛擬內存中，但後來這個佔用很多內存資源的進程結束並釋放了很多內存時，剛才被交換出去的頁面 文件並不會自動的交換進物理內存，除非有這個必要，那麼此刻系統物理內存就會空閑很多，同時交換空間也在被使用，就出現了剛才所說的現象了。關於這點，不 用擔心什麼，只要知道是怎麼一回事就可以了。

交換空間的頁面在使用時會首先被交換到物理內存，如果此時沒有足夠的物理內存來容納這些頁 面，它們又會被馬上交換出去，如此以來，虛擬內存中可能沒有足夠空間來存儲這些交換頁面，最終會導致linux出現假死機、服務異常等問題，linux雖 然可以在一段時間內自行恢復，但是恢復後的系統已經基本不可用了。

因此，合理規劃和設計Linux內存的使用，是非常重要的.

在Linux 操作系統中，當應用程序需要讀取文件中的數據時，操作系統先分配一些內存，將數據從磁碟讀入到這些內存中，然後再將數據分發給應用程序；當需要往文件中寫 數據時，操作系統先分配內存接收用戶數據，然後再將數據從內存寫到磁碟上。然而，如果有大量數據需要從磁碟讀取到內存或者由內存寫入磁碟時，系統的讀寫性 能就變得非常低下，因為無論是從磁碟讀數據，還是寫數據到磁碟，都是一個很消耗時間和資源的過程，在這種情況下，Linux引入了buffers和 cached機制。

buffers與cached都是內存操作，用來保存系統曾經打開過的文件以及文件屬性信息，這樣當操作系統需要讀取某些文件時，會首先在buffers 與cached內存區查找，如果找到，直接讀出傳送給應用程序，如果沒有找到需要數據，才從磁碟讀取，這就是操作系統的緩存機制，通過緩存，大大提高了操 作系統的性能。但buffers與cached緩沖的內容卻是不同的。

buffers是用來緩沖塊設備做的，它只記錄文件系統的元數據（metadata）以及 tracking in-flight pages，而cached是用來給文件做緩沖。更通俗一點說：buffers主要用來存放目錄裡面有什麼內容，文件的屬性以及許可權等等。而cached直接用來記憶我們打開過的文件和程序。

為了驗證我們的結論是否正確，可以通過vi打開一個非常大的文件，看看cached的變化，然後再次vi這個文件，感覺一下兩次打開的速度有何異同，是不是第二次打開的速度明顯快於第一次呢？接著執行下面的命令：

find / -name .conf 看看buffers的值是否變化，然後重復執行find命令，看看兩次顯示速度有何不同。

上面這個60代表物理內存在使用40%的時候才會使用swap（參考網路資料：當剩餘物理內存低於40%（40=100-60）時，開始使用交換空間） swappiness=0的時候表示最大限度使用物理內存，然後才是 swap空間，swappiness＝100的時候表示積極的使用swap分區，並且把內存上的數據及時的搬運到swap空間裡面。

值越大表示越傾向於使用swap。可以設為0，這樣做並不會禁止對swap的使用，只是最大限度地降低了使用swap的可能性。

通常情況下：swap分區設置建議是內存的兩倍 （內存小於等於4G時），如果內存大於4G，swap只要比內存大就行。另外盡量的將swappiness調低，這樣系統的性能會更好。

B. 修改swappiness參數

永久性修改：

立即生效，重啟也可以生效。

一般系統是不會自動釋放內存的 關鍵的配置文件/proc/sys/vm/drop_caches。這個文件中記錄了緩存釋放的參數，默認值為0，也就是不釋放緩存。他的值可以為0~3之間的任意數字，代表著不同的含義：

0 – 不釋放 1 – 釋放頁緩存 2 – 釋放dentries和inodes 3 – 釋放所有緩存

前提：首先要保證內存剩餘要大於等於swap使用量，否則會宕機！根據內存機制，swap分區一旦釋放，所有存放在swap分區的文件都會轉存到物理內存上。通常通過重新掛載swap分區完成釋放swap。
a.查看當前swap分區掛載在哪？b.關停這個分區 c.查看狀態：d.查看swap分區是否關停，最下面一行顯示全 e.將swap掛載到/dev/sda5上 f.查看掛載是否成功

❻ Linux進程的內存使用解析

進程XXX佔用了多少內存？這是個經常被問到，也經常被答錯的問題。linux進程的內存分配是個比較復雜的話題，而linux上的工具往往把這個問題過分簡單化，因此引出不少誤解和困惑。首先把ps,
top這類工具扔掉，然後看這么一個簡單程序：[root@pczou
pczou]#
cat
./prog.c#i
nclude#i
nclude#i
nclude#i
nclude#define
ONEM
(1024*1024)
www.shiwu.com
int
func(){char
s[16*ONEM];char*
p;p
=
malloc(32*ONEM);pause();return
0;}int
main(){printf(pid:
%d/n,
getpid());func();return
0;}其中func()這個函數分配了32MB的內存，以及16MB的堆棧。運行一下這個prog程序，prog會停在pause()的位置，看看ps怎麼說：USER
PID
%CPU
%MEM
VSZ
RSS
TTY
STAT
START
TIME
COMMANDroot
4238
0.0
0.0
52396
352
pts/0
S
21:29
0:00
./progVSZ指的是進程內存空間的大小，這里是52396KB;RSS指的是駐留物理內存中的內存大小，這里是352KB。一般系統管理員知道VSZ並不代表進程真正用到的內存，因為有些空間會僅在頁表中掛個名，也就是說只是虛擬存在著，只有真正用到的時候內核才會把虛擬頁面和真正的物理頁面映射起來。比如，prog.c中用malloc()分配的32MB內存，由於程序中並沒有用到這些內存，沒有物理內存被分配，也就不應算到進程的帳上。
www.shiwu.com
進程的內存使用情況比較復雜，這是因為：進程所申請的內存不一定真正會被用到真正用到了的內存也不一定是只有該進程自己在用
(比如動態共享庫)所以酒足飯飽結帳的時候，飯館打出的帳單中往往漏洞百出，不是計入了沒上的菜，就是一個菜算了兩份錢。而ps給出的就是這樣的糊塗帳單，不足為憑。算清楚帳的唯一辦法是把每個菜都仔細過一遍，看看有沒有上，有沒有重復。下面的帳單要清楚多了：Virtual
memory
:
52396
KBEffective
VM
:
52120
KBMapped
:
352
KBEffective
mapped:
76.6
KBSole
use
:
72
KBPer
file
memory
useld-2.3.4.so
:
VM
94208
B,
M
90112
B,
S
8192
Bprog
:
VM
8192
B,
M
8192
B,
S
8192
Blibc-2.3.4.so
:
VM
1180
KB,
M
221184
B,
S
16384
B可以看出，雖然虛擬地址空間是52396KB，實際映射(a.k.a.
分配)的空間是352KB，這和ps給出的結果一致。再看Effective
Mapped這個值，僅為76.6
KB。這個值的計算方法是：有效的實際使用內存
=
該進程獨占的內存
+
共享的內存A
/共享A的進程數目
+
共享的內存B
/共享B的進程數目
+
...比如對於一個kde應用程序kontact，它用的Qt庫的虛擬地址空間為
7M，而實際映射的空間有4.5M，也就是說真正給
Qt分配物理內存大小為4.5M。假設有10個KDE應用正在運行，那麼記到kontact帳上的就不應該是4.5M，而是A-A之後的0.45M。這么算帳雖然並不十分准確，但Effective
Mapped已經足以說明進程所佔用內存的實際大小了。
www.shiwu.com
OK，最後用這個方法給系統中所有進程都結下帳：從上面的統計結果可以看出：雖然firefox的佔用虛擬空間是最大的，但其實際佔用的內存卻比X
Server要少。firefox
的實際佔用的內存和其RSS
(a.k.a.
mapped)差別不大，佔RSS的99%;而kontact的實際佔用內存卻僅佔RSS的63%，有27%的內存是共享的。由此可以粗略看出我用的窗口管理器是KDE而非Gnome，why?
因為Qt之類的共享庫被很多KDE進程分擔了。sole值可以理解為private
mapped，也就是這個進程退出後可能被釋放的內存
(對於非匿名的映射頁面可能還會存留一段時間)。作者
railon