Ⅰ linux - 用戶態內存映射 和 內核態內存映射
操作系統的內存管理，主要分為三個方面。
第一，物理內存的管理，相當於會議室管理員管理會議室。
第二，虛擬地址的管理，也即在項目組的視角，會議室的虛擬地址應該如何組織。
第三，虛擬地址和物理地址如何映射，也即會議室管理員如果管理映射表。
那麼虛擬地址和物理地址如何映射呢？
每一個進程都有一個列表vm_area_struct，指向虛擬地址空間的不同的內存塊，這個變數的名字叫mmap。
其實內存映射不僅僅是物理內存和虛擬內存之間的映射，還包括將文件中的內容映射到虛擬內存空間。這個時候，訪問內存空間就能夠訪問到文件裡面的數據。而僅有物理內存和虛擬內存的映射，是一種特殊情況。
如果我們要申請小塊內存，就用brk。brk函數之前已經解析過了，這里就不多說了。如果申請一大塊內存，就要用mmap。對於堆的申請來講，mmap是映射內存空間到物理內存。
另外，如果一個進程想映射一個文件到自己的虛擬內存空間，也要通過mmap系統調用。這個時候mmap是映射內存空間到物理內存再到文件。可見mmap這個系統調用是核心，我們現在來看mmap這個系統調用。
用戶態的內存映射機制包含以下幾個部分。
物理內存根據NUMA架構分節點。每個節點裡面再分區域。每個區域裡面再分頁。
物理頁面通過夥伴系統進行分配。分配的物理頁面要變成虛擬地址讓上層可以訪問，kswapd可以根據物理頁面的使用情況對頁面進行換入換出。
對於內存的分配需求，可能來自內核態，也可能來自用戶態。
對於內核態，kmalloc在分配大內存的時候，以及vmalloc分配不連續物理頁的時候，直接使用夥伴系統，分配後轉換為虛擬地址，訪問的時候需要通過內核頁表進行映射。
對於kmem_cache以及kmalloc分配小內存，則使用slub分配器，將夥伴系統分配出來的大塊內存切成一小塊一小塊進行分配。
kmem_cache和kmalloc的部分不會被換出，因為用這兩個函數分配的內存多用於保持內核關鍵的數據結構。內核態中vmalloc分配的部分會被換出，因而當訪問的時候，發現不在，就會調用do_page_fault。
對於用戶態的內存分配，或者直接調用mmap系統調用分配，或者調用malloc。調用malloc的時候，如果分配小的內存，就用sys_brk系統調用；如果分配大的內存，還是用sys_mmap系統調用。正常情況下，用戶態的內存都是可以換出的，因而一旦發現內存中不存在，就會調用do_page_fault。
Ⅱ Linux進程內存如何管理
Linux系統提供了復雜的存儲管理系統，使得進程所能訪問的內存達到4GB。在Linux系統中，進程的4GB內存空滑物間被分為兩個部分—顫讓掘—用戶空間與內核空間。用戶空間的地址一般分布為0~3GB(即PAGE_OFFSET，在Ox86中它等於OxC0000000），這樣，剩下的3~4GB為內核空間，用戶進程通常只能訪問用戶空間的虛擬地址，不能訪問內核空間的虛擬地址。用戶進程只有通過系統調用（代表用戶進程在內核態執行）等方式才可以訪問到內核空間。每個進程的用戶空間都是完全獨立、互不相乾的，用戶進程各自有不同的頁表。而內核空間是由內核負責映射，它並不會跟著進程改變，是固定的。內核空間的虛擬地址到物理地址映射是被所有進程共享的，內核的虛擬空間獨立於其他程序。Linux中1GB的內核地址空間又被劃分為物理內存映射區、虛擬內存分配區、高端頁面映射區、專用頁面映射區和系統保留映射區這幾個區域。對於x86系統而言，一般情況下，物理內存映射區最大長度為896MB，系統的物理內存被順序映射在內核空間的這個區域中。當系統物理內存大於896MB時，超過物理內存映射區的那部分內存稱為高端內存（而未超過物理內存映射區的內存通常被稱為常規內存），內核在存取高端內存時必須將它們映射到高端頁面映射區。Linux保留內核空間最頂部FIXADDR_TOP~4GB的區域作為保留區。當系統物理內存超過4GB時，必須使用CPU的擴展分頁(PAE）模式所提供的64位頁目錄項才能存取到4GB以上的物理內存，這需要CPU的支持。加入了PAE功能的Intel Pentium Pro及以後的CPU允許內存最大可配置到64GB，它們茄核具備36位物理地址空間定址能力。由此可見，對於32位的x86而言，在3~4GB之間的內核空間中，從低地址到高地址依次為:物理內存映射區隔離帶vmalloc虛擬內存分配器區隔離帶高端內存映射區專用頁面映射區保留區。
Ⅲ Linux將設備地址映射到用戶空間內存映射與VMA
一般情況下，用戶空間是不可能也不應該直接訪問設備的，但是，設備驅動程序中可實現mmap ()函數，這個函數可使得用戶空間能直接訪問設備的物理地址。實際上，mmap ()實現了這樣的一個映射過程:它將用戶空間的一段內存與設備內存關聯，當用戶訪問用戶空間的這段地址范圍時，實際上會轉化為對設備的訪問。
這種能力對於顯示適配器一類的設備非常有意義，如果用戶空間可直接通過內存映射訪問顯存的話，屏幕幀的各點像素將不再需要一個從用戶空間到內核空間的復制的過程。
mmap ()必須以PAGE_SIZE為單位進行映射，實際上，內存只能以頁為單位進行映射，若要映射非PAGE_SIZE整數倍的地址范圍，要先進行頁對齊，強行以PAGE_SIZE的倍數大小進行映射。
從file_operations文件操作結構體可以看出，驅動中mmap ()函數的原型如下:
int ( *mmap)(struct file *, struct vm_area_struct* ) ;
驅動中的mmap (） 函數將在用戶進行mmap (）系統調用時最終被調用，mmap (）系統調用的原型與file_operations中mmap (）的原型區別很大，如下所示:
caddr_t mmap (caddr_t addr，size_t len，int prot，int flags，int fd，off_t offset);
參數fd為文件描述符，一般由open ()返回，fd也可以指定為-1，此時需指定flags參數中的MAP_ANON，表明進行的是匿名映射。
len是映射到調用用戶空間的位元組數，它從被映射文件開頭offset個位元組開始算起，offset參數一般設為0，表示從文件頭開始映射。
prot參數指定訪問許可權，可取如下幾個值的「或」:PROT_READ(可讀)、PROT_WRITE(可寫)、PROT_EXEC(可執行）和PROT_NONE（不可訪問)。
參數addr指定文件應被映射到用戶空間的起始地址，一般被指定為NULL，這樣，選擇起始地址的任務將由內核完成，而函數的返回值就是映射到用戶空間的地址。其類型caddr_t實際上就是void*。
當用戶調用mmap ()）的時候，內核會進行如下處理。
1）在進程的虛擬空間查找一塊VMA。
2）將這塊VMA進行映射。
3）如果設備驅動程序或者文件系統的file_operations定義了mmap ()操作，則調用它。
4）將這個VMA插入進程的VMA鏈表中。
file_operations中mmap (）函數的第一個參數就是步驟1）找到的VMA。
由mmap ()系統調用映射的內存可由munmap (）解除映射，這個函數的原型如下:
int munmap(caddr_t addr, size_t len ) ;
驅動程序中mmap ()的實現機制是建立頁表，並填充VMA結構體中vm_operations_struct指針。
Ⅳ Linux I/O內存靜態映射
在將Linux移植到目標電路板的過程中，有得會建立外設IO內存物理地址到虛擬地址的靜態映射，這個映射通過在與電路板對應的map_desc結構體數組中添加新的成員來完成。iotable_init()是最終建立頁映射的函數，它通過ACHINE_START、MACHINE_END宏賦值給電路板的map_io()）函數。將Linux操作系統移植到特定平台上，MACHINE_START(或者DT_MACHINE_START)、MACHINE_END宏之間的定義針對特定電路板而設計，其中的map_io ()成員函數完成IO內存的靜態映射。在一個已經移植好操作系統的內核中，驅動工程師可以對非常規內存區域的IO內存（外設控制器寄存器、MCU內部集成的外設控制器寄存器等）依照電路板的資源使用情況添加到map_desc數組中，但是目前該方法已經不值得推薦。
Cache和DMA本身似乎是兩個毫不相關的事物。Cache被用作CPU針對內存的緩存，利用程序的空間局部性和時間局部性原理，達到較高的命中率，從而避免CPU每次都必須要與相對慢速的內存交互數據來提高數據的訪問速率。DMA可以作為內存與外設之間傳輸數據的方式，在這種傳輸方式之下，數據並不需要經過CPU中轉。
假設DMA針對內存的目的地址與Cache緩存的對象沒有重疊區域，DMA和Cache之間將相安無事。但是，如果DMA的目的地址與Cache所緩存的內存地址訪問有重疊，經過DMA操作，與Cache緩存對應的內存中的數據已經被修改，而CPU本身並不知道，它仍然認為Cache中的數據就是內存中的數據，那在以後訪問Cache映射的內存時，它仍然使用陳舊的Cache數據。這樣就會發生Cache與內存之間數據「不一致性」的錯誤。
Ⅳ Linux 內核的內存管理 - 概念
Concepts overview — The Linux Kernel documentation
Linux中的內存管理是一個復雜的系統，經過多年的發展，它包含越來越多的功能，以支持從 MMU-less microcontrollers 到 supercomputers 的各種系統。
沒有MMU內存管理的系統被稱為 nommu ，它值得寫一份專門的文檔進行描述。
盡管有些概念是相同的，這里我們假設MMU可用，CPU可以將虛擬地址轉換為物理地址。
計算機系統中的物理內存是有限資源，即便支持內存熱插拔，其可以安裝的內存也有限的。物理內存不一定必須是連續的；它可以作為一組不同的地址范圍被訪問。此外，不同的CPU架構，甚至同架構的不同實現對如何定義這些地址范圍都是不同的。
這使得直接處理物理內存異常復雜，為了避免這種復雜性，開發了 虛擬內存 （virtual memory） 的概念。
虛擬內存從應用軟體中抽象出物理內存的細節，只允許在物理內存中保留需要的信息 （demand paging） ，並提供一種機制來保護和控制進程之間的數據共享。
通過虛擬內存，每次內存訪問都訪問一個 虛擬地址 。當CPU對從系統內存讀取（或寫入）的指令進行解碼時，它將該指令中編碼的虛擬地址轉換為內存控制器可以理解的物理地址。
物理內存被切分為 頁幀 page frames 或 頁 pages 。頁的大小是基於架構的。一些架構允許從幾個支持的值中選擇頁大小；此選擇在內核編譯時設置到內核配置。
每個物理內存頁都可以映射為一個或多個 虛擬頁（virtual pages） 。映射關系描述在 頁表（page tables） 中，頁表將程序使用的虛擬地址轉換為物理內存地址。頁表以層次結構組織。
最底層的表包含軟體使用的實際內存頁的物理地址。較高層的表包含較低層表頁的物理地址。頂層表的指針駐留在寄存器中。
當CPU進行地址轉換的時候，它使用寄存器訪問頂級頁表。
虛擬地址的高位，用於頂級頁表的條目索引。然後，通過該條目訪問下級，下級的虛擬地址位又作為其下下級頁表的索引。虛擬地址的最低位定義實際頁內的偏移量。
地址轉換需要多次內存訪問，而內存訪問相對於CPU速度來說比較慢。為了避免在地址轉換上花費寶貴的處理器周期，CPU維護著一個稱為 TLB （Translation Lookaside Buffer）的用於地址轉換緩存（cache）。通常TLB是非常稀缺的資源，需要大內存工作應用程序會因為TLB未命中而影響性能。
很多現代CPU架構允許頁表的高層直接映射到內存頁。例如，x86架構，可以通過二級、三級頁表的條目映射2M甚至1G內存頁。在Linux中，這些內存頁稱為 大頁 （Huge） 。大頁的使用顯著降低了TLB的壓力，提高了TLB命中率，從而提高了系統的整體性能。
Linux提供兩種機制開啟使用大頁映射物理內存。
第一個是 HugeTLB 文件系統，即 hugetlbfs 。它是一個偽文件系統，使用RAM作為其存儲。在此文件系統中創建的文件，數據駐留在內存中，並使用大頁進行映射。
關於 HugeTLB Pages
另一個被稱為 THP (Transparent HugePages) ，後出的開啟大頁映射物理內存的機制。
與 hugetlbfs 不同，hugetlbfs要求用戶和/或系統管理員配置系統內存的哪些部分應該並可以被大頁映射；THP透明地管理這些映射並獲取名稱。
關於 Transparent Hugepage Support
通常，硬體對不同物理內存范圍的訪問方式有所限制。某些情況下，設備不能對所有可定址內存執行DMA。在其他情況下，物理內存的大小超過虛擬內存的最大可定址大小，需要採取特殊措施來訪問部分內存。還有些情況，物理內存的尺寸超過了虛擬內存的最大可定址尺寸，需要採取特殊措施來訪問部分內存。
Linux根據內存頁的使用情況，將其組合為多個 zones 。比如， ZONE_DMA 包含設備用於DMA的內存， ZONE_HIGHMEM 包含未永久映射到內核地址空間的內存， ZONE_NORMAL 包含正常定址內存頁。
內存zones的實際層次架構取決於硬體，因為並非所有架構都定義了所有的zones，不同平台對DMA的要求也不同。
多處理器機器很多基於 NUMA （Non-Uniform Memory Access system - 非統一內存訪問系統 ）架構。 在這樣的系統中，根據與處理器的「距離」，內存被安排成具有不同訪問延遲的 banks 。每個 bank 被稱為一個 node ，Linux為每個 node 構造一個獨立的內存管理子系統。 Node 有自己的zones集合、free&used頁面列表，以及各種統計計數器。
What is NUMA?
NUMA Memory Policy
物理內存易失，將數據放入內存的常見情況是讀取文件。讀取文件時，數據會放入 頁面緩存（page cache） ，可以在再次讀取時避免耗時的磁碟訪問。同樣，寫文件時，數據也會被放入 頁面緩存 ，並最終進入存儲設備。被寫入的頁被標記為 臟頁（dirty page） ，當Linux決定將其重用時，它會將更新的數據同步到設備上的文件。
匿名內存 anonymous memory 或 匿名映射 anonymous mappings 表示沒有後置文件系統的內存。這些映射是為程序的stack和heap隱式創建的，或調用mmap（2）顯式創建的。通常，匿名映射只定義允許程序訪問的虛擬內存區域。讀，會創建一個頁表條目，該條目引用一個填充有零的特殊物理頁。寫，則分配一個常規物理頁來保存寫入數據。該頁將被標記為臟頁，如果內核決定重用該頁，則臟頁將被交換出去 swapped out 。
縱貫整個系統生命周期，物理頁可用於存儲不同類型的數據。它可以是內核內部數據結構、設備驅動DMA緩沖區、讀取自文件系統的數據、用戶空間進程分配的內存等。
根據內存頁使用情況，Linux內存管理會區別處理。可以隨時釋放的頁面稱為 可回收（reclaimable） 頁面，因為它們把數據緩存到了其他地方（比如，硬碟），或者被swap out到硬碟上。
可回收頁最值得注意的是 頁面緩存 和 匿名頁面 。
在大多數情況下，存放內部內核數據的頁，和用作DMA緩沖區的頁無法重用，它們將保持現狀直到用戶釋放。這樣的被稱為 不可回收頁（unreclaimable） 。
然而，在特定情況下，即便是內核數據結構佔用的頁面也會被回收。
例如，文件系統元數據的緩存（in-memory）可以從存儲設備中重新讀取，因此，當系統存在內存壓力時，可以從主內存中丟棄它們。
釋放可回收物理內存頁並重新調整其用途的過程稱為 (surprise!) reclaim 。
Linux支持非同步或同步回收頁，取決於系統的狀態。
當系統負載不高時，大部分內存是空閑的，可以立即從空閑頁得到分配。
當系統負載提升後，空閑頁減少，當達到某個閾值（ low watermark ）時，內存分配請求將喚醒 kswapd 守護進程。它將以非同步的方式掃描內存頁。如果內存頁中的數據在其他地方也有，則釋放這些內存頁；或者退出內存到後置存儲設備（關聯 臟頁 ）。
隨著內存使用量進一步增加，並達到另一個閾值- min watermark -將觸發回收。這種情況下，分配將暫停，直到回收到足夠的內存頁。
當系統運行時，任務分配並釋放內存，內存變得碎片化。
雖然使用虛擬內存可以將分散的物理頁表示為虛擬連續范圍，但有時需要分配大的連續的物理內存。這種需求可能會提升。例如，當設備驅動需要一個大的DMA緩沖區時，或當THP分配一個大頁時。
內存地址壓縮（compaction ） 解決了碎片問題。
該機制將佔用的頁從內存zone的下部移動到上部的空閑頁。壓縮掃描完成後，zone開始處的空閑頁就並在一起了，分配較大的連續物理內存就可行了。
與 reclaim 類似， compaction 可以在 kcompactd守護進程中非同步進行，也可以作為內存分配請求的結果同步進行。
在存在負載的機器上，內存可能會耗盡，內核無法回收到足夠的內存以繼續運行。
為了保障系統的其餘部分，引入了 OOM killer 。
OOM killer 選擇犧牲一個任務來保障系統的總體健康。選定的任務被killed，以期望在它退出後釋放足夠的內存以繼續正常的操作。
Ⅵ LINUX系統的內存管理知識詳解
內存是Linux內核所管理的最重要的資源之一。內存管理系統是操作系統中最為重要的部分，因為系統的物理內存總是少於系統所需要的內存數量。虛擬內存就是為了克服這個矛盾而採用的策略。系統的虛擬內存通過在各個進程之間共享內存而使系統看起來有多於實際內存的內存容量。Linux支持虛擬內存, 就是使用磁碟作為RAM的擴展，使可用內存相應地有效擴大。核心把當前不用的內存塊存到硬碟，騰出內存給其他目的。當原來的內容又要使用時，再讀回內存。以下就是我為大家整理到的詳細LINUX系統內存管理的知識，歡迎大家閱讀!!!
LINUX系統教程：內存管理的知識詳解
一、內存使用情況監測
(1)實時監控內存使用情況
在命令行使用「Free」命令可以監控內存使用情況
代碼如下:
#free
total used free shared buffers cached
Mem: 256024 192284 63740 0 10676 101004
-/+ buffers/cache: 80604 175420
Swap: 522072 0 522072
上面給出了一個256兆的RAM和512兆交換空間的系統情況。第三行輸出(Mem:)顯示物理內存。total列不顯示核心使用的物理內存(通常大約1MB)。used列顯示被使用的內存總額(第二行不計緩沖)。 free列顯示全部沒使用的內存。Shared列顯示多個進程共享的內存總額。Buffers列顯示磁碟緩存的當前大小。第五行(Swap:)對對換空間，顯示的信息類似上面。如果這行為全0，那麼沒使用對換空間。在預設的狀態下，free命令以千位元組(也就是1024位元組為單位)來顯示內存使用情況。可以使用—h參數以位元組為單位顯示內存使用情況，或者可以使用—m參數以兆位元組為單位顯示內存使用情況。還可以通過—s參數使用命令來不間斷地監視內存使用情況：
#free –b –s2
這個命令將會在終端窗口中連續不斷地報告內存的使用情況，每2秒鍾更新一次。
(2)組合watch與 free命令用來實時監控內存使用情況：
代碼如下:
#watch -n 2 -d free
Every 2.0s: free Fri Jul 6 06:06:12 2007
total used free shared buffers cached
Mem: 233356 218616 14740 0 5560 64784
-/+ buffers/cache: 148272 85084
Swap: 622584 6656 615928
watch命令會每兩秒執行 free一次，執行前會清除屏幕，在同樣位置顯示數據。因為 watch命令不會卷動屏幕，所以適合出長時間的監測內存使用率。可以使用 -n選項，控制執行的頻率;也可以利用 -d選項，讓命令將每次不同的地方顯示出來。Watch命令會一直執行，直到您按下 [Ctrl]-[C] 為止。
二、虛擬內存的概念
(1)Linux虛擬內存實現機制
Linux虛擬內存的實現需要六種機制的支持：地址映射機制、內存分配回收機制、緩存和刷新機制、請求頁機制、交換機制、內存共享機制。
首先內存管理程序通過映射機制把用戶程序的邏輯地址映射到物理地址，在用戶程序運行時如果發現程序中要用的虛地址沒有對應的物理內存時，就發出了請求頁要求;如果有空閑的內存可供分配，就請求分配內存(於是用到了內存的分配和回收)，並把正在使用的物理頁記錄在緩存中(使用了緩存機制)。 如果沒有足夠的內存可供分配，那麼就調用交換機制，騰出一部分內存。另外在地址映射中要通過TLB(翻譯後援存儲器)來尋找物理頁;交換機制中也要用到交換緩存，並且把物理頁內容交換到交換文件中後也要修改頁表來映射文件地址。
(2)虛擬內存容量設定
也許有人告訴你，應該分配2倍於物理內存的虛擬內存，但這是個不固定的規律。如果你的物理保存比較小，可以這樣設定。如果你有1G物理內存或更多的話，可以縮小一下虛擬內存。Linux會把大量的內存用做Cache的,但在資源緊張時回收回.。你只要看到swap為0或者很小就可以放心了,因為內存放著不用才是最大的浪費。
三、使甩vmstat命令監視虛擬內存使用情況
vmstat是Virtual Meomory Statistics(虛擬內存統計)的縮寫，可對操作系統的虛擬內存、進程、CPU活動進行監視。它是對系統的整體情況進行統計，不足之處是無法對某個進程進行深入分析。通常使用vmstat 5 5(表示在5秒時間內進行5次采樣)命令測試。將得到一個數據匯總它可以反映真正的系統情況。
代碼如下:
#vmstat 5 5
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
1 0 62792 3460 9116 88092 6 30 189 89 1061 569 17 28 54 2
0 0 62792 3400 9124 88092 0 0 0 14 884 434 4 14 81 0
0 0 62792 3400 9132 88092 0 0 0 14 877 424 4 15 81 0
1 0 62792 3400 9140 88092 0 0 0 14 868 418 6 20 74 0
1 0 62792 3400 9148 88092 0 0 0 15 847 400 9 25 67 0
vmstat命令輸出分成六個部分：
(1)進程procs：
r：在運行隊列中等待的進程數 。
b：在等待io的進程數 。
(2)內存memoy：
swpd：現時可用的交換內存(單位KB)。
free：空閑的內存(單位KB)。
buff: 緩沖去中的內存數(單位：KB)。
cache：被用來做為高速緩存的內存數(單位：KB)。
(3) swap交換頁面
si: 從磁碟交換到內存的交換頁數量，單位：KB/秒。
so: 從內存交換到磁碟的交換頁數量，單位：KB/秒。
(4) io塊設備:
bi: 發送到塊設備的塊數，單位：塊/秒。
bo: 從塊設備接收到的塊數，單位：塊/秒。
(5)system系統：
in: 每秒的中斷數，包括時鍾中斷。
cs: 每秒的環境(上下文)切換次數。
(6)cpu中央處理器：
cs：用戶進程使用的時間 。以百分比表示。
sy：系統進程使用的時間。 以百分比表示。
id：中央處理器的空閑時間 。以百分比表示。
如果 r經常大於 4 ，且id經常小於40，表示中央處理器的負荷很重。 如果bi，bo 長期不等於0，表示物理內存容量太小。
四、Linux 伺服器的內存泄露和回收內存的方法
1、內存泄漏的定義：
一般我們常說的內存泄漏是指堆內存的泄漏。堆內存是指程序從堆中分配的，大小任意的(內存塊的大小可以在程序運行期決定)，使用完後必須顯示釋放的內存。應用程序一般使用malloc，realloc，new等函數從堆中分配到一塊內存，使用完後，程序必須負責相應的調用free或釋放該內存塊，否則，這塊內存就不能被再次使用，我們就說這塊內存泄漏了。
2、內存泄露的危害
從用戶使用程序的角度來看，內存泄漏本身不會產生什麼危害，作為一般的用戶，根本感覺不到內存泄漏的存在。真正有危害的`是內存泄漏的堆積，這會最終消耗盡系統所有的內存。從這個角度來說，一次性內存泄漏並沒有什麼危害，因為它不會堆積，而隱式內存泄漏危害性則非常大，因為較之於常發性和偶發性內存泄漏它更難被檢測到。存在內存泄漏問題的程序除了會佔用更多的內存外，還會使程序的性能急劇下降。對於伺服器而言，如果出現這種情況，即使系統不崩潰，也會嚴重影響使用。
3、內存泄露的檢測和回收
對於內存溢出之類的麻煩可能大家在編寫指針比較多的復雜的程序的時候就會遇到。在 Linux 或者 unix 下，C、C++語言是最使用工具。但是我們的 C++ 程序缺乏相應的手段來檢測內存信息，而只能使用 top 指令觀察進程的動態內存總額。而且程序退出時，我們無法獲知任何內存泄漏信息。
使用kill命令
使用Linux命令回收內存，我們可以使用Ps、Kill兩個命令檢測內存使用情況和進行回收。在使用超級用戶許可權時使用命令「Ps」，它會列出所有正在運行的程序名稱，和對應的進程號(PID)。Kill命令的工作原理是：向Linux操作系統的內核送出一個系統操作信號和程序的進程號(PID)。
應用例子：
為了高效率回收內存可以使用命令ps 參數v：
代碼如下:
[root@www ~]# ps v
PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND
2542 tty1 Ss+ 0:00 0 8 1627 428 0.1 /sbin/mingetty tty1
2543 tty2 Ss+ 0:00 0 8 1631 428 0.1 /sbin/mingetty tty2
2547 tty3 Ss+ 0:00 0 8 1631 432 0.1 /sbin/mingetty tty3
2548 tty4 Ss+ 0:00 0 8 1627 428 0.1 /sbin/mingetty tty4
2574 tty5 Ss+ 0:00 0 8 1631 432 0.1 /sbin/mingetty tty5
2587 tty6 Ss+ 0:00 0 8 1627 424 0.1 /sbin/mingetty tty6
2657 tty7 Ss+ 1:18 12 1710 29981 7040 3.0 /usr/bin/Xorg :0 -br -a
2670 pts/2 Ss 0:01 2 682 6213 1496 0.6 -bash
3008 pts/4 Ss 0:00 2 682 6221 1472 0.6 /bin/bash
3029 pts/4 S+ 0:00 2 32 1783 548 0.2 ping 192.168.1.12
3030 pts/2 R+ 0:00 2 73 5134 768 0.3 ps v
然後如果想回收Ping命令的內存的話，使用命令：
代碼如下:
# Kill -9 3029
使用工具軟體
Memprof是一個非常具有吸引力且非常易於使用的軟體，它由Red Hat的Owen Talyor創立。這個工具是用於GNOME前端的Boehm-Demers-Weiser垃圾回收器。這個工具直接就可以執行，並且其工作起來無需對源代碼進行任何修改。在程序執行時，這個工具會以圖形化的方式顯示內存的使用情況。
相關介紹：Linux
嚴格來講，Linux這個詞本身只表示Linux內核，但人們已經習慣了用Linux來形容整個基於Linux內核，並且使用GNU 工程各種工具和資料庫的操作系統。
Linux擁有以下特性：類似於Unix的基本思想，支持完全免費與自由傳播，完全兼容POSIX1.0標准，支持多用戶、多任務、有著良好的界面、支持多種平台。Linux 能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多用戶網路操作系統。
Linux有著許多不同的版本，但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中，比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。
Ⅶ LINUX內存映射問題
Linux的內存模型，一般為：
地址
作用
說明
>=0xc000 0000
內核虛擬存儲器
用戶代碼不可見區域
<0xc000 0000
Stack（用戶棧）
ESP指向棧頂
↓
↑
空閑內存
>=0x4000 0000
文件映射區
<0x4000 0000
↑
空閑內存
Heap(運行時堆)
通過brk/sbrk系統調用擴大堆，向上增長。
.data、.bss(讀寫段)
從可執行文件中載入
>=0x0804 8000（0x00008000 for arm linux）
.init、.text、.rodata(只讀段)
從可執行文件中載入
<0x0804 8000（0x00008000 for arm linux）
保留區域
運行一個測試程序，觀察其結果：
#include <stdio.h>
int main(int argc, char* argv[])
{
int first = 0;
int* p0 = malloc(1024);
int* p1 = malloc(1024 * 1024);
int* p2 = malloc(512 * 1024 * 1024 );
int* p3 = malloc(1024 * 1024 * 1024 );
printf("main=%p print=%p\n", main, printf);
printf("first=%p\n", &first);
printf("p0=%p p1=%p p2=%p p3=%p\n", p0, p1, p2, p3);
getchar();
return 0;
}
運行後，輸出結果為：
main=0x8048404 print=0x8048324
first=0xbfcd1264
p0=0x9253008 p1=0xb7ec0008 p2=0x97ebf008 p3=0x57ebe008
my pc （fc5）輸出結果如下：
main=0x80483f4 print=0x8048324
first=0xbf848660
p0=0x9ab2008 p1=0xb7e38008 p2=0x97e37008 p3=(nil)
arm-linux輸出如下結果：
main=0x8528 print=0x8404
first=0xbec9fe10
p0=0x11008 p1=0x4005a008 p2=(nil) p3=(nil)
main和print兩個函數是代碼段(.text)的，其地址符合表一的描述。
first是第一個臨時變數，由於在first之前還有一些環境變數，它的值並非0xbfffffff，而是0xbfcd1264，這是正常的。
p0是在堆中分配的，其地址小於0x4000 0000，這也是正常的。
但p1和p2也是在堆中分配的，而其地址竟大於0x4000 0000，與表一描述不符。
原因在於：運行時堆的位置與內存管理演算法相關，也就是與malloc的實現相關。關於內存管理演算法的問題，我們在後繼文章中有詳細描述，這里只作簡要說明。在glibc實現的內存管理演算法中，Malloc小塊內存是在小於0x4000 0000的內存中分配的，通過brk/sbrk不斷向上擴展，而分配大塊內存，malloc直接通過系統調用mmap實現，分配得到的地址在文件映射區，所以其地址大於0x4000 0000。
Ⅷ 詳解Linux系統內存知識及調優方案
內存是計算機中重要的部件之一，它是與CPU進行溝通的橋梁。計算機中所有程序的運行都是在內存中進行的，因此內存的性能對計算機的影響非常大。內存作用是用於暫時存放CPU中的運算數據，以及與硬碟等外部存儲器交換的數據。只要計算機在運行中，CPU就會把需要運算的數據調到內存中進行運算，當運算完成後CPU再將結果傳送出來，內存的運行也決定了計算機的穩定運行。對於整個操作系統來說，內存可能是最麻煩的的設備。而其性能的好壞直接影響著整個操作系統。
我們知道CPU是不能與硬碟打交道的，只有數據被載入到內存中才可以被CPU調用。cpu在訪問內存的時候需要先像內存監控程序請求，由監控程序控制和分配內存的讀寫請求，這個監控程序叫做MMU(內存管理單元)。下面以32位系統來說明內存的訪問過程：
32位的系統上每一個進程在訪問內存的時候，每一個進程都當做自己有4個G的內存空間可用，這叫虛擬內存(地址)，虛擬內存轉化成物理內存是通過MMU來完成的。為了能夠從線性地址轉換成物理地址，需要page table(頁表)的內存空間,page table要載入到MMU上。為了完成線性地址到物理地址的映射，如果按照1個位元組1個位元組映射的話，需要一張非常大的表，這種轉換關系會非常的復雜。因此把內存空間又劃分成了另外一種存儲單元格式，通常為4K。在不同的硬體平台上，它們的大小一般是不一樣的，像x86 32位的有4k的頁;而64位的有4k頁，2M頁，4M頁，8M頁等等，默認都是4k的。每一個進程一般而言都有自己的頁路徑和頁表映射機制，不管那一個頁表都是由內核載入的。每一個進程只能看到自己的線性地址空間，想要增加新的內存的時候，只能在自己的線性地址空間中申請，並且申請後一定是通過操作系統的內核映射到物理地址空間中去找那麼一段空間，並且告訴線性地址空間准備好了，可以訪問，並且在page table中增加一條映射關系，於是就可以訪問物理內存了，這種叫做內存分配。但是新的申請一定是通過操作的內核到物理內存中去找那麼一段空間，並且告訴線性地址空間好了，可以建設映射關系，最終page table建立映射關系。
這反映了上述描述過程的大體情況。可以看到每一個用戶程序都會有自己的頁表，並且映射到對應的主存儲器上去。
根據上述文字和圖表的描述可以發現2個問題：
1.每個進程如果需要訪問內存的時候都需要去查找page table的話，勢必會造成伺服器的性能底下
2.如果主存儲器的內存滿了以後，應用程序還需要調用內存的時候怎麼辦
對於第一個問題，我們就需要藉助TLB(Translation Lookaside Buffer)翻譯後備緩沖器。TLB是一個內存管理單元，它可以用於改進虛擬地址到物理地址轉換速度的緩存。這樣每次在查找page table的時候就可以先去TLB中查找相應的頁表數據，如果有就直接返回，沒有再去查找page table，並把查找到的結果緩存中TLB中。TLB雖然解決了緩存的功能，但是在那麼page table中查找映射關系仍然很慢，所以又有了page table的分級目錄。page table可以分為1級目錄，2級目錄和偏移量
但是一個進程在運行的時候要頻繁的打開文件，關閉文件。這就意味著要頻繁的申請內存和釋放內存。有些能夠在內存中緩存數據的那些進程，他們對內存的分配和回收更多，那麼每一次分配都會在頁表中建立一個對應項。所以，就算內存的速度很快，大量頻繁的同一時間分配和釋放內存，依然會降低伺服器的整體性能。當然內存空間不夠用的時候，我們稱為oom(out of memory,內存耗盡)。當內存耗盡的時候，，整個操作系統掛了。這種情況下我們可以考慮交換分區，交換分區畢竟是由硬碟虛擬出來的內存，所以其性能與真正的內存相比，差了很多，所以要盡力避免使用交換分區。有物理內存空間的時候盡量保證全部使用物理內存。cpu無論如何是不能給交換內存打交道的，它也只能給物理內存打交道，能定址的空間也只能是物理內存。所以當真正物理內存空間不夠用的時候，會通過LRU演算法把其中最近最少使用的內存放到交換內存中去，這樣物理內存中的那段空間就可以供新的程序使用了。但是這樣會引發另外的一個問題，即原來的進程通過page table尋找的時候，那一段空間的數據已經不屬於它了。所以此刻cpu發送通知或者異常告訴這個程序，這個地址空間已不屬於它，這個時候可能會出現2種情況：
1.物理內存有可用的空間可用：這個時候cpu會根據以前的轉換策略會把交換分區中的那段內存重新送到物理內存中去，但是轉換過來的空間地址不一定會是以前的那一段空間地址，因為以前的那一段空間地址可能已經被別人使用了。
2.物理內存沒有可用的空間可用：這個時候依然會使用LRU算發把當前物理地址空間上最近最少使用的空間地址轉換到交換內存中去，並把當前進程需要的這斷在交換空間中的內存送到物理內存空間中去，並且重新建立映射關系。
上述通知或者異常出現的情況，通常叫做缺頁異常。缺頁異常也分為大異常和小異常兩種。大異常就是訪問的數據內存中沒有，不的不去硬碟上載入，無論是從交換內存中還是直接從磁碟的某個文件系統上，反正需要從硬碟上去載入，這種異常載入需要很長時間。小異常就是進程之間通過共享內存，第二個進程訪問的時候，查看本地的內存映射表沒有，但是其它進程已經擁有了這個內存頁，所以可以直接映射，這種異常載入需要的時間一般很短。
在操作系統開機的時候，每一個io設備都會像cpu申請一些列的隨機埠，這種埠叫做io埠。在IBM PC體系結構中，I/O地址空間一共提供了65,536個8位的I/O埠。正是這些io埠的存在，cpu可以與io設備進行讀寫交互的過程。在執行讀寫操作時，CPU使用地址匯流排選擇所請求的I/O埠，使用數據匯流排在CPU寄存器和埠之間傳送數據。I/O埠還可以被映射到物理地址空間：因此，處理器和I/O設備之間的通信就可以直接使用對內存進行操作的匯編語言指令(例如，mov、and、or等等)。現代的硬體設備更傾向於映射I/O，因為這樣處理的速度較快，並可以和DMA結合起來使用。這樣io在和內存傳數據的時候就不需要通過cpu，cpu把匯流排的控制權交給DMA，每次io傳數據的時候就調用DMA一次，就把cpu給解放了出來。當數據傳輸完了以後，DMA通知給cpu中斷一次。DMA在運行的時候對整個匯流排有控制許可權，當cpu發現有其它進程需要使用匯流排的時候，二者就會產生爭用。這個時候，在匯流排控制權的使用上，CPU和DMA具有相等的許可權。只要CPU委託給了DMA，就不能隨意的收回這個委託，就要等待DMA的用完。
如果沒有其它進程可以運行，或者其它進程運行的時間非常短，這個時候CPU發現我們的IO仍然沒有完成，那就意味著，CPU只能等待IO了。CPU在時間分配裡面有個iowait的值，就是CPU在等待IO花費的時間。有些是在同步調用過程中，CPU必須要等待IO的完成;否者CPU可以釋放IO的傳輸在背後自動完成，CPU自己去處理其它的事情。等硬碟數據傳輸完成以後，硬碟只需要像CPU發起一個通知即可。CPU外圍有一種設備，這個設備叫做可編程中斷控制器。每一個硬體設備為了給CPU通信，在剛開機的時候，在BIOS實現檢測的時候，這個設備就要到可編程中斷控制器上去注冊一個所謂的中斷號。那麼這個號碼就歸這個硬體使用了。當前主機上可能有多個硬體，每一個硬體都有自己的號碼，CPU在收到中斷號以後，就能夠通過中斷相量表查找到那個硬體設備進行中斷。並且就由對應的IO埠過來處理了。
CPU正在運行其它進程，當一個中斷請求發過來的時候，CPU會立即終止當前正在處理的進程，而去處理中斷。當前CPU掛起當前正在處理的進程，轉而去執行中斷的過程，也叫做中斷切換。只不過，這種切換在量級別上比進程切換要低一些，而且任何中斷的優先順序通常比任何進程也要高，因為我們指的是硬體中斷。中斷還分為上半部和下半部，一般而言，上半部就是CPU在處理的時候，把它接進來，放到內存中，如果這個事情不是特別緊急(CPU或者內核會自己判斷)，因此在這種情況下，CPU回到現場繼續執行剛才掛起的進程，當這個進程處理完了，再回過頭來執行中斷的下半部分。
在32位系統中，我們的內存(線性地址)地址空間中，一般而言，低地址空間有一個G是給內核使用的，上面3個G是給進程使用的。但是應該明白，其實在內核內存當中，再往下，不是直接這樣劃分的。32位系統和64位系統可能不一樣(物理地址)，在32位系統中，最低端有那麼10多M的空間是給DMA使用的。DNA的匯流排寬度是很小的，可能只有幾位，所以定址能力很有限，訪問的內存空間也就很有限。如果DMA需要復制數據，而且自己能夠定址物理內存，還可以把數據直接壯哉進內存中去，那麼就必須保證DMA能夠定址那段內存才行。定址的前提就是把最低地址斷M，DA的定址范圍內的那一段給了DMA。所以站在這個角度來說，我們的內存管理是分區域的。
在32位系統上，16M的內存空間給了ZONE_DMA(DMA使用的物理地址空間);從16M到896M給了ZONE_NORMAL(正常物理地址空間)，對於Linux操作系統來說，是內核可以直接訪問的地址空間;從896M到1G這斷空間叫做"Reserved"(預留的物理地址空間);從1G到4G的這段物理地址空間中，我們的內核是不能直接訪問的，要想訪問必須把其中的一段內容映射到Reserved來，在Reserved中保留出那一段內存的地址編碼，我們內核才能上去訪問，所以內核不直接訪問大於1G的物理地址空間。所以在32位系統上，它訪問內存當中的數據，中間是需要一個額外步驟的。
在64位系統上，ZONE_DAM給了低端的1G地址空間，這個時候DMA的定址能力被大大加強了;ZONE_DAM32可以使用4G的空間;而大於1G以上給劃分了ZONE_NORMAL,這段空間都可以被內核直接訪問。所以在64位上，內核訪問大於1G的內存地址，就不需要額外的步驟了，效率和性能上也大大增加，這也就是為什麼要使用64位系統的原因。
在現在的PC架構上，AMD,INTER都支持一種機制，叫做PEA(物理地址擴展)。所謂PAE。指的是在32位系統的地址匯流排上，又擴展了4位，使得32位系統上的地址空間可以達到64G。當然在32為系統上，不管你的物理內存有多大，單個進程所使用的空間是無法擴展的。因為在32位的系統上，線性地址空間只有4個G，而單個進程能夠識別的訪問也只有3個G。
linux的虛擬內存子系統包含了以下幾個功能模塊：
slab allocator,zoned buddy allocator,MMU,kswapd,bdflush
slab allocator叫做slab分配器
buddy allocator又叫做buddy system，叫做夥伴系統，也是一種內存分配器
buddy system是工作在MMU之上的，而slab allocator又是工作在buddy system之上的。
設置為小於等於1G，在資料庫伺服器應該勁量避免使用交換內存
3.在應用伺服器上，可以設置為RAM*0.5，當然這個是理論值
如果不的不使用交換內存，應該把交換內存放到最靠外的磁軌分區上，因為最外邊的磁碟的訪問速度最快。所以如果有多塊硬碟，可以把每塊硬碟的最外層的磁軌拿一小部分出來作為交換分區。交換分區可以定義優先順序，因此把這些硬碟的交換內存的優先順序設置為一樣，可以實現負載均衡的效果。定義交換分區優先順序的方法為編輯/etc/fstab：
/dev/sda1 swap swap pri=5 0 0
/dev/sdb1 swap swap pri=5 0 0
/dev/sdc1 swap swap pri=5 0 0
/dev/sdd1 swap swap pri=5 0 0
四.內存耗盡時候的相關調優參數
當Linux內存耗盡的時候，它會殺死那些佔用內存最多的進程，以下三種情況會殺死進程：
1.所有的進程都是活動進程，這個時候想交換出去都沒有空閑的進程
2.沒有可用的page頁在ZONE_NORMAL中
3.有其它新進程啟動，申請內存空間的時候，要找一個空閑內存給做映射，但是這個時候找不到了
一旦內存耗盡的時候，操作系統就會啟用oom-kill機制。
在/proc/PID/目錄下有一個文件叫做oom_score,就是用來指定oom的評分的，就是壞蛋指數。
如果要手動啟用oom-kill機制的話，只需要執行echo f>/proc/sysrq-trigger即可，它會自動殺掉我們指定的壞蛋指數評分最高的那個進程
可以通過echo n > /proc/PID/oom_adj來調整一個進程的壞蛋評分指數。最終的評分指數就是2的oom_adj的值的N次方。假如我們的一個進程的oom_adj的值是5，那麼它的壞蛋評分指數就是2的5次方。
如果想禁止oom-kill功能的使用可以使用vm.panic_on_oom=1即可。
五.與容量有關的內存調優參數：
overcommit_memory,可用參數有3個，規定是否能夠過量使用內存：
0：默認設置，內核執行啟發式的過量使用處理
1：內核執行無內存的過量使用處理。使用這個值會增大內存超載的可能性
2：內存的使用量等於swap的大小+RAM*overcommit_ratio的值。如果希望減小內存的過度使用，這個值是最安全的
overcommit_ratio:將overcommit_memory指定為2時候，提供的物理RAM比例，默認為50
六.與通信相關的調優參數
常見在同一個主機中進行進程間通信的方式：
1.通過消息message;2.通過signal信號量進行通信;3.通過共享內存進行通信，跨主機常見的通信方式是rpc
以消息的方式實現進程通信的調優方案：
msgmax:以位元組為單位規定消息隊列中任意消息的最大允許大小。這個值一定不能超過該隊列的大小(msgmnb)，默認值為65536
msgmnb:以位元組為單位規定單一消息隊列的最大值(最大長度)。默認為65536位元組
msgmni:規定消息隊列識別符的最大數量(及隊列的最大數量)。64位架構機器的默認值為1985;32位架構機器的默認值為1736
以共享內存方式實現進程通信的調優方案：
shmall:以位元組為單位規定一次在該系統中可以使用的共享內存總量(單次申請的上限)
shmmax:以位元組為單位規定每一個共享內存片段的最大大小
shmmni:規定系統范圍內最大共享內存片段。在64和32位的系統上默認值都是4096
七.與容量相關的文件系統可調優參數：
file-max:列出內核分配的文件句柄的最大值
dirty_ratio:規定百分比值，當臟數據達到系統內存總數的這個百分比值後開始執行pdflush,默認為20
dirty_background_ratio:規定百分比值，當某一個進程自己所佔用的臟頁比例達到系統內存總數的這個百分比值後開始在後台執行pdflush，默認為10
dirty_expire_centisecs:pdlush每隔百分之一秒的時間開啟起來刷新臟頁，默認值為3000，所以每隔30秒起來開始刷新臟頁
dirty_writeback_centisecs:每隔百分之一秒開始刷新單個臟頁。默認值為500，所以一個臟頁的存在時間達到了5秒，就開始刷新臟
八.linux內存常用的觀察指標命令：
Memory activity
vmstat [interval] [count]
sar -r [interval] [count]
Rate of change in memory
sar -R [interval] [count]
frmpg/s:每秒釋放或者分配的內存頁，如果為正數，則為釋放的內存頁;如果為負數，則為分配的內存頁
bufpg/s:每秒buffer中獲得或者釋放的內存頁。如果為正數則為獲得的內存頁，為負數。則為釋放的內存頁
campg/s:每秒cache中獲得或者釋放的內存頁。如果為正數則為獲得的內存頁，為負數。則為釋放的內存頁
Swap activity
sar -W [interval] [count]
ALL IO
sar -B [interval] [count]
pgpgin/s:每秒從磁碟寫入到內核的塊數量
pgpgout/s:每秒從內核寫入到磁碟的塊數量
fault/s:每秒鍾出現的缺頁異常的個數
majflt/s:每秒鍾出現的大頁異常的個數
pgfree/s:每秒回收回來的頁面個數