linux進程內存管理

『壹』 linux 內核的內存管理 - 概念

Concepts overview — The Linux Kernel documentation

Linux中的內存管理是一個復雜的系統，經過多年的發展，它包含越來越多的功能，以支持從 MMU-less microcontrollers 到 supercomputers 的各種系統。
沒有MMU內存管理的系統被稱為 nommu ，它值得寫一份專門的文檔進行描述。
盡管有些概念是相同的，這里我們假設MMU可用，CPU可以將虛擬地址轉換為物理地址。

計算機系統中的物理內存是有限資源，即便支持內存熱插拔，其可以安裝的內存也有限的。物理內存不一定必須是連續的；它可以作為一組不同的地址范圍被訪問。此外，不同的CPU架構，甚至同架構的不同實現對如何定義這些地址范圍都是不同的。

這使得直接處理物理內存異常復雜，為了避免這種復雜性，開發了 虛擬內存 （virtual memory） 的概念。

虛擬內存從應用軟體中抽象出物理內存的細節，只允許在物理內存中保留需要的信息 （demand paging） ，並提供一種機制來保護和控制進程之間的數據共享。

通過虛擬內存，每次內存訪問都訪問一個 虛擬地址 。當CPU對從系統內存讀取（或寫入）的指令進行解碼時，它將該指令中編碼的虛擬地址轉換為內存控制器可以理解的物理地址。

物理內存被切分為 頁幀 page frames 或 頁 pages 。頁的大小是基於架構的。一些架構允許從幾個支持的值中選擇頁大小；此選擇在內核編譯時設置到內核配置。

每個物理內存頁都可以映射為一個或多個 虛擬頁（virtual pages） 。映射關系描述在 頁表（page tables） 中，頁表將程序使用的虛擬地址轉換為物理內存地址。頁表以層次結構組織。

最底層的表包含軟體使用的實際內存頁的物理地址。較高層的表包含較低層表頁的物理地址。頂層表的指針駐留在寄存器中。
當CPU進行地址轉換的時候，它使用寄存器訪問頂級頁表。

虛擬地址的高位，用於頂級頁表的條目索引。然後，通過該條目訪問下級，下級的虛擬地址位又作為其下下級頁表的索引。虛擬地址的最低位定義實際頁內的偏移量。

地址轉換需要多次內存訪問，而內存訪問相對於CPU速度來說比較慢。為了避免在地址轉換上花費寶貴的處理器周期，CPU維護著一個稱為 TLB （Translation Lookaside Buffer）的用於地址轉換緩存（cache）。通常TLB是非常稀缺的資源，需要大內存工作應用程序會因為TLB未命中而影響性能。

很多現代CPU架構允許頁表的高層直接映射到內存頁。例如，x86架構，可以通過二級、三級頁表的條目映射2M甚至1G內存頁。在Linux中，這些內存頁稱為 大頁 （Huge） 。大頁的使用顯著降低了TLB的壓力，提高了TLB命中率，從而提高了系統的整體性能。

Linux提供兩種機制開啟使用大頁映射物理內存。

第一個是 HugeTLB 文件系統，即 hugetlbfs 。它是一個偽文件系統，使用RAM作為其存儲。在此文件系統中創建的文件，數據駐留在內存中，並使用大頁進行映射。
關於 HugeTLB Pages

另一個被稱為 THP (Transparent HugePages) ，後出的開啟大頁映射物理內存的機制。
與 hugetlbfs 不同，hugetlbfs要求用戶和/或系統管理員配置系統內存的哪些部分應該並可以被大頁映射；THP透明地管理這些映射並獲取名稱。
關於 Transparent Hugepage Support

通常，硬體對不同物理內存范圍的訪問方式有所限制。某些情況下，設備不能對所有可定址內存執行DMA。在其他情況下，物理內存的大小超過虛擬內存的最大可定址大小，需要採取特殊措施來訪問部分內存。還有些情況，物理內存的尺寸超過了虛擬內存的最大可定址尺寸，需要採取特殊措施來訪問部分內存。

Linux根據內存頁的使用情況，將其組合為多個 zones 。比如， ZONE_DMA 包含設備用於DMA的內存， ZONE_HIGHMEM 包含未永久映射到內核地址空間的內存， ZONE_NORMAL 包含正常定址內存頁。
內存zones的實際層次架構取決於硬體，因為並非所有架構都定義了所有的zones，不同平台對DMA的要求也不同。

多處理器機器很多基於 NUMA （Non-Uniform Memory Access system - 非統一內存訪問系統 ）架構。 在這樣的系統中，根據與處理器的「距離」，內存被安排成具有不同訪問延遲的 banks 。每個 bank 被稱為一個 node ，Linux為每個 node 構造一個獨立的內存管理子系統。 Node 有自己的zones集合、free&used頁面列表，以及各種統計計數器。
What is NUMA?
NUMA Memory Policy

物理內存易失，將數據放入內存的常見情況是讀取文件。讀取文件時，數據會放入 頁面緩存（page cache） ，可以在再次讀取時避免耗時的磁碟訪問。同樣，寫文件時，數據也會被放入 頁面緩存 ，並最終進入存儲設備。被寫入的頁被標記為 臟頁（dirty page） ，當Linux決定將其重用時，它會將更新的數據同步到設備上的文件。

匿名內存 anonymous memory 或 匿名映射 anonymous mappings 表示沒有後置文件系統的內存。這些映射是為程序的stack和heap隱式創建的，或調用mmap（2）顯式創建的。通常，匿名映射只定義允許程序訪問的虛擬內存區域。讀，會創建一個頁表條目，該條目引用一個填充有零的特殊物理頁。寫，則分配一個常規物理頁來保存寫入數據。該頁將被標記為臟頁，如果內核決定重用該頁，則臟頁將被交換出去 swapped out 。

縱貫整個系統生命周期，物理頁可用於存儲不同類型的數據。它可以是內核內部數據結構、設備驅動DMA緩沖區、讀取自文件系統的數據、用戶空間進程分配的內存等。
根據內存頁使用情況，Linux內存管理會區別處理。可以隨時釋放的頁面稱為 可回收（reclaimable） 頁面，因為它們把數據緩存到了其他地方（比如，硬碟），或者被swap out到硬碟上。
可回收頁最值得注意的是 頁面緩存 和 匿名頁面 。

在大多數情況下，存放內部內核數據的頁，和用作DMA緩沖區的頁無法重用，它們將保持現狀直到用戶釋放。這樣的被稱為 不可回收頁（unreclaimable） 。
然而，在特定情況下，即便是內核數據結構佔用的頁面也會被回收。
例如，文件系統元數據的緩存（in-memory）可以從存儲設備中重新讀取，因此，當系統存在內存壓力時，可以從主內存中丟棄它們。

釋放可回收物理內存頁並重新調整其用途的過程稱為 (surprise!) reclaim 。
Linux支持非同步或同步回收頁，取決於系統的狀態。
當系統負載不高時，大部分內存是空閑的，可以立即從空閑頁得到分配。
當系統負載提升後，空閑頁減少，當達到某個閾值（ low watermark ）時，內存分配請求將喚醒 kswapd 守護進程。它將以非同步的方式掃描內存頁。如果內存頁中的數據在其他地方也有，則釋放這些內存頁；或者退出內存到後置存儲設備（關聯 臟頁 ）。

隨著內存使用量進一步增加，並達到另一個閾值- min watermark -將觸發回收。這種情況下，分配將暫停，直到回收到足夠的內存頁。

當系統運行時，任務分配並釋放內存，內存變得碎片化。
雖然使用虛擬內存可以將分散的物理頁表示為虛擬連續范圍，但有時需要分配大的連續的物理內存。這種需求可能會提升。例如，當設備驅動需要一個大的DMA緩沖區時，或當THP分配一個大頁時。
內存地址壓縮（compaction ） 解決了碎片問題。
該機制將佔用的頁從內存zone的下部移動到上部的空閑頁。壓縮掃描完成後，zone開始處的空閑頁就並在一起了，分配較大的連續物理內存就可行了。

與 reclaim 類似， compaction 可以在 kcompactd守護進程中非同步進行，也可以作為內存分配請求的結果同步進行。

在存在負載的機器上，內存可能會耗盡，內核無法回收到足夠的內存以繼續運行。
為了保障系統的其餘部分，引入了 OOM killer 。

OOM killer 選擇犧牲一個任務來保障系統的總體健康。選定的任務被killed，以期望在它退出後釋放足夠的內存以繼續正常的操作。

『貳』 linux四大基本功能

一個Linux包含進程管理、內存管理、文件管理、輸入輸出管理四大基本功能。

1.進程管理

提到進程，首先要介紹進程映像的概念。進程映像由程序段、相關數據段和進程式控制制塊（PCB）組成。所謂創建進程，本質上是創建進程映像中的PCB；而撤銷進程，本質上是撤銷進程的PCB。因此，PCB是進程存在的唯一標志。

在Linux操作系統中，當一個進程被創建時，系統就為該進程建立一個task_struct任務結構體。當進程運行結束時，系統撤消該進程的任務結構體。進程的任務結構體是進程存在的唯一標志。進程的任務結構體為內核管理進程，提供了內核所需了解的進程信息。

2.內存管理

內存管理是操作系統設計中最重要和最復雜的任務之一。有效的內存管理不僅方便用戶使用存儲器，提高內存效率，還可以通過虛擬內存技術從邏輯上擴充存儲器。

在Linux操作系統中，每個進程都有獨自的內存空間，使用虛擬內存技術。該操作系統為了保證物理內存能得到充分的利用，內核會在適當的時候將物理內存中不經常使用的數據塊自動交換到虛擬內存中，而將經常使用的信息保留到物理內存。根據」最近最經常使用「演算法，將一些不經常使用的頁面交換到虛擬內存。

3.文件管理

文件是操作系統中的一個重要概念，是以計算機凳晌硬碟為載體存儲在計算機上的信息集合。

Linux支持多種文件系統，包括ext2、ext3、vfat、ntfs、iso9660、jffs、romfs和nfs等，為了對各類文件系統進行統一管理，Linux引入了虛擬文件系統（VFS），為各類文件系統提供一個統一的操作界畢粗派面和應用編程介面。

4.輸手賀入輸出管理

IO設備管理是操作系統中最凌亂也最具挑戰性的部分。由於它包含了很多領域的不同設備及與設備相關的應用程序，很難有一個通用且一致的設計方案。輸入輸出設備的管理離不開中斷這一操作系統最重要的機制。

中斷是指在CPU正常運行期間，由於內外部事件或由程序預先安排的事件引起的CPU暫時停止正在運行的程序，轉而為該內部或外部事件或預先安排的事件服務的程序中去，服務完畢後再返回去繼續運行被暫時中斷的程序。Linux中通常分為外部中斷和內部中斷。

『叄』 linux內核主要由哪幾個部分組成

一個完整的Linux內核一般由5部分組成，它們分別是內存管理、進程管理、進程間通信、虛擬文件系統和網路介面。

1、內存管理
內存管理主要完成的是如何合理有效地管理整個系統的物理內存，同時快速響應內核各個子系統對內存分配的請求。

Linux內存管理支持虛擬內存，而多餘出的這部分內存就是通過磁碟申請得到的，平時系統只把當前運行的程序塊保留在內存中，其他程序塊則保留在磁碟中。在內存緊缺時，內存管理負責在磁碟和內存間交換程序塊。

2、進程管理
進程管理主要控制系統進程對CPU的訪問。當需要某個進程運行時，由進程調度器根據基於優先順序的調度演算法啟動新的進程。：Linux支持多任務運行，那麼如何在一個單CPU上支持多任務呢？這個工作就是由進程調度管理來實現的。

在系統運行時，每個進程都會分得一定的時間片，然後進程調度器根據時間片的不同，選擇每個進程依次運行，例如當某個進程的時間片用完後，調度器會選擇一個新的進程繼續運行。

由於切換的時間和頻率都非常的快，由此用戶感覺是多個程序在同時運行，而實際上，CPU在同一時間內只有一個進程在運行，這一切都是進程調度管理的結果。

3、進程間通信
進程間通信主要用於控制不同進程之間在用戶空間的同步、數據共享和交換。由於不用的用戶進程擁有不同的進程空間，因此進程間的通信要藉助於內核的中轉來實現。

一般情況下，當一個進程等待硬體操作完成時，會被掛起。當硬體操作完成，進程被恢復執行，而協調這個過程的就是進程間的通信機制。

4、虛擬文件系統
Linux內核譽衫鉛中的虛擬文件系統用一個通用的文件模型表示了各種不同的文件系統，這個文件模型屏蔽了很多具體文件系統的差異，使Linux內核支持很多不同的文件系統。

這個文件系統可以分為邏輯文件系統和設備驅動程序：邏輯文件系統指Linux所支持的文件系統，例如ext2、ext3和fat等；設備驅動程序指為每一種硬體控制器所編寫的設備驅動程序模塊。

5、網路介面
網路介面提供了對各種網路標準的實現和各種網路硬體的支持。網路介面一般分為網路協議慶好和網路驅動程序。網路協議部分負責實現每一種可能的網路傳輸協議。

網路設備驅動程序則主要負責與硬體設備進行通信，每一種可能的網路硬體設備都有相應的設備驅動程序。

(3)linux進程內存管理擴展閱讀：

Linux 操作系統的誕生、發展和成長過程始終依賴著五個重要支柱：UNIX操作系統、MINIX操作系統、GNU計劃、POSIX標准和Internet 網路。

1981 年IBM公司推出微型計算機IBM PC。

1991年，GNU計劃已經開發出了許多工具軟體，最受期盼的GNU C編譯器已經出現，GNU的操作系統核心HURD一直處於實驗階段，沒有任何可用性，實質上也沒能開發出完整的GNU操作系統，但是GNU奠定了Linux用戶基礎和開發環境。

1991年初，林納斯·托瓦茲開始在一台386sx兼容微機上學習minix操作系統。1991年4月，林納斯·托瓦茲開始醞釀並著手編制自己的操作系統。

1991 年4 月13 日在comp.os.minix 上發布說自己已經成功地將bash 移植到了minix 上，而且已經愛不釋手、不能離開這個shell軟體了。

1993年，大約有100餘名程序員參與了Linux內核代碼編寫/修改工作，其中核心組由5人組成，此時Linux 0.99的代碼大約有十萬行，用戶大約有10萬左右。

1994年3月，Linux1.0發布，代碼量17萬行，當時是按照完全自由免費的協議發布，隨後正式採用GPL協議。

1995年1月，Bob Young創辦了RedHat（小紅帽），以GNU/Linux為核心，集成了400多個源代碼開放的程序模塊，搞出了一種冠以品牌的Linux，即RedHat Linux,稱為Linux"發行版"，在市場上出售。這在經營模式上是一種創舉。

2001年1月，Linux 2.4發布，它進一步地提升了SMP系統的擴展性，同時它也集成了很多用於支持桌面系統的特性：USB，PC卡（PCMCIA）的支持，內置的即插即用，等等功能。

2003年12月，Linux 2.6版內核發布，相對於2.4版內核2.6在對系統的支持都有很大的變化。

2004年的第1月，SuSE嫁到了Novell，SCO繼續頂著罵名四處強行「塌棚化緣」， Asianux， MandrakeSoft也在五年中首次宣布季度贏利。3月，SGI宣布成功實現了Linux操作系統支持256個Itanium 2處理器。

『肆』 linux kernel 內存管理-頁表、TLB

頁表用來把虛擬頁映射到物理頁，並且存放頁的保護位(即訪問許可權)。
在Linux4.11版本以前，Linux內核把頁表分為4級：
頁全局目錄表(PGD)、頁上層目錄(PUD)、頁中間目錄(PMD)、直接頁表(PT) 。
4.11版本把頁表擴展到5級，在頁全局目錄和頁上層目錄之間增加了 頁四級目錄(P4D) 。
各處處理器架構可以選擇使用5級，4級，3級或者2級頁表，同一種處理器在頁長度不同的情況可能選擇不同的頁表級數。可以使用配置宏CONFIG_PGTABLE_LEVELS配置頁表的級數，一般使用默認值。
如果選擇4級頁表，那麼使用PGD，PUD，PMD，PT；如果使用3級頁表，那麼使用PGD，PMD，PT；如果選擇2級頁表，那麼使用PGD和PT。 如果不使用頁中間目錄 ，那麼內核模擬頁中間目錄，調用函數pmd_offset 根據頁上層目錄表項和虛擬地址獲取頁中間目錄表項時 ， 直接把頁上層目錄表項指針強制轉換成頁中間目錄表項 。

每個進程有獨立的頁表，進程的mm_struct實例的成員pgd指向頁全局目錄,前面四級頁表的表項存放下一級頁表的起始地址，直接頁表的頁表項存放頁幀號(PFN) 。
內核也有一個頁表， 0號內核線程的進程描述符init_task的成員active_mm指向內存描述符init_mm，內存描述符init_mm的成員pgd指向內核的頁全局目錄swapper_pg_dir 。

ARM64處理器把頁表稱為轉換表，最多4級。ARM64處理器支持三種頁長度：4KB，16KB，64KB。頁長度和虛擬地址的寬度決定了轉換表的級數，在虛擬地址的寬度為48位的條件下，頁長度和轉換表級數的關系如下所示：

ARM64處理器把表項稱為描述符，使用64位的長描述符格式。描述符的0bit指示描述符是不是有效的：0表示無效，1表示有效。第1位指定描述符類型。
在塊描述符和頁描述符中，內存屬性被拆分為一個高屬性和一個低屬性塊。

處理器的MMU負責把虛擬地址轉換成物理地址，為了改進虛擬地址到物理地址的轉換速度，避免每次轉換都需要查詢內存中的頁表，處理器廠商在管理單元里加了稱為TLB的高速緩存，TLB直譯為轉換後備緩沖區，意譯為頁表緩存。
頁表緩存用來緩存最近使用過的頁表項， 有些處理器使用兩級頁表緩存 ： 第一級TLB分為指令TLB和數據TLB，好處是取指令和取數據可以並行；第二級TLB是統一TLB，即指令和數據共用的TLB 。

不同處理器架構的TLB表項的格式不同。ARM64處理器的每條TLB表項不僅包含虛擬地址和物理地址，也包含屬性：內存類型、緩存策略、訪問許可權、地址空間標識符(ASID)和虛擬機標識符(VMID)。 地址空間標識符區分不同進程的頁表項 ， 虛擬機標識符區分不同虛擬機的頁表項 。

如果內核修改了可能緩存在TLB裡面的頁表項，那麼內核必須負責使舊的TLB表項失效，內核定義了每種處理器架構必須實現的函數。

當TLB沒有命中的時候，ARM64處理器的MMU自動遍歷內存中的頁表，把頁表項復制到TLB，不需要軟體把頁表項寫到TLB，所以ARM64架構沒有提供寫TLB的指令。

為了減少在進程切換時清空頁表緩存的需要，ARM64處理器的頁表緩存使用非全局位區分內核和進程的頁表項(nG位為0表示內核的頁表項)， 使用地址空間標識符(ASID)區分不同進程的頁表項 。
ARM64處理器的ASID長度是由具體實現定義的，可以選擇8位或者16位。寄存器TTBR0_EL1或者TTBR1_EL1都可以用來存放當前進程的ASID，通常使用寄存器TCR_EL1的A1位決定使用哪個寄存器存放當前進程的ASID，通常使用寄存器 TTBR0_EL1 。寄存器TTBR0_EL1的位[63:48]或者[63:56]存放當前進程的ASID，位[47:1]存放當前進程的頁全局目錄的物理地址。
在SMP系統中，ARM64架構要求ASID在處理器的所有核是唯一的。假設ASID為8位，ASID只有256個值，其中0是保留值，可分配的ASID范圍1~255，進程的數量可能超過255，兩個進程的ASID可能相同，內核引入ASID版本號解決這個問題。
(1)每個進程有一個64位的軟體ASID， 低8位存放硬體ASID，高56位存放ASID版本號 。
(2) 64位全局變數asid_generation的高56位保存全局ASID版本號 。
(3) 當進程被調度時，比較進程的ASID版本號和全局版本號 。如果版本號相同，那麼直接使用上次分配的ASID，否則需要給進程重新分配硬體ASID。
存在空閑ASID，那麼選擇一個分配給進程。不存在空閑ASID時，把全局ASID版本號加1，重新從1開始分配硬體ASID，即硬體ASID從255回繞到1。因為剛分配的硬體ASID可能和某個進程的ASID相同，只是ASID版本號不同，頁表緩存可能包含了這個進程的頁表項，所以必須把所有處理器的頁表緩存清空。
引入ASID版本號的好處是：避免每次進程切換都需要清空頁表緩存，只需要在硬體ASID回環時把處理器的頁表緩存清空 。

虛擬機裡面運行的客戶操作系統的虛擬地址轉物理地址分兩個階段：
(1) 把虛擬地址轉換成中間物理地址，由客戶操作系統的內核控制 ，和非虛擬化的轉換過程相同。
(2) 把中間物理地址轉換成物理地址，由虛擬機監控器控制 ，虛擬機監控器為每個虛擬機維護一個轉換表，分配一個虛擬機標識符，寄存器 VTTBR_EL2 存放當前虛擬機的階段2轉換表的物理地址。
每個虛擬機有獨立的ASID空間 ，頁表緩存使用 虛擬機標識符 區分不同虛擬機的轉換表項，避免每次虛擬機切換都要清空頁表緩存，在虛擬機標識符回繞時把處理器的頁表緩存清空。

『伍』 linux操作系統的組成有哪幾部分

Linux操作系統是當前非常火的服務端系統，所有的it方向的大學生，都應該好好掌握它。