linuxwriteback

① linux文件系統基礎知識

linux文件系統基礎知識匯總

1、linux文件系統分配策略

塊分配( block allocation ) 和 擴展分配 ( extent allocation )

塊分配：磁碟上的文件塊根據需要分配給文件，避免了存儲空間的浪費。但當文件擴充時，會造成文件中文件塊的不連續，從而導致過多的磁碟尋道時間。

每一次文件擴展時，塊分配演算法就需要寫入文件塊的結構信息，也就是 meta-dada 。meta-data總是與文件一起寫入存儲設備，改變文件的操作要等到所有meta-data的操作都完成後才能進行，

因此，meta-data的操作會明顯降低整個文件系統的性能。

擴展分配： 文件創建時，一次性分配一連串連續的塊，當文件擴展時，也一次分配很多塊。meta-data在文件創建時寫入，當文件大小沒有超過所有已分配文件塊大小時，就不用寫入meta-data，直到需要再分配文件塊的時候。

擴展分配採用成組分配塊的方式，減少了SCSI設備寫數據的時間，在讀取順序文件時具有良好的性能，但隨機讀取文件時，就和塊分配類似了。

文件塊的組或塊簇 ( block cluster) 的大小是在編譯時確定的。簇的大小對文件系統的性能有很大的影響。

註： meta-data 元信息：和文件有關的信息，比如許可權、所有者以及創建、訪問或更改時間等。

2、文件的記錄形式

linux文家系統使用索引節點(inode)來記錄文件信息。索引節點是一種數據結構，它包含了一個文件的長度、創建及修改時間、許可權、所屬關系、磁碟中的位置等信息。

一個文件系統維護了一個索引節點的數組，每個文件或目錄都與索引節點數組中的唯一的元素對應。每個索引節點在數組中的索引號，稱為索引節點號。

linux文件系統將文件索引節點號和文件名同時保存在目錄中，所以，目錄只是將文件的名稱和它的索引節點號結合在一起的一張表，目錄中每一對文件名稱和索引節點號稱為一個連接。

對於一個文件來說，有一個索引節點號與之對應;而對於一個索引節點號，卻可以對應多個文件名。

連接分為軟連接和硬連接，其中軟連接又叫符號連接。

硬連接： 原文件名和連接文件名都指向相同的物理地址。目錄不能有硬連接;硬連接不能跨文件系統(不能跨越不同的分區)，文件在磁碟中只有一個拷貝。

由於刪除文件要在同一個索引節點屬於唯一的連接時才能成功，因此硬連接可以防止不必要的誤刪除。

軟連接： 用 ln -s 命令建立文件的符號連接。符號連接是linux特殊文件的.一種，作為一個文件，它的數據是它所連接的文件的路徑名。沒有防止誤刪除的功能。

3、文件系統類型：

ext2 ： 早期linux中常用的文件系統

ext3 ： ext2的升級版，帶日誌功能

RAMFS ： 內存文件系統，速度很快

NFS ： 網路文件系統，由SUN發明，主要用於遠程文件共享

MS-DOS ： MS-DOS文件系統

VFAT ： Windows 95/98 操作系統採用的文件系統

FAT ： Windows XP 操作系統採用的文件系統

NTFS ： Windows NT/XP 操作系統採用的文件系統

HPFS ： OS/2 操作系統採用的文件系統

PROC : 虛擬的進程文件系統

ISO9660 ： 大部分光碟所採用的文件系統

ufsSun : OS 所採用的文件系統

NCPFS ： Novell 伺服器所採用的文件系統

SMBFS ： Samba 的共享文件系統

XFS ： 由SGI開發的先進的日誌文件系統，支持超大容量文件

JFS ：IBM的AIX使用的日誌文件系統

ReiserFS : 基於平衡樹結構的文件系統

udf: 可擦寫的數據光碟文件系統

4、虛擬文件系統VFS

linux支持的所有文件系統稱為邏輯文件系統，而linux在傳統的邏輯文件系統的基礎上增加料一個蓄念文件系統( Vitual File System ,VFS) 的介面層。

虛擬文件系統(VFS) 位於文件系統的最上層，管理各種邏輯文件系統，並可以屏蔽各種邏輯文件系統之間的差異，提供統一文件和設備的訪問介面。

5、文件的邏輯結構

文件的邏輯結構可分為兩大類： 位元組流式的無結構文件 和 記錄式的有結構文件。

由位元組流(位元組序列)組成的文件是一種無結構文件或流式文件 ，不考慮文件內部的邏輯結構，只是簡單地看作是一系列位元組的序列，便於在文件的任意位置添加內容。

由記錄組成的文件稱為記錄式文件 ，記錄是這種文件類型的基本信息單位，記錄式文件通用於信息管理。

6、文件類型

普通文件 ： 通常是流式文件

目錄文件 ： 用於表示和管理系統中的全部文件

連接文件 ： 用於不同目錄下文件的共享

設備文件 ： 包括塊設備文件和字元設備文件，塊設備文件表示磁碟文件、光碟等，字元設備文件按照字元操作終端、鍵盤等設備。

管道(FIFO)文件 : 提供進程建通信的一種方式

套接字(socket) 文件： 該文件類型與網路通信有關

7、文件結構： 包括索引節點和數據

索引節點 ： 又稱 I 節點，在文件系統結構中，包含有關相應文件的信息的一個記錄，這些信息包括文件許可權、文件名、文件大小、存放位置、建立日期等。文件系統中所有文件的索引節點保存在索引節點表中。

數據 ： 文件的實際內容。可以是空的，也可以非常大，並且擁有自己的結構。

8、ext2文件系統

ext2文件系統的數據塊大小一般為 1024B、2048B 或 4096B

ext2文件系統採用的索引節點(inode)：

索引節點採用了多重索引結構，主要體現在直接指針和3個間接指針。直接指針包含12個直接指針塊，它們直接指向包含文件數據的數據塊，緊接在後面的3個間接指針是為了適應文件的大小變化而設計的。

e.g： 假設數據塊大小為1024B ，利用12個直接指針，可以保存最大為12KB的文件，當文件超過12KB時，則要利用單級間接指針，該指針指向的數據塊保存有一組數據塊指針，這些指針依次指向包含有實際數據的數據塊，

假如每個指針佔用4B，則每個單級指針數據塊可保存 1024/4=256 個數據指針，因此利用直接指針和單級間接指針可保存 1024*12+1024*256=268 KB的文件。當文件超過268KB時，再利用二級間接指針，直到使用三級間接指針。

利用直接指針、單級間接指針、二級間接指針、三級間接指針可保存的最大文件大小為：

1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB，約 16GB

若數據塊大小為2048B，指針佔4B，則最大文件大小為： 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 約 268GB

若數據塊大小為4096B，指針佔4B，則最大文件大小為： 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ，約 4TB

註： 命令 tune2fs -l /dev/sda5 可查看文件系統

ext2文件系統最大文件名長度： 255個字元

ext2文件系統的缺點：

ext2在寫入文件內容的同時並沒有同時寫入文件meta-data， 其工作順序是先寫入文件的內容，然後等空閑時候才寫入文件的meta-data。若發生意外，則文件系統就會處於不一致狀態。

在重新啟動系統的時候，linux會啟動 fsk ( file system check) 的程序，掃描整個文件系統並試圖修復，但不提供保證。

9、ext3文件系統：

ext3基於ext2的代碼，所以磁碟格式與ext2相同，使用相同的元數據。

ext2文件系統無損轉化為ext3文件系統： tune2fs -j /dev/sda6

日誌塊設備( Journaling block device layer,JBD)完成ext3文件系統日誌功能。JBD不是ext3文件系統所特有的，它的設計目標是為了向一個塊設備添加日誌功能。

當一個文件修改執行時，ext3文件系統代碼將通知JBD，稱為一個事務(transaction)。發生意外時，日誌功能具有的重放功能，能重新執行中斷的事務。

日誌中的3種數據模式：

1)、data=writeback ：不處理任何形式的日誌數據，給用戶整體上的最高性能

2)、data=odered ：只記錄元數據日誌，但將元數據和數據組成一個單元稱為事務(transaction) 。此模式保持所句句的可靠性與文件系統的一致性，性能遠低於data=writeback模式，但比data=journal模式快

3)、data=journal ：提供完整的數據及元數據日誌，所有新數據首先被寫入日誌，然後才被定位。意外發生過後，日誌可以被重放，將數據與元數據帶回一致狀態。這種模式整體性能最慢，但數據需要從磁碟讀取和寫入磁碟時卻是3種模式中最快的。

ext3文件系統最大文件名長度： 255個字元

ext3文件系統的優點：可用性、數據完整性、速度、兼容性

10、ReiserFS文件系統

ReiserFS文件系統是由Hans Reiser和他領導的開發小組共同開發的，整個文件系統完全是從頭設計的，是一個非常優秀的文件系統。也是最早用於Linux的日誌文件系統之一。

ReiserFS的特點

先進的日誌機制

ReiserFS有先進的日誌(Journaling/logging)功能 機制。日誌機制保證了在每個實際數據修改之前，相應的日誌已經寫入硬碟。文件與數據的安全性有了很大提高。

高效的磁碟空間利用

Reiserfs對一些小文件不分配inode。而是將這些文件打包，存放在同一個磁碟分塊中。而其它文件系統則為每個小文件分別放置到一個磁碟分塊中。

獨特的搜尋方式

ReiserFS基於快速平衡樹(balanced tree)搜索，平衡樹在性能上非常卓越，這是一種非常高效的演算法。ReiserFS搜索大量文件時，搜索速度要比ext2快得多。Reiserfs文件 系統使用B*Tree存儲文件，而其它文件系統使用B+Tree樹。B*Tree查詢速度比B+Tree要快很多。Reiserfs在文件定位上速度非常 快。

在實際運用中，ReiserFS 在處理小於 4k 的文件時，比ext2 快 5 倍;帶尾文件壓縮功能(默認)的ReiserFS 比ext2文件系統多存儲6%的數據。

支持海量磁碟

ReiserFS是一個非常優秀的文件系統，一直被用在高端UNIX系統上，可輕松管理上百G的文件系統，ReiserFS文件系統最大支持的文件系統尺寸為16TB。這非常適合企業級應用中。

優異的性能

由於它的高效存儲和快速小文件I/O特點，使用ReiserFs文件系統的PC，在啟動X窗口系統時，所花的時間要比在同一台機器上使用ext2文 件系統少1/3。另外，ReiserFS文件系統支持單個文件尺寸為4G的文件，這為大型資料庫系統在linux上的應用提供了更好的選擇。

② 詳解Linux系統內存知識及調優方案

內存是計算機中重要的部件之一，它是與CPU進行溝通的橋梁。計算機中所有程序的運行都是在內存中進行的，因此內存的性能對計算機的影響非常大。內存作用是用於暫時存放CPU中的運算數據，以及與硬碟等外部存儲器交換的數據。只要計算機在運行中，CPU就會把需要運算的數據調到內存中進行運算，當運算完成後CPU再將結果傳送出來，內存的運行也決定了計算機的穩定運行。對於整個操作系統來說，內存可能是最麻煩的的設備。而其性能的好壞直接影響著整個操作系統。

我們知道CPU是不能與硬碟打交道的，只有數據被載入到內存中才可以被CPU調用。cpu在訪問內存的時候需要先像內存監控程序請求，由監控程序控制和分配內存的讀寫請求，這個監控程序叫做MMU(內存管理單元)。下面以32位系統來說明內存的訪問過程：

32位的系統上每一個進程在訪問內存的時候，每一個進程都當做自己有4個G的內存空間可用，這叫虛擬內存(地址)，虛擬內存轉化成物理內存是通過MMU來完成的。為了能夠從線性地址轉換成物理地址，需要page table(頁表)的內存空間,page table要載入到MMU上。為了完成線性地址到物理地址的映射，如果按照1個位元組1個位元組映射的話，需要一張非常大的表，這種轉換關系會非常的復雜。因此把內存空間又劃分成了另外一種存儲單元格式，通常為4K。在不同的硬體平台上，它們的大小一般是不一樣的，像x86 32位的有4k的頁;而64位的有4k頁，2M頁，4M頁，8M頁等等，默認都是4k的。每一個進程一般而言都有自己的頁路徑和頁表映射機制，不管那一個頁表都是由內核載入的。每一個進程只能看到自己的線性地址空間，想要增加新的內存的時候，只能在自己的線性地址空間中申請，並且申請後一定是通過操作系統的內核映射到物理地址空間中去找那麼一段空間，並且告訴線性地址空間准備好了，可以訪問，並且在page table中增加一條映射關系，於是就可以訪問物理內存了，這種叫做內存分配。但是新的申請一定是通過操作的內核到物理內存中去找那麼一段空間，並且告訴線性地址空間好了，可以建設映射關系，最終page table建立映射關系。

這反映了上述描述過程的大體情況。可以看到每一個用戶程序都會有自己的頁表，並且映射到對應的主存儲器上去。

根據上述文字和圖表的描述可以發現2個問題：

1.每個進程如果需要訪問內存的時候都需要去查找page table的話，勢必會造成伺服器的性能底下

2.如果主存儲器的內存滿了以後，應用程序還需要調用內存的時候怎麼辦

對於第一個問題，我們就需要藉助TLB(Translation Lookaside Buffer)翻譯後備緩沖器。TLB是一個內存管理單元，它可以用於改進虛擬地址到物理地址轉換速度的緩存。這樣每次在查找page table的時候就可以先去TLB中查找相應的頁表數據，如果有就直接返回，沒有再去查找page table，並把查找到的結果緩存中TLB中。TLB雖然解決了緩存的功能，但是在那麼page table中查找映射關系仍然很慢，所以又有了page table的分級目錄。page table可以分為1級目錄，2級目錄和偏移量

但是一個進程在運行的時候要頻繁的打開文件，關閉文件。這就意味著要頻繁的申請內存和釋放內存。有些能夠在內存中緩存數據的那些進程，他們對內存的分配和回收更多，那麼每一次分配都會在頁表中建立一個對應項。所以，就算內存的速度很快，大量頻繁的同一時間分配和釋放內存，依然會降低伺服器的整體性能。當然內存空間不夠用的時候，我們稱為oom(out of memory,內存耗盡)。當內存耗盡的時候，，整個操作系統掛了。這種情況下我們可以考慮交換分區，交換分區畢竟是由硬碟虛擬出來的內存，所以其性能與真正的內存相比，差了很多，所以要盡力避免使用交換分區。有物理內存空間的時候盡量保證全部使用物理內存。cpu無論如何是不能給交換內存打交道的，它也只能給物理內存打交道，能定址的空間也只能是物理內存。所以當真正物理內存空間不夠用的時候，會通過LRU演算法把其中最近最少使用的內存放到交換內存中去，這樣物理內存中的那段空間就可以供新的程序使用了。但是這樣會引發另外的一個問題，即原來的進程通過page table尋找的時候，那一段空間的數據已經不屬於它了。所以此刻cpu發送通知或者異常告訴這個程序，這個地址空間已不屬於它，這個時候可能會出現2種情況：

1.物理內存有可用的空間可用：這個時候cpu會根據以前的轉換策略會把交換分區中的那段內存重新送到物理內存中去，但是轉換過來的空間地址不一定會是以前的那一段空間地址，因為以前的那一段空間地址可能已經被別人使用了。

2.物理內存沒有可用的空間可用：這個時候依然會使用LRU算發把當前物理地址空間上最近最少使用的空間地址轉換到交換內存中去，並把當前進程需要的這斷在交換空間中的內存送到物理內存空間中去，並且重新建立映射關系。

上述通知或者異常出現的情況，通常叫做缺頁異常。缺頁異常也分為大異常和小異常兩種。大異常就是訪問的數據內存中沒有，不的不去硬碟上載入，無論是從交換內存中還是直接從磁碟的某個文件系統上，反正需要從硬碟上去載入，這種異常載入需要很長時間。小異常就是進程之間通過共享內存，第二個進程訪問的時候，查看本地的內存映射表沒有，但是其它進程已經擁有了這個內存頁，所以可以直接映射，這種異常載入需要的時間一般很短。

在操作系統開機的時候，每一個io設備都會像cpu申請一些列的隨機埠，這種埠叫做io埠。在IBM PC體系結構中，I/O地址空間一共提供了65,536個8位的I/O埠。正是這些io埠的存在，cpu可以與io設備進行讀寫交互的過程。在執行讀寫操作時，CPU使用地址匯流排選擇所請求的I/O埠，使用數據匯流排在CPU寄存器和埠之間傳送數據。I/O埠還可以被映射到物理地址空間：因此，處理器和I/O設備之間的通信就可以直接使用對內存進行操作的匯編語言指令(例如，mov、and、or等等)。現代的硬體設備更傾向於映射I/O，因為這樣處理的速度較快，並可以和DMA結合起來使用。這樣io在和內存傳數據的時候就不需要通過cpu，cpu把匯流排的控制權交給DMA，每次io傳數據的時候就調用DMA一次，就把cpu給解放了出來。當數據傳輸完了以後，DMA通知給cpu中斷一次。DMA在運行的時候對整個匯流排有控制許可權，當cpu發現有其它進程需要使用匯流排的時候，二者就會產生爭用。這個時候，在匯流排控制權的使用上，CPU和DMA具有相等的許可權。只要CPU委託給了DMA，就不能隨意的收回這個委託，就要等待DMA的用完。

如果沒有其它進程可以運行，或者其它進程運行的時間非常短，這個時候CPU發現我們的IO仍然沒有完成，那就意味著，CPU只能等待IO了。CPU在時間分配裡面有個iowait的值，就是CPU在等待IO花費的時間。有些是在同步調用過程中，CPU必須要等待IO的完成;否者CPU可以釋放IO的傳輸在背後自動完成，CPU自己去處理其它的事情。等硬碟數據傳輸完成以後，硬碟只需要像CPU發起一個通知即可。CPU外圍有一種設備，這個設備叫做可編程中斷控制器。每一個硬體設備為了給CPU通信，在剛開機的時候，在BIOS實現檢測的時候，這個設備就要到可編程中斷控制器上去注冊一個所謂的中斷號。那麼這個號碼就歸這個硬體使用了。當前主機上可能有多個硬體，每一個硬體都有自己的號碼，CPU在收到中斷號以後，就能夠通過中斷相量表查找到那個硬體設備進行中斷。並且就由對應的IO埠過來處理了。

CPU正在運行其它進程，當一個中斷請求發過來的時候，CPU會立即終止當前正在處理的進程，而去處理中斷。當前CPU掛起當前正在處理的進程，轉而去執行中斷的過程，也叫做中斷切換。只不過，這種切換在量級別上比進程切換要低一些，而且任何中斷的優先順序通常比任何進程也要高，因為我們指的是硬體中斷。中斷還分為上半部和下半部，一般而言，上半部就是CPU在處理的時候，把它接進來，放到內存中，如果這個事情不是特別緊急(CPU或者內核會自己判斷)，因此在這種情況下，CPU回到現場繼續執行剛才掛起的進程，當這個進程處理完了，再回過頭來執行中斷的下半部分。

在32位系統中，我們的內存(線性地址)地址空間中，一般而言，低地址空間有一個G是給內核使用的，上面3個G是給進程使用的。但是應該明白，其實在內核內存當中，再往下，不是直接這樣劃分的。32位系統和64位系統可能不一樣(物理地址)，在32位系統中，最低端有那麼10多M的空間是給DMA使用的。DNA的匯流排寬度是很小的，可能只有幾位，所以定址能力很有限，訪問的內存空間也就很有限。如果DMA需要復制數據，而且自己能夠定址物理內存，還可以把數據直接壯哉進內存中去，那麼就必須保證DMA能夠定址那段內存才行。定址的前提就是把最低地址斷M，DA的定址范圍內的那一段給了DMA。所以站在這個角度來說，我們的內存管理是分區域的。

在32位系統上，16M的內存空間給了ZONE_DMA(DMA使用的物理地址空間);從16M到896M給了ZONE_NORMAL(正常物理地址空間)，對於Linux操作系統來說，是內核可以直接訪問的地址空間;從896M到1G這斷空間叫做"Reserved"(預留的物理地址空間);從1G到4G的這段物理地址空間中，我們的內核是不能直接訪問的，要想訪問必須把其中的一段內容映射到Reserved來，在Reserved中保留出那一段內存的地址編碼，我們內核才能上去訪問，所以內核不直接訪問大於1G的物理地址空間。所以在32位系統上，它訪問內存當中的數據，中間是需要一個額外步驟的。

在64位系統上，ZONE_DAM給了低端的1G地址空間，這個時候DMA的定址能力被大大加強了;ZONE_DAM32可以使用4G的空間;而大於1G以上給劃分了ZONE_NORMAL,這段空間都可以被內核直接訪問。所以在64位上，內核訪問大於1G的內存地址，就不需要額外的步驟了，效率和性能上也大大增加，這也就是為什麼要使用64位系統的原因。

在現在的PC架構上，AMD,INTER都支持一種機制，叫做PEA(物理地址擴展)。所謂PAE。指的是在32位系統的地址匯流排上，又擴展了4位，使得32位系統上的地址空間可以達到64G。當然在32為系統上，不管你的物理內存有多大，單個進程所使用的空間是無法擴展的。因為在32位的系統上，線性地址空間只有4個G，而單個進程能夠識別的訪問也只有3個G。

linux的虛擬內存子系統包含了以下幾個功能模塊：

slab allocator,zoned buddy allocator,MMU,kswapd,bdflush

slab allocator叫做slab分配器

buddy allocator又叫做buddy system，叫做夥伴系統，也是一種內存分配器

buddy system是工作在MMU之上的，而slab allocator又是工作在buddy system之上的。

設置為小於等於1G，在資料庫伺服器應該勁量避免使用交換內存

3.在應用伺服器上，可以設置為RAM*0.5，當然這個是理論值

如果不的不使用交換內存，應該把交換內存放到最靠外的磁軌分區上，因為最外邊的磁碟的訪問速度最快。所以如果有多塊硬碟，可以把每塊硬碟的最外層的磁軌拿一小部分出來作為交換分區。交換分區可以定義優先順序，因此把這些硬碟的交換內存的優先順序設置為一樣，可以實現負載均衡的效果。定義交換分區優先順序的方法為編輯/etc/fstab：

/dev/sda1 swap swap pri=5 0 0

/dev/sdb1 swap swap pri=5 0 0

/dev/sdc1 swap swap pri=5 0 0

/dev/sdd1 swap swap pri=5 0 0

四.內存耗盡時候的相關調優參數

當Linux內存耗盡的時候，它會殺死那些佔用內存最多的進程，以下三種情況會殺死進程：

1.所有的進程都是活動進程，這個時候想交換出去都沒有空閑的進程

2.沒有可用的page頁在ZONE_NORMAL中

3.有其它新進程啟動，申請內存空間的時候，要找一個空閑內存給做映射，但是這個時候找不到了

一旦內存耗盡的時候，操作系統就會啟用oom-kill機制。

在/proc/PID/目錄下有一個文件叫做oom_score,就是用來指定oom的評分的，就是壞蛋指數。

如果要手動啟用oom-kill機制的話，只需要執行echo f>/proc/sysrq-trigger即可，它會自動殺掉我們指定的壞蛋指數評分最高的那個進程

可以通過echo n > /proc/PID/oom_adj來調整一個進程的壞蛋評分指數。最終的評分指數就是2的oom_adj的值的N次方。假如我們的一個進程的oom_adj的值是5，那麼它的壞蛋評分指數就是2的5次方。

如果想禁止oom-kill功能的使用可以使用vm.panic_on_oom=1即可。

五.與容量有關的內存調優參數：

overcommit_memory,可用參數有3個，規定是否能夠過量使用內存：

0：默認設置，內核執行啟發式的過量使用處理

1：內核執行無內存的過量使用處理。使用這個值會增大內存超載的可能性

2：內存的使用量等於swap的大小+RAM*overcommit_ratio的值。如果希望減小內存的過度使用，這個值是最安全的

overcommit_ratio:將overcommit_memory指定為2時候，提供的物理RAM比例，默認為50

六.與通信相關的調優參數

常見在同一個主機中進行進程間通信的方式：

1.通過消息message;2.通過signal信號量進行通信;3.通過共享內存進行通信，跨主機常見的通信方式是rpc

以消息的方式實現進程通信的調優方案：

msgmax:以位元組為單位規定消息隊列中任意消息的最大允許大小。這個值一定不能超過該隊列的大小(msgmnb)，默認值為65536

msgmnb:以位元組為單位規定單一消息隊列的最大值(最大長度)。默認為65536位元組

msgmni:規定消息隊列識別符的最大數量(及隊列的最大數量)。64位架構機器的默認值為1985;32位架構機器的默認值為1736

以共享內存方式實現進程通信的調優方案：

shmall:以位元組為單位規定一次在該系統中可以使用的共享內存總量(單次申請的上限)

shmmax:以位元組為單位規定每一個共享內存片段的最大大小

shmmni:規定系統范圍內最大共享內存片段。在64和32位的系統上默認值都是4096

七.與容量相關的文件系統可調優參數：

file-max:列出內核分配的文件句柄的最大值

dirty_ratio:規定百分比值，當臟數據達到系統內存總數的這個百分比值後開始執行pdflush,默認為20

dirty_background_ratio:規定百分比值，當某一個進程自己所佔用的臟頁比例達到系統內存總數的這個百分比值後開始在後台執行pdflush，默認為10

dirty_expire_centisecs:pdlush每隔百分之一秒的時間開啟起來刷新臟頁，默認值為3000，所以每隔30秒起來開始刷新臟頁

dirty_writeback_centisecs:每隔百分之一秒開始刷新單個臟頁。默認值為500，所以一個臟頁的存在時間達到了5秒，就開始刷新臟

八.linux內存常用的觀察指標命令：

Memory activity

vmstat [interval] [count]

sar -r [interval] [count]

Rate of change in memory

sar -R [interval] [count]

frmpg/s:每秒釋放或者分配的內存頁，如果為正數，則為釋放的內存頁;如果為負數，則為分配的內存頁

bufpg/s:每秒buffer中獲得或者釋放的內存頁。如果為正數則為獲得的內存頁，為負數。則為釋放的內存頁

campg/s:每秒cache中獲得或者釋放的內存頁。如果為正數則為獲得的內存頁，為負數。則為釋放的內存頁

Swap activity

sar -W [interval] [count]

ALL IO

sar -B [interval] [count]

pgpgin/s:每秒從磁碟寫入到內核的塊數量

pgpgout/s:每秒從內核寫入到磁碟的塊數量

fault/s:每秒鍾出現的缺頁異常的個數

majflt/s:每秒鍾出現的大頁異常的個數

pgfree/s:每秒回收回來的頁面個數

③ linux怎樣提升磁碟讀寫性能

關於頁面緩存的信息，可以用
cat /proc/meminfo
看到。其中的Cached 指用於pagecache的內存大小（diskcache-SwapCache）。隨著寫入緩存頁，Dirty 的值會增加。
一旦開始把緩存頁寫入硬碟,Writeback的值會增加直到寫入結束。

Linux 用pdflush進程把數據從緩存頁寫入硬碟，查看有多少個pdflush進程
cat /proc/sys/vm/nr_pdflush_threads

pdflush的行為受/proc/sys/vm中的參數的控制
/proc/sys/vm/dirty_writeback_centisecs (default 500):
1/100秒, 多長時間喚醒pdflush將緩存頁數據寫入硬碟。默認5秒喚醒2個（更多個）線程。
如果wrteback的時間長於dirty_writeback_centisecs的時間，可能會出問題。

pdflush的第一件事是讀取
/proc/sys/vm/dirty_expire_centiseconds (default 3000)
1/100秒。緩存頁里數據的過期時間(舊數據)，在下一個周期內被寫入硬碟。默認30秒是一個很長的時間。

第二件事是判斷內存是否到了要寫入硬碟的限額，由參數決定：
/proc/sys/vm/dirty_background_ratio (default 10)
百分值，保留過期頁緩存（臟頁緩存）的最大值。是以MmeFree+Cached-Mapped的值為基準的

pdflush寫入硬碟看兩個參數：
1 數據在頁緩存中是否超出30秒，如果是，標記為臟頁緩存;
2 臟頁緩存是否達到工作內存的10%;

以下參數也會影響到pdflush
/proc/sys/vm/dirty_ratio (default 40)
總內存的最大百分比，系統所能擁有的最大臟頁緩存的總量。超過這個值，開啟pdflush寫入硬碟。如果cache增長快於pdflush，那麼整個系統在40%的時候遇到I/O瓶頸，所有的I/O都要等待cache被pdflush進硬碟後才能重新開始。

對於有高度寫入操作的系統
dirty_background_ratio: 主要調整參數。如果需要把緩存持續的而不是一下子大量的寫入硬碟，降低這個值。
dirty_ratio： 第二調整參數。

Swapping參數
/proc/sys/vm/swappiness
默認，linux傾向於從物理內存映射到硬碟緩存，保持硬碟緩存盡可能大。未用的頁緩存會被放進swap區。
數值為0，將會避免使用swapping
100，將會盡量使用swapping
少用swapping會增加程序的響應速度；多用swapping將會提高系統的可用性。

如果有大量的寫操作，為避免I/O的長時間等待，可以設置：
$ echo 5 > /proc/sys/vm/dirty_background_ratio
$ echo 10 > /proc/sys/vm/dirty_ratio

文件系統數據緩沖需要頻繁的內存分配。加大保留內存的值能提升系統速度和穩定。小於8G的內存，保留內存為64M，大於8G的設置為256M
$ echo 65536 > /proc/sys/vm/min_free_kbytes


I/O 調度器
cat /sys/block/[disk]/queue/scheler

4中調度演算法
noop anticipatory deadline [cfq]
deadline : deadline 演算法保證對既定的IO請求以最小的延遲時間。
anticipatory： 有個IO發生後，如果又有進程請求IO，則產生一個默認6ms猜測時間，猜測下一個進程請求IO是干什麼。這對於隨機讀取會造成較大的延時。
對資料庫應用很糟糕，而對於Web Server等則會表現不錯。
cfq: 對每個進程維護一個IO隊列，各個進程發來的IO請求會被cfq以輪循方式處理，對每一個IO請求都是公平。適合離散讀的應用。
noop: 對所有IO請求都用FIFO隊列形式處理。默認IO不會存在性能問題。

改變調度器
$ echo deadline > /sys/block/sdX/queue/scheler
對於資料庫伺服器，deadline演算法是推薦的。

提高調度器請求隊列的
$ echo 4096 > /sys/block/sdX/queue/nr_requests

有大量的讀請求，默認的請求隊列應付不過來，可以提高這個值。缺點是要犧牲一定的內存。
為了增加連續讀取的吞吐量，可以增加預讀數據量。預讀的實際值是自適應的，所以使用一個較高的值，不會降低小型隨機存取的性能。
$ echo 4096 > /sys/block/sdX/queue/read_ahead_kb
如果LINUX判斷一個進程在順序讀取文件，那麼它會提前讀取進程所需文件的數據，放在緩存中。伺服器遇到磁碟寫活動高峰，導致請求處理延遲非常大（超過3秒）。通過調整內核參數，將寫活動的高峰分布成頻繁的多次寫，每次寫入的數據比較少。這樣可以把尖峰的寫操作削平成多次寫操作。以這種方式執行的效率比較低，因為內核不太有機會組合寫操作。但對於繁忙的伺服器，寫操作將更一致地進行，並將極大地改進互動式性能。

/proc/sys/vm/dirty_ratio

控制文件系統的寫緩沖區的大小，單位是百分比，表示占系統內存的百分比，表示當寫緩沖使用到系統內存多少的時候，開始向磁碟寫出數據。增大之會使用更多系統內存用於磁碟寫緩沖，也可以極大提高系統的寫性能。但是，當你需要持續、恆定的寫入場合時，應該降低其數值。

/proc/sys/vm/dirty_background_ratio

控制文件系統的pdflush進程，在何時刷新磁碟。單位是百分比，表示系統內存的百分比，pdflush用於將內存中的內容和文件系統進行同步，比如說,當一個文件在內存中進行修改,pdflush負責將它寫回硬碟.每當內存中的垃圾頁（dirty page）超過10%的時候,pdflush就會將這些頁面備份回硬碟.增大之會使用更多系統內存用於磁碟寫緩沖，也可以極大提高系統的寫性能。但是，當你需要持續、恆定的寫入場合時，應該降低其數值：

/proc/sys/vm/dirty_writeback_centisecs

控制內核的臟數據刷新進程pdflush的運行間隔。單位是 1/100 秒。預設數值是500，也就是 5 秒。如果你的系統是持續地寫入動作，那麼實際上還是降低這個數值比較好，這樣可以把尖峰的寫操作削平成多次寫操作。
如果你的系統是短期地尖峰式的寫操作，並且寫入數據不大（幾十M/次）且內存有比較多富裕，那麼應該增大此數值。
該參數的設置應該小於dirty_expire_centisecs，但也不能太小，太小I/O太頻繁，反而
使系統性能下降。具體可能需要在生產環境上測試。據說1:6 (dirty_expire_centisecs : dirty_writeback_centisecs )的比例比較好。

/proc/sys/vm/dirty_expire_centisecs

聲明Linux內核寫緩沖區裡面的數據多「舊」了之後，pdflush進程就開始考慮寫到磁碟中去。單位是 1/100秒。預設是 30000，也就是 30 秒的數據就算舊了，將會刷新磁碟。對於特別重載的寫操作來說，這個值適當縮小也是好的，但也不能縮小太多，因為縮小太多也會導致IO提高太快。
當然，如果你的系統內存比較大，並且寫入模式是間歇式的，並且每次寫入的數據不大（比如幾十M），那麼這個值還是大些的好。

/proc/sys/vm/vfs_cache_pressure

表示內核回收用於directory和inode cache內存的傾向；預設值100表示內核將根據pagecache和swapcache，把directory和inode cache保持在一個合理的百分比；降低該值低於100，將導致內核傾向於保留directory和inode cache；增加該值超過100，將導致內核傾向於回收directory和inode cache

/proc/sys/vm/min_free_kbytes

表示強制Linux VM最低保留多少空閑內存（Kbytes）。
預設設置：724（512M物理內存）

/proc/sys/vm/nr_pdflush_threads

表示當前正在運行的pdflush進程數量，在I/O負載高的情況下，內核會自動增加更多的pdflush進程。

/proc/sys/vm/overcommit_memory

指定了內核針對內存分配的策略，其值可以是0、1、2。

0， 表示內核將檢查是否有足夠的可用內存供應用進程使用；如果有足夠的可用內存，內存申請允許；否則，內存申請失敗，並把錯誤返回給應用進程。

1， 表示內核允許分配所有的物理內存，而不管當前的內存狀態如何。

2， 表示內核允許分配超過所有物理內存和交換空間總和的內存（參照overcommit_ratio）。

預設設置：0

/proc/sys/vm/overcommit_ratio

如果overcommit_memory=2，可以過載內存的百分比，通過以下公式來計算系統整體可用內存。系統可分配內存=交換空間+物理內存*overcommit_ratio/100
預設設置：50（%）

/proc/sys/vm/page-cluster

表示在寫一次到swap區的時候寫入的頁面數量，0表示1頁，1表示2頁，2表示4頁。
預設設置：3（2的3次方，8頁）

/proc/sys/vm/swapiness

表示系統進行交換行為的程度，數值（0-100）越高，越可能發生磁碟交換。

更改：
/etc/sysctl.conf

vm.dirty_ratio=40

sysctl -p

查看：

find /proc/sys/vm -name dirty* -print | while read name; do echo $name ;cat ${name}; done

④ Linux伺服器要怎麼查看內存

free命令顯示系統使用和空閑的內存情況，包括物理內存、交互區內存(swap)和內核緩沖區內存。

直接輸入free命令，顯示如下

泰海科技解答

⑤ linux下mm\page-writeback.c是用來干什麼的

page_writeback_init()，定義在mm/page-writeback.c中，初始化將臟頁頁同步到磁碟上的控制信息。

摘自下面的鏈接：
http://hi..com/wordofsilence/blog/item/72b9c38934ef839ca5c272b2.html

⑥ LINUX查看文件屬性命令是什麼

linux lsattr命令: 顯示文件屬性介紹:
文件屬性在文件系統的安全管理方面起很重要的作用，linux下lsattr命令用於查看文件屬性信息。
語法:

lsattr [-adRvV] [文件或目錄...]選項介紹:
-a: 顯示所有文件和目錄，包括隱藏文件;
-d: 顯示目錄名稱，而非其內容;
-R: 遞歸處理，將指定目錄下的所有文件及子目錄一並處理;
-v: 顯示文件或目錄版本;
-V: 顯示版本信息;

執行範例:

1 $ chattr +ai text

2 $ lsattr

3 ----ia------- text

擴展閱讀:
chattr命令用於修改文件屬性，chattr命令需要root許可權。

文件屬性:
a: append only; 系統只允許在這個文件之後追加數據，不允許任何進程覆蓋或截斷這個文件。如果目錄具有這個屬性，系統將只允許在這個目錄下建立和修改文件，而不允許刪除任何文件。

c: compressed; 系統以透明的方式壓縮這個文件。從這個文件讀取時，返回的是解壓之後的數據；而向這個文件中寫入數據時，數據首先被壓縮之後才寫入磁碟。

d: no mp; 在進行文件系統備份時，mp程序將忽略這個文件。

i: immutable; 系統不允許對這個文件進行任何的修改。如果目錄具有這個屬性，那麼任何的進程只能修改目錄之下的文件，不允許建立和刪除文件。

j: data journalling; 如果一個文件設置了該屬性，那麼它所有的數據在寫入文件本身之前，寫入到ext3文件系統日誌中，如果該文件系統掛載的時候使用了」data=ordered」 或」data=writeback」選項。當文件系統採用」data=journal」選項掛載時，所有文件數據已經記錄日誌，因此這個屬性不起作用。僅僅超級用戶或者擁有CAP_SYS_RESOURCE能力的進程可以設置和刪除該屬性。

s: secure deletion; 讓系統在刪除這個文件時，使用0填充文件所在的區域。

t: no tail-merging; 和其他文件合並時，該文件的末尾不會有部分塊碎片(為支持尾部合並的文件系統使用)。

u: undeletable; 當一個應用程序請求刪除這個文件，系統會保留其數據塊以便以後能夠恢復刪除這個文件。

A: no atime updates; 告訴系統不要修改對這個文件的最後訪問時間

D: synchronous directory updates; 任何改變將同步到磁碟；這等價於mount命令中的dirsync選項：

S: synchronous updates; 一旦應用程序對這個文件執行了寫操作，使系統立刻把修改的結果寫到磁碟。

T: top of directory hierarchy; 如果一個目錄設置了該屬性，它將被視為目錄結構的頂極目錄

⑦ linux內存管理的特點

什麼是虛擬內存？
Linux支持虛擬內存（virtual memory），虛擬內存是指使用磁碟當作RAM的擴展，這樣可用的內存的大小就相應地增大了。內核會將暫時不用的內存塊的內容寫到硬碟上，這樣一來，這塊內存就可用於其它目的。當需要用到原始的內容時，它們被重新讀入內存。這些操作對用戶來說是完全透明的；Linux下運行的程序只是看到有大量的內存可供使用而並沒有注意到時不時它們的一部分是駐留在硬碟上的。當然，讀寫硬碟要比直接使用真實內存慢得多（要慢數千倍），所以程序就不會象一直在內存中運行的那樣快。用作虛擬內存的硬碟部分被稱為交換空間（swap space）。
Linux能夠使用文件系統中的一個常規文件或一個獨立的分區作為交換空間。交換分區要快一些，但是很容易改變交換文件的大小（也就無需重分區整個硬碟，並且可以從臨時分區中安裝任何東西）。當你知道你需要多大的交換空間時，你應該使用交換分區，但是如果你不能確定的話，你可以首先使用一個交換文件，然後使用一陣子系統，你就可以感覺到要有多大的交換空間，此時，當你能夠確信它的大小時就創建一個交換分區。
你應該知道，Linux允許同時使用幾個交換分區以及/或者交換文件。這意味著如果你只是偶爾地另外需要一個交換空間時，你可以在當時設置一個額外的交換文件，而不是一直分配這個交換空間。
操作系統術語注釋：計算機科學常常將交換[swapping](將整個進程寫到交換空間)與頁面調度[paging]（在某個時刻，僅僅固定大小的幾千位元組寫到交換空間內）加以區別。頁面調度通常更有效，這也是Linux的做法，但是傳統的Linux術語卻指的是交換。
創建交換空間
一個交換文件是一個普通的文件；對內核來說一點也不特殊。對內核有關系的是它不能有孔，並且它是用mkswap來准備的。而且，它必須駐留在一個本地硬碟上，它不能由於實現的原因而駐留在一個通過NFS載入的文件系統中。
關於孔是重要的。交換文件保留了磁碟空間，以至於內核能夠快速地交換出頁面而無需做分配磁碟扇區給文件時所要做的一些事。內核僅僅是使用早已分配給交換文件的任何扇區而已。因為文件中的一個孔意味著沒有磁碟扇區分配（給該文件的孔的相應部分），對內核來說就不能使用這類有孔的文件。
創建無孔的交換文件的一個好方法是通過下列命令：
$ dd if=/dev/zero of=/extra-swap bs=1024 count=1024 \

上面/extra-swap是交換文件的名字，大小由count=後面的數值給出。大小最好是4的倍數，因為內核寫出的內存頁面（memory pages）大小是4千位元組。如果大小不是4的倍數，最後幾千位元組就用不上了。
一個交換分區也並沒有什麼特別的。你可以象創建其它分區一樣地創建它；唯一的區別在於它是作為一個原始的分區使用的，也即，它不包括任何的文件系統。將交換分區標記為類型82（Linux交換分區）是個好主意；這將使得分區的列表更清楚，盡管對內核來說並不是一定要這樣的。
在創建了一個交換文件或一個交換分區以後，你必須在它的開頭部分寫上一個簽名；這個簽名中包括了一些由內核使用的管理信息。這是用\cmd{mkswap}命令來做到的，用法如下：
$ mkswap /extra-swap 1024
Setting up swapspace, size = 1044480 bytes

請注意此時交換空間還沒有被使用：它已存在，但內核還沒有用它作為虛擬內存。你必須非常小心地使用mkswap，因為它不檢查這個文件或分區是否已被別人使用。你可以非常容易地使用mkswap來覆蓋重要的文件以及分區！幸運的是，僅僅在安裝系統時，你才需要使用mkswap。
Linux內存管理程序限制每個交換空間最大約為127MB（由於各種技術上的原因，實際的限制大小為(4096-10) * 8 * 4096 = 133890048$ 位元組，或127.6875兆位元組）。然而，你可以同時使用多至16個交換空間，總容量幾乎達2GB。
交換空間的使用
一個已初始化的交換空間是使用命令swapon投入正式使用的。該命令告訴內核這個交換空間可以被使用了。到交換空間的路徑是作為參數給出的，所以，開始在一個臨時交換文件上使用交換的命令如下：
$ swapon /extra-swap

通過把交換空間列入/etc/fstab文件中就能被自動地使用了。
/dev/hda8 none swap sw 0 0

/swapfile none swap sw 0 0

啟動描述文件會執行命令swapon –a，這個命令會啟動列於/etc/fstab中的所有交換空間。因此，swapon命令通常僅用於需要有外加的交換空間時。
你可以用free命令監視交換空間的使用情況。它將給出已使用了多少的交換空間。
total used free shared buffers
Swap: 32452 6684 25768

輸出的第一行（Mem:）顯示出物理內存的使用情況。總和(total)列中並沒有顯示出被內核使用的內存，它通常將近一兆位元組。已用列(used column)顯示出已用內存的總和（第二行沒有把緩沖算進來）。空閑列（free column）顯示了所有未被使用的空閑內存。共享列（shared column）顯示出了被幾個進程共享的內存的大小；共享的內存越多，情況就越好。緩存列（buffer column）顯示出了當前磁碟緩存的大小。已緩沖列（cached column）顯示出了已使用的緩存的大小。
最後一行（Swap:）顯示出了與交換空間相應的信息。如果這一行的數值都是零，表示你的交換空間沒有被擊活。
也可通過用top命令來獲得同樣的信息，或者使用proc文件系統中的文件/proc/meminfo 。通常要取得指定交換空間的使用情況是困難的。
可以使用命令swapoff來移去一個交換空間。通常沒有必要這樣做，但臨時交換空間除外。一般，在交換空間中的頁面首先被換入內存；如果此時沒有足夠的物理內存來容納它們又將被交換出來（到其他的交換空間中）。如果沒有足夠的虛擬內存來容納所有這些頁面，Linux就會波動而不正常；但經過一段較長的時間Linux會恢復，但此時系統已不可用了。在移去一個交換空間之前，你應該檢查（例如，用free）是否有足夠的空閑內存。
任何由swapon –a而自動被使用的所有交換空間都能夠用swapoff –a命令移去；該命令參考/etc/fstab文件來確定移去什麼。任何手工設置使用的交換空間將始終可以被使用。
有時，盡管有許多的空閑內存，仍然會有許多的交換空間正被使用。這是有可能發生的，例如如果在某一時刻有進行交換的必要，但後來一個佔用很多物理內存的大進程結束並釋放內存時。被交換出的數據並不會自動地交換進內存，除非有這個需要時。此時物理內存會在一段時間內保持空閑狀態。對此並沒有什麼可擔心的，但是知道了是怎麼一回事我們也就放心了。
許多操作系統使用了虛擬內存的方法。因為它們僅在運行時才需要交換空間，以即決不會在同一時間使用交換空間，因此，除了當前正在運行的操作系統的交換空間，其它的就是一種浪費。所以讓它們共享一個交換空間將會更有效率。這是可能的，但需要有一定的了解。在HOWTO技巧文檔中含有如何實現這種做法的一些建議。
有些人會對你說需要用物理內存的兩倍容量來分配交換空間，但這是不對的。下面是合適的做法：
。估計你的總內存需求。這是某一時刻你所需要的最大的內存容量，也就是在同一時刻你想運行的所有程序所需內存的總和。通過同時運行所有的程序你可以做到這一點。
例如，如果你要運行X，你將給它分配大約8MB內存，gcc需要幾兆位元組（有些文件要求異呼尋常的大量的內存量，多至幾十兆位元組，但通常約4兆位元組應該夠了），等等。內核本身要用大約1兆位元組、普通的shell以及其它一些工具可能需要幾百千位元組（就說總和要1兆位元組吧）。並不需要進行精確的計算，粗率的估計也就足夠了，但你必須考慮到最壞的情況。
注意，如果會有幾個人同時使用這個系統，他們都將消耗內存。然而，如果兩個人同時運行一個程序，內存消耗的總量並不是翻倍，因為代碼頁以及共享的庫只存在一份。
Free以及ps命令對估計所需的內存容量是很有幫助的。
對第一步中的估計放寬一些。這是因為對程序在內存中佔用多少的估計通常是不準的，因為你很可能忘掉幾個你要運行的程序，以及，確信你還要有一些多餘的空間用於以防萬一。這需幾兆位元組就夠了。（多分配總比少分配交換空間要好，但並不需要過分這樣以至於使用整個硬碟，因為不用的交換空間是浪費的空間；參見後面的有關增加交換空間。）同樣，因為處理數值更好做，你可以將容量值加大到整數兆位元組。
基於上面的計算，你就知道了你將需要總和為多少的內存。所以，為了分配交換空間，你僅需從所需總內存量中減去實際物理內存的容量，你就知道了你需要多少的交換空間。（在某些UNIX版本中，你還需要為物理內存的映像分配空間，所以第二步中算出的總量正是你所需要的交換空間的容量，而無需再做上述中的減法運算了。）
如果你計算出的交換空間容量遠遠大於你的物理內存（大於兩倍以上），你通常需要再買些內存來，否則的話，系統的性能將非常低。
有幾個交換空間是個好主意，即使計算指出你一個都不需要。Linux系統常常動不動就使用交換空間，以保持盡可能多的空閑物理內存。即使並沒有什麼事情需要內存，Linux也會交換出暫時不用的內存頁面。這可以避免等待交換所需的時間：當磁碟閑著，就可以提前做好交換。
可以將交換空間分散在幾個硬碟之上。針對相關磁碟的速度以及對磁碟的訪問模式，這樣做可以提高性能。你可能想實驗幾個方案，但是你要認識到這些實驗常常是非常困難的。不要相信其中一個方案比另一個好的說法，因為並不總是這樣的。

高速緩沖
與訪問（真正的）的內存相比，磁碟[3]的讀寫是很慢的。另外，在相應較短的時間內多次讀磁碟同樣的部分也是常有的事。例如，某人也許首先閱讀了一段e-mail消息，然後為了答復又將這段消息讀入編輯器中，然後又在將這個消息拷貝到文件夾中時，使得郵件程序又一次讀入它。或者考慮一下在一個有著許多用戶的系統中ls命令會被使用多少次。通過將信息從磁碟上僅讀入一次並將其存於內存中，除了第一次讀以外，可以加快所有其它讀的速度。這叫作磁碟緩沖（disk buffering），被用作此目的的內存稱為高速緩沖（buffer cache）。
不幸的是，由於內存是一種有限而又不充足的資源，高速緩沖不可能做的很大（它不可能包容要用到的所有數據）。當緩沖充滿了數據時，其中最長時間不用的數據將被舍棄以騰出內存空間用於新的數據。
對寫磁碟操作來說磁碟緩沖技術同樣有效。一方面，被寫入磁碟的數據常常會很快地又被讀出（例如，原代碼文件被保存到一個文件中，又被編譯器讀入），所以將要被寫的數據放入緩沖中是個好主意。另一方面，通過將數據放入緩沖中，而不是將其立刻寫入磁碟，程序可以加快運行的速度。以後，寫的操作可以在後台完成，而不會拖延程序的執行。
大多數操作系統都有高速緩沖（盡管可能稱呼不同），但是並不是都遵守上面的原理。有些是直接寫（write-through）：數據將被立刻寫入磁碟（當然，數據也被放入緩存中）。如果寫操作是在以後做的，那麼該緩存被稱為後台寫（write-back）。後台寫比直接寫更有效，但也容易出錯：如果機器崩潰，或者突然掉電，或者是軟盤在緩沖中等待寫的數據被寫入軟盤之前被從驅動器中取走，緩沖中改變過的數據就被丟失了。如果仍未被寫入的數據含有重要的薄記信息，這甚至可能意味著文件系統（如果有的話）已不完整。
由於上述原因，在使用適當的關閉過程之前，絕對不要關掉電源（見第六章），不要在卸載（如果已被載入）之前將軟盤從驅動器中取出來，也不要在任何正在使用軟盤的程序指示出完成了軟盤操作並且軟盤燈熄滅之前將軟盤取出來。sync命令傾空（flushes）緩沖，也即，強迫所有未被寫的數據寫入磁碟，可用以確定所有的寫操作都已完成。在傳統的UNIX系統中，有一個叫做update的程序運行於後台，每隔30秒做一次sync操作，因此通常無需手工使用sync命令了。Linux另外有一個後台程序，bdflush，這個程序執行更頻繁的但不是全面的同步操作，以避免有時sync的大量磁碟I/O操作所帶來的磁碟的突然凍結。
在Linux中，bdflush是由update啟動的。通常沒有理由來擔心此事，但如果由於某些原因bdflush進程死掉了，內核會對此作出警告，此時你就要手工地啟動它了（/sbin/update）。
緩存（cache）實際並不是緩沖文件的，而是緩沖塊的，塊是磁碟I/O操作的最小單元（在Linux中，它們通常是1KB）。這樣，目錄、超級塊、其它文件系統的薄記數據以及非文件系統的磁碟數據都可以被緩沖了。
緩沖的效力主要是由它的大小決定的。緩沖大小太小的話等於沒用：它只能容納一點數據，因此在被重用時，所有緩沖的數據都將被傾空。實際的大小依賴於數據讀寫的頻次、相同數據被訪問的頻率。只有用實驗的方法才能知道。
如果緩存有固定的大小，那麼緩存太大了也不好，因為這會使得空閑的內存太小而導致進行交換操作（這同樣是慢的）。為了最有效地使用實際內存，Linux自動地使用所有空閑的內存作為高速緩沖，當程序需要更多的內存時，它也會自動地減小緩沖的大小。
在Linux中，你不需要為使用緩沖做任何事情，它是完全自動處理的。除了上面所提到的有關按照適當的步驟來關機和取出軟盤，你不用擔心它。

⑧ Linux中Cache內存佔用過高解決辦法

在Linux系統中，我們經常用free命令來查看系統內存的使用狀態。

默認顯示單位是kb，我的伺服器是128G內存，所以數字顯得比較大。這個命令幾乎是每一個使用過Linux的人必會的命令，但越是這樣的命令，似乎真正明白的人越少（我是說比例越少）。一般情況下，對此命令輸出的理解可以分這幾個層次：

1.  不了解。這樣的人的第一反應是：天啊，內存用了好多，70個多G，可是我幾乎沒有運行什麼大程序啊？為什麼會這樣？Linux好占內存！

2.  自以為很了解。這樣的人一般評估過會說：嗯，根據我專業的眼光看的出來，內存才用了17G左右，還有很多剩餘內存可用。buffers/cache佔用的較多，說明系統中有進程曾經讀寫過文件，但是不要緊，這部分內存是當空閑來用的。

3.   真的很了解。這種人的反應反而讓人感覺最不懂Linux，他們的反應是：free顯示的是這樣，好吧我知道了。神馬？你問我這些內存夠不夠，我當然不知道啦！我怎麼知道你程序怎麼寫的？

4.   根據目前網路上技術文檔的內容，我相信絕大多數了解一點Linux的人應該處在第二種層次。大家普遍認為，buffers和cached所佔用的內存空間是可以在內存壓力較大的時候被釋放當做空閑空間用的。但真的是這樣么？

在論證這個題目之前，我們先簡要介紹一下buffers和cached是什麼意思：

Free中的buffer和cache：（它們都是佔用內存）：

buffer : 作為buffer cache的內存，是塊設備的讀寫緩沖區

cache: 作為page cache的內存, 文件系統的cache

如果 cache 的值很大，說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache住，那麼磁碟的讀IO bi會非常小。

cache是高速緩存，用於CPU和內存之間的緩沖；

buffer

是I/O緩存，用於內存和硬碟的緩沖

buffer和 cache 是兩個在計算機技術中被用濫的名詞，放在不通語境下會有不同的意義。在Linux的內存管理中，這里的buffer指Linux內存的：Buffer cache。這里的cache指Linux內存中的：Page

cache。翻譯成中文可以叫做緩沖區緩存和頁面緩存。在歷史上，它們一個（buffer）被用來當成對io設備寫的緩存，而另一個（cache）被用來當作對io設備的讀緩存，這里的io設備，主要指的是塊設備文件和文件系統上的普通文件。但是現在，它們的意義已經不一樣了。在當前的內核中，page cache顧名思義就是針對內存頁的緩存，說白了就是，如果有內存是以page進行分配管理的，都可以使用page cache作為其緩存來管理使用。當然，不是所有的內存都是以頁（page）進行管理的，也有很多是針對塊（block）進行管理的，這部分內存使用如果要用到cache功能，則都集中到buffer cache中來使用。（從這個角度出發，是不是buffer cache改名叫做block cache更好？）然而，也不是所有塊（block）都有固定長度，系統上塊的長度主要是根據所使用的塊設備決定的，而頁長度在X86上無論是32位還是64位都是4k。

明白了這兩套緩存系統的區別，就可以理解它們究竟都可以用來做什麼了。

Page cache主要用來作為文件系統上的文件數據的緩存來用，尤其是針對當進程對文件有read／write操作的時候。如果你仔細想想的話，作為可以映射文件到內存的系統調用：mmap是不是很自然的也應該用到page cache？在當前的系統實現里，page cache也被作為其它文件類型的緩存設備來用，所以事實上page cache也負責了大部分的塊設備文件的緩存工作。

Buffer cache則主要是設計用來在系統對塊設備進行讀寫的時候，對塊進行數據緩存的系統來使用。這意味著某些對塊的操作會使用buffer cache進行緩存，比如我們在格式化文件系統的時候。一般情況下兩個緩存系統是一起配合使用的，比如當我們對一個文件進行寫操作的時候，page cache的內容會被改變，而buffer cache則可以用來將page標記為不同的緩沖區，並記錄是哪一個緩沖區被修改了。這樣，內核在後續執行臟數據的回寫（writeback）時，就不用將整個page寫回，而只需要寫回修改的部分即可。

Linux內核會在內存將要耗盡的時候，觸發內存回收的工作，以便釋放出內存給急需內存的進程使用。一般情況下，這個操作中主要的內存釋放都來自於對buffer／cache的釋放。尤其是被使用更多的cache空間。既然它主要用來做緩存，只是在內存夠用的時候加快進程對文件的讀寫速度，那麼在內存壓力較大的情況下，當然有必要清空釋放cache，作為free空間分給相關進程使用。所以一般情況下，我們認為buffer/cache空間可以被釋放，這個理解是正確的。

但是這種清緩存的工作也並不是沒有成本。理解cache是干什麼的就可以明白清緩存必須保證cache中的數據跟對應文件中的數據一致，才能對cache進行 釋放 。所以伴隨著cache清除的行為的，一般都是系統IO飆高。因為內核要對比cache中的數據和對應硬碟文件上的數據是否一致，如果不一致需要寫回，之後才能回收。

在系統中除了內存將被耗盡的時候可以清緩存以外，我們還可以使用下面這個文件來人工觸發緩存清除的操作：

[root@tencent64 ~]# cat /proc/sys/vm/drop_caches 

1

方法是：

echo 1 > /proc/sys/vm/drop_caches

當然，這個文件可以設置的值分別為1、2、3。它們所表示的含義為：

sync //先做同步數據 防止數據部分丟失

echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。

echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的對象（包括目錄項緩存和inode緩存）。slab分配器是內核中管理內存的一種機制，其中很多緩存數據實現都是用的pagecache。

echo 3 > /proc/sys/vm/drop_caches:表示清除pagecache和slab分配器中的緩存對象。

#!/bin/bashecho       "開始清理緩存"

sync;sync;sync        #寫入硬碟，防止數據丟失

sleep 10                      #延遲10秒

echo 1 > /proc/sys/vm/drop_cachesecho                  "清理結束"

設置定時任務

crontab -e

* 0 * * * /root/cleanBuff.sh                       

crontab -l                   //查看是否設置成功