linux掃描存儲

⑴ linux文件系統基礎知識

linux文件系統基礎知識匯總

1、linux文件系統分配策略

塊分配( block allocation ) 和 擴展分配 ( extent allocation )

塊分配：磁碟上的文件塊根據需要分配給文件，避免了存儲空間的浪費。但當文件擴充時，會造成文件中文件塊的不連續，從而導致過多的磁碟尋道時間。

每一次文件擴展時，塊分配演算法就需要寫入文件塊的結構信息，也就是 meta-dada 。meta-data總是與文件一起寫入存儲設備，改變文件的操作要等到所有meta-data的操作都完成後才能進行，

因此，meta-data的操作會明顯降低整個文件系統的性能。

擴展分配： 文件創建時，一次性分配一連串連續的塊，當文件擴展時，也一次分配很多塊。meta-data在文件創建時寫入，當文件大小沒有超過所有已分配文件塊大小時，就不用寫入meta-data，直到需要再分配文件塊的時候。

擴展分配採用成組分配塊的方式，減少了SCSI設備寫數據的時間，在讀取順序文件時具有良好的性能，但隨機讀取文件時，就和塊分配類似了。

文件塊的組或塊簇 ( block cluster) 的大小是在編譯時確定的。簇的大小對文件系統的性能有很大的影響。

註： meta-data 元信息：和文件有關的信息，比如許可權、所有者以及創建、訪問或更改時間等。

2、文件的記錄形式

linux文家系統使用索引節點(inode)來記錄文件信息。索引節點是一種數據結構，它包含了一個文件的長度、創建及修改時間、許可權、所屬關系、磁碟中的位置等信息。

一個文件系統維護了一個索引節點的數組，每個文件或目錄都與索引節點數組中的唯一的元素對應。每個索引節點在數組中的索引號，稱為索引節點號。

linux文件系統將文件索引節點號和文件名同時保存在目錄中，所以，目錄只是將文件的名稱和它的索引節點號結合在一起的一張表，目錄中每一對文件名稱和索引節點號稱為一個連接。

對於一個文件來說，有一個索引節點號與之對應;而對於一個索引節點號，卻可以對應多個文件名。

連接分為軟連接和硬連接，其中軟連接又叫符號連接。

硬連接： 原文件名和連接文件名都指向相同的物理地址。目錄不能有硬連接;硬連接不能跨文件系統(不能跨越不同的分區)，文件在磁碟中只有一個拷貝。

由於刪除文件要在同一個索引節點屬於唯一的連接時才能成功，因此硬連接可以防止不必要的誤刪除。

軟連接： 用 ln -s 命令建立文件的符號連接。符號連接是linux特殊文件的.一種，作為一個文件，它的數據是它所連接的文件的路徑名。沒有防止誤刪除的功能。

3、文件系統類型：

ext2 ： 早期linux中常用的文件系統

ext3 ： ext2的升級版，帶日誌功能

RAMFS ： 內存文件系統，速度很快

NFS ： 網路文件系統，由SUN發明，主要用於遠程文件共享

MS-DOS ： MS-DOS文件系統

VFAT ： Windows 95/98 操作系統採用的文件系統

FAT ： Windows XP 操作系統採用的文件系統

NTFS ： Windows NT/XP 操作系統採用的文件系統

HPFS ： OS/2 操作系統採用的文件系統

PROC : 虛擬的進程文件系統

ISO9660 ： 大部分光碟所採用的文件系統

ufsSun : OS 所採用的文件系統

NCPFS ： Novell 伺服器所採用的文件系統

SMBFS ： Samba 的共享文件系統

XFS ： 由SGI開發的先進的日誌文件系統，支持超大容量文件

JFS ：IBM的AIX使用的日誌文件系統

ReiserFS : 基於平衡樹結構的文件系統

udf: 可擦寫的數據光碟文件系統

4、虛擬文件系統VFS

linux支持的所有文件系統稱為邏輯文件系統，而linux在傳統的邏輯文件系統的基礎上增加料一個蓄念文件系統( Vitual File System ,VFS) 的介面層。

虛擬文件系統(VFS) 位於文件系統的最上層，管理各種邏輯文件系統，並可以屏蔽各種邏輯文件系統之間的差異，提供統一文件和設備的訪問介面。

5、文件的邏輯結構

文件的邏輯結構可分為兩大類： 位元組流式的無結構文件 和 記錄式的有結構文件。

由位元組流(位元組序列)組成的文件是一種無結構文件或流式文件 ，不考慮文件內部的邏輯結構，只是簡單地看作是一系列位元組的序列，便於在文件的任意位置添加內容。

由記錄組成的文件稱為記錄式文件 ，記錄是這種文件類型的基本信息單位，記錄式文件通用於信息管理。

6、文件類型

普通文件 ： 通常是流式文件

目錄文件 ： 用於表示和管理系統中的全部文件

連接文件 ： 用於不同目錄下文件的共享

設備文件 ： 包括塊設備文件和字元設備文件，塊設備文件表示磁碟文件、光碟等，字元設備文件按照字元操作終端、鍵盤等設備。

管道(FIFO)文件 : 提供進程建通信的一種方式

套接字(socket) 文件： 該文件類型與網路通信有關

7、文件結構： 包括索引節點和數據

索引節點 ： 又稱 I 節點，在文件系統結構中，包含有關相應文件的信息的一個記錄，這些信息包括文件許可權、文件名、文件大小、存放位置、建立日期等。文件系統中所有文件的索引節點保存在索引節點表中。

數據 ： 文件的實際內容。可以是空的，也可以非常大，並且擁有自己的結構。

8、ext2文件系統

ext2文件系統的數據塊大小一般為 1024B、2048B 或 4096B

ext2文件系統採用的索引節點(inode)：

索引節點採用了多重索引結構，主要體現在直接指針和3個間接指針。直接指針包含12個直接指針塊，它們直接指向包含文件數據的數據塊，緊接在後面的3個間接指針是為了適應文件的大小變化而設計的。

e.g： 假設數據塊大小為1024B ，利用12個直接指針，可以保存最大為12KB的文件，當文件超過12KB時，則要利用單級間接指針，該指針指向的數據塊保存有一組數據塊指針，這些指針依次指向包含有實際數據的數據塊，

假如每個指針佔用4B，則每個單級指針數據塊可保存 1024/4=256 個數據指針，因此利用直接指針和單級間接指針可保存 1024*12+1024*256=268 KB的文件。當文件超過268KB時，再利用二級間接指針，直到使用三級間接指針。

利用直接指針、單級間接指針、二級間接指針、三級間接指針可保存的最大文件大小為：

1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB，約 16GB

若數據塊大小為2048B，指針佔4B，則最大文件大小為： 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 約 268GB

若數據塊大小為4096B，指針佔4B，則最大文件大小為： 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ，約 4TB

註： 命令 tune2fs -l /dev/sda5 可查看文件系統

ext2文件系統最大文件名長度： 255個字元

ext2文件系統的缺點：

ext2在寫入文件內容的同時並沒有同時寫入文件meta-data， 其工作順序是先寫入文件的內容，然後等空閑時候才寫入文件的meta-data。若發生意外，則文件系統就會處於不一致狀態。

在重新啟動系統的時候，linux會啟動 fsk ( file system check) 的程序，掃描整個文件系統並試圖修復，但不提供保證。

9、ext3文件系統：

ext3基於ext2的代碼，所以磁碟格式與ext2相同，使用相同的元數據。

ext2文件系統無損轉化為ext3文件系統： tune2fs -j /dev/sda6

日誌塊設備( Journaling block device layer,JBD)完成ext3文件系統日誌功能。JBD不是ext3文件系統所特有的，它的設計目標是為了向一個塊設備添加日誌功能。

當一個文件修改執行時，ext3文件系統代碼將通知JBD，稱為一個事務(transaction)。發生意外時，日誌功能具有的重放功能，能重新執行中斷的事務。

日誌中的3種數據模式：

1)、data=writeback ：不處理任何形式的日誌數據，給用戶整體上的最高性能

2)、data=odered ：只記錄元數據日誌，但將元數據和數據組成一個單元稱為事務(transaction) 。此模式保持所句句的可靠性與文件系統的一致性，性能遠低於data=writeback模式，但比data=journal模式快

3)、data=journal ：提供完整的數據及元數據日誌，所有新數據首先被寫入日誌，然後才被定位。意外發生過後，日誌可以被重放，將數據與元數據帶回一致狀態。這種模式整體性能最慢，但數據需要從磁碟讀取和寫入磁碟時卻是3種模式中最快的。

ext3文件系統最大文件名長度： 255個字元

ext3文件系統的優點：可用性、數據完整性、速度、兼容性

10、ReiserFS文件系統

ReiserFS文件系統是由Hans Reiser和他領導的開發小組共同開發的，整個文件系統完全是從頭設計的，是一個非常優秀的文件系統。也是最早用於Linux的日誌文件系統之一。

ReiserFS的特點

先進的日誌機制

ReiserFS有先進的日誌(Journaling/logging)功能 機制。日誌機制保證了在每個實際數據修改之前，相應的日誌已經寫入硬碟。文件與數據的安全性有了很大提高。

高效的磁碟空間利用

Reiserfs對一些小文件不分配inode。而是將這些文件打包，存放在同一個磁碟分塊中。而其它文件系統則為每個小文件分別放置到一個磁碟分塊中。

獨特的搜尋方式

ReiserFS基於快速平衡樹(balanced tree)搜索，平衡樹在性能上非常卓越，這是一種非常高效的演算法。ReiserFS搜索大量文件時，搜索速度要比ext2快得多。Reiserfs文件 系統使用B*Tree存儲文件，而其它文件系統使用B+Tree樹。B*Tree查詢速度比B+Tree要快很多。Reiserfs在文件定位上速度非常 快。

在實際運用中，ReiserFS 在處理小於 4k 的文件時，比ext2 快 5 倍;帶尾文件壓縮功能(默認)的ReiserFS 比ext2文件系統多存儲6%的數據。

支持海量磁碟

ReiserFS是一個非常優秀的文件系統，一直被用在高端UNIX系統上，可輕松管理上百G的文件系統，ReiserFS文件系統最大支持的文件系統尺寸為16TB。這非常適合企業級應用中。

優異的性能

由於它的高效存儲和快速小文件I/O特點，使用ReiserFs文件系統的PC，在啟動X窗口系統時，所花的時間要比在同一台機器上使用ext2文 件系統少1/3。另外，ReiserFS文件系統支持單個文件尺寸為4G的文件，這為大型資料庫系統在linux上的應用提供了更好的選擇。

⑵ 用什麼命令可以查看linux外接的存儲設備信息

1、打開linux客戶端。

注意事項：

Linux不僅系派搏遲統性能穩定，而且是開銀或源軟體。其核心防火牆組件性能高效、配置簡單，保證了系統的安全。在很多企業網路中，為了追求速度和安全，Linux操作系統不僅僅是被網路運維人員當作伺服器使用，Linux既可以當作伺服器，又可以當作網路防火牆是Linux的 一大亮點。

⑶ 通過光纖把存儲映射到Redhat AS4.8，如何在不重啟linux伺服器的條件下，掃描到新硬碟

存儲正常分配到主機後做以下操作：
# ls /sys/class/fc_host (會看到host1,host2...hostN,對每個host進行如下操作)
# echo "- - -" > /sys/class/scsi_host/host1/scan
# echo "- - -" > /sys/class/scsi_host/host2/scan
...
# echo "- - -" > /sys/class/scsi_host/hostN/scan
操作後用fdisk -l或lvmdiskscan來查看新硬碟。

⑷ linux定時檢測存儲空間結果輸出到txt文件

crontab -e
添加定時任務如下：
0 0 * * * mv /tmp/a.txt /tmp/`date +%Y%m%d`.txt > /dev/null 2>&1
1 * * * * df-T >> /tmp/a.txt
其中第一條為每天改名，第二條為每小時檢測

⑸ 在linux（RedHat）中如何通過命令來識別掛載的光纖（FC）存儲設備

樓主說的光纖存儲設備應該是SAN存儲。
連接SAN存儲通常是通過直連或經過SAN交換機的，和網路上的光纖不是一個概念。
伺服器連接SAN存儲時，要使用HBA光纖卡，它是一個插在主板上的板卡設備，HBA卡帶有光纖插槽，當HBA卡和存儲連接並配置好存儲後，在Linux系統本地就可以識別存儲設備，好像本地硬碟一樣。進行分區、格式化、掛載存儲的方式也和本地硬碟是一樣的。

⑹ linux存儲都做些什麼

從技術上來講，linux 存儲：磁碟的調度演算法，文件系統的開發（速度，效率，使用率），容災（磁碟陣列）。應用層面：數據中心，網路存儲。。。。

⑺ linux查看存儲空間命令

使用df -h命令

⑻ Linux存儲管理方式

這種方式中，將用戶程序的地址空間，注意，是 用戶程序的地址空間 分為若干個固定大小的區域，成為「頁」或「頁面」。我們可以知道，這也頁其實是不存在的，只是一種劃分內存空間的方法。也就是說，這種方式將用戶的程序 「肢解」 了，分成很多個小的部分，每個部分稱為一個「頁」。

將邏輯地址的前n位作為頁號，後面32-n位作為頁內偏移量。

由於進程的最後一頁經常裝不滿一個塊，從而形成了不可利用的碎片，稱之為 「頁內碎片」 。

作用：實現頁號到物理號的地址映射。

頁表是記錄邏輯空間（虛擬內存）中每一頁在內存中對應的物理塊號。但並非每一頁邏輯空間都會實際對應著一個物理塊，只有實際駐留在物理內存空間中的頁才會對應著物理塊。

系統會為每一個進程建立一張頁表，頁表是需要一直駐留在物理內存中的（多級頁表除外），另外頁表的起址和長度存放在 PCB（Process Control Block）進程式控制制結構體中。

可以在頁表的表項中設置相關的許可權控制欄位，例如設置存取控制欄位，用於保護該存儲塊的讀寫；若存取控制欄位為2位，則可以設置讀/寫、只讀和只執行等存取方式。

物理塊是實實在在存在於內存中的：

由於執行頻率高，要求效率比較高，需要使用硬體實現。

在系統中設置一個 頁表寄存器(PTR) ,其中存放頁表在內存的起始地址和頁表的長度。平時進程未執行的時候，頁表的起始地址和頁表長度放在本進程的PCB中。當調度程序調度到某個進程的時候，才將這兩個數據裝入 頁表寄存器 。

變換過程：

快表的變換機構

為了提高地址變換速度，可在地址變換機構中增設一個具有並行查詢能力的特殊高速緩沖寄存器，又稱為"聯想寄存器"或者「快表」。俗稱TLB。

快表與頁表的功能類似，其實就是將一部分頁表存到 CPU 內部的高速緩沖存儲器 Cache。CPU 定址時先到快表查詢相應的頁表項形成物理地址，如果查詢不到，則到內存中查詢，並將對應頁表項調入到快表中。但，如果快表的存儲空間已滿，則需要通過演算法找到一個暫時不再需要的頁表項，將它換出內存。

由於成本的關系，快表不可能做得很大，通常只存放 16~512 個頁表項，這對中、小型作業來說，已有可能把全部頁表項放在快表中；但對於大型作業而言，則只能將其一部分頁表項放入其中。由於對程序和數據的訪問往往帶有局限性，因此，據統計，從快表中能找到所需頁表項的概率可達 90% 以上。這樣，由於增加了地址變換機構而造成的速度損失可減少到 10% 以下，達到了可接受的程度。

我們可以採用這樣兩個方法來解決這一問題：

① 對於頁表所需的內存空間，可採用離散分配方式，以解決難以找到一塊連續的大內存空間的問題；

② 只將當前需要的部分頁表項調入內存，其餘的頁表項仍駐留在磁碟上，需要時再調入。

二級頁表的頁表項：

過程：

在採用兩級頁表結構的情況下，對於正在運行的進程，必須將其外層頁表調入內存，而對於內頁表則只需調入一頁或幾頁。為了表徵某頁的頁表是否已經調入內存，還應在外層頁表項中增設一個狀態位 S，其值若為 0，表示該頁表分頁不在內存中，否則說明其分頁已調入內存。進程運行時，地址變換機構根據邏輯地址中的 P1去查找外層頁表；若所找到的頁表項中的狀態位為 0，則產生一個中斷信號，請求 OS 將該頁表分頁調入內存。

多級頁表和二級頁表類似。多級頁表和二級頁表是為了節省物理內存空間。使得頁表可以在內存中離散存儲。（單級頁表為了隨機訪問必須連續存儲，如果虛擬內存空間很大，就需要很多頁表項，就需要很大的連續內存空間，但是多級頁表不需要。）

為什麼引入分段存儲管理？

引入效果：

它將用戶程序的地址空間分為若干個大小不同的的段，每個段可以定義一組完整的信息。

段號表示段名，每個段都從0開始編址，並且採用一段連續的地址空間。

在該地址結構中，允許一個作業最長有64K個段，每個段的最大長度為64KB。

在分段式存儲管理系統中，為每一個分段分配一個連續的分區。進程的各個段，可以離散地裝入內存中不同的分區中。

作用：實現從邏輯地址到物理內存區的映射。

為了保證程序能夠正常運行，就必須能夠從物理內存中找出每個邏輯段所對應的位置。為此在系統中會為每一個進程建立一張 段表 。每個段在表中有一個表項，其中記錄了該段在內存中的起始地址和段的長度。一般將段表保存在內存中。

在配置了段表之後，執行的過程可以通過查找段表，找到每一個段所對應的內存區。

為了實現進程從邏輯地址到物理地址的變換功能，在系統設置了段表寄存器，用於存放段表的起始地址和段表長度TL。

在進行地址變換時，系統將邏輯地址中的段號與段表長度TL 進行比較。若 S > TL，表示段號太大，是訪問越界，於是產生越界中斷信號。若未越界，則根據段表的始址和該段的段號，計算出該段對應段表項的位置，從中讀出該段在內存的起始地址。然後，再檢查段內地址 d 是否超過該段的段長 SL。若超過，即 d>SL，同樣發出越界中斷信號。若未越界，則將該段的基址 d 與段內地址相加，即可得到要訪問的內存。

分頁和分段系統相似之處：兩者都採用離散分配方式，且都是通過地址映射機構實現地址變換。

但在概念上兩者完全不同，主要表現在下述三個方面：

分頁系統以頁面作為內存分配的基本單位，能有效地提高內存利用率，而分段系統以段作為內存分配的基本單位，它能夠更好地滿足用戶多方面的需要。

段頁式地址結構由段號、段內頁號及頁內地址三部分所組成

段頁式系統的基本原理是分段和分頁原理的結合，即先將用戶程序分成若干個段，再把每個段分成若干個頁，並為每一個段賦予一個段名。如下圖展示了一個作業地址空間的結構。該作業有三個段：主程序段、子程序段和數據段；頁面大小為 4 KB：

在段頁式系統中，為了實現從邏輯地址到物理地址的變換，系統中需要同時配置段表和頁表。段表的內容與分段系統略有不同，它不再是內存始址和段長，而是頁表始址和頁表長度。下圖展示出了利用段表和頁表進行從用戶地址空間到物理(內存)空間的映射。

在段頁式系統中，為了便於實現地址變換，須配置一個段表寄存器，其中存放段表始址和段長 TL。進行地址變換時，首先利用段號 S，將它與段長 TL 進行比較。若 S < TL，表示未越界，於是利用段表始址和段號來求出該段所對應的段表項在段表中的位置，從中得到該段的頁表始址，並利用邏輯地址中的段內頁號 P 來獲得對應頁的頁表項位置，從中讀出該貝所在的物理塊號 b，再利用塊號 b 和頁內地址來構成物理地址。

在段頁式系統中，為了獲得一條指令或數據，須三次訪問內存。第一次訪問是訪問內存中的段表，從中取得頁表始址；第二次訪問是訪問內存中的頁表，從中取出該頁所在的物理塊號，並將該塊號與頁內地址一起形成指令或數據的物理地址；第三次訪問才是真正從第二次訪問所得的地址中取出指令或數據。

顯然，這使訪問內存的次數增加了近兩倍。為了提高執行速度，在地址變換機構中增設一個高速緩沖寄存器。每次訪問它時，都須同時利用段號和頁號去檢索高速緩存，若找到匹配的表項，便可從中得到相應頁的物理塊號，用來與頁內地址一起形成物理地址：若未找到匹配表項，則仍需第三次訪問內存。

參考鏈接：