linux扫描存储

⑴ linux文件系统基础知识

linux文件系统基础知识汇总

1、linux文件系统分配策略

块分配( block allocation ) 和 扩展分配 ( extent allocation )

块分配：磁盘上的文件块根据需要分配给文件，避免了存储空间的浪费。但当文件扩充时，会造成文件中文件块的不连续，从而导致过多的磁盘寻道时间。

每一次文件扩展时，块分配算法就需要写入文件块的结构信息，也就是 meta-dada 。meta-data总是与文件一起写入存储设备，改变文件的操作要等到所有meta-data的操作都完成后才能进行，

因此，meta-data的操作会明显降低整个文件系统的性能。

扩展分配： 文件创建时，一次性分配一连串连续的块，当文件扩展时，也一次分配很多块。meta-data在文件创建时写入，当文件大小没有超过所有已分配文件块大小时，就不用写入meta-data，直到需要再分配文件块的时候。

扩展分配采用成组分配块的方式，减少了SCSI设备写数据的时间，在读取顺序文件时具有良好的性能，但随机读取文件时，就和块分配类似了。

文件块的组或块簇 ( block cluster) 的大小是在编译时确定的。簇的大小对文件系统的性能有很大的影响。

注： meta-data 元信息：和文件有关的信息，比如权限、所有者以及创建、访问或更改时间等。

2、文件的记录形式

linux文家系统使用索引节点(inode)来记录文件信息。索引节点是一种数据结构，它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。

一个文件系统维护了一个索引节点的数组，每个文件或目录都与索引节点数组中的唯一的元素对应。每个索引节点在数组中的索引号，称为索引节点号。

linux文件系统将文件索引节点号和文件名同时保存在目录中，所以，目录只是将文件的名称和它的索引节点号结合在一起的一张表，目录中每一对文件名称和索引节点号称为一个连接。

对于一个文件来说，有一个索引节点号与之对应;而对于一个索引节点号，却可以对应多个文件名。

连接分为软连接和硬连接，其中软连接又叫符号连接。

硬连接： 原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接;硬连接不能跨文件系统(不能跨越不同的分区)，文件在磁盘中只有一个拷贝。

由于删除文件要在同一个索引节点属于唯一的连接时才能成功，因此硬连接可以防止不必要的误删除。

软连接： 用 ln -s 命令建立文件的符号连接。符号连接是linux特殊文件的.一种，作为一个文件，它的数据是它所连接的文件的路径名。没有防止误删除的功能。

3、文件系统类型：

ext2 ： 早期linux中常用的文件系统

ext3 ： ext2的升级版，带日志功能

RAMFS ： 内存文件系统，速度很快

NFS ： 网络文件系统，由SUN发明，主要用于远程文件共享

MS-DOS ： MS-DOS文件系统

VFAT ： Windows 95/98 操作系统采用的文件系统

FAT ： Windows XP 操作系统采用的文件系统

NTFS ： Windows NT/XP 操作系统采用的文件系统

HPFS ： OS/2 操作系统采用的文件系统

PROC : 虚拟的进程文件系统

ISO9660 ： 大部分光盘所采用的文件系统

ufsSun : OS 所采用的文件系统

NCPFS ： Novell 服务器所采用的文件系统

SMBFS ： Samba 的共享文件系统

XFS ： 由SGI开发的先进的日志文件系统，支持超大容量文件

JFS ：IBM的AIX使用的日志文件系统

ReiserFS : 基于平衡树结构的文件系统

udf: 可擦写的数据光盘文件系统

4、虚拟文件系统VFS

linux支持的所有文件系统称为逻辑文件系统，而linux在传统的逻辑文件系统的基础上增加料一个蓄念文件系统( Vitual File System ,VFS) 的接口层。

虚拟文件系统(VFS) 位于文件系统的最上层，管理各种逻辑文件系统，并可以屏蔽各种逻辑文件系统之间的差异，提供统一文件和设备的访问接口。

5、文件的逻辑结构

文件的逻辑结构可分为两大类： 字节流式的无结构文件 和 记录式的有结构文件。

由字节流(字节序列)组成的文件是一种无结构文件或流式文件 ，不考虑文件内部的逻辑结构，只是简单地看作是一系列字节的序列，便于在文件的任意位置添加内容。

由记录组成的文件称为记录式文件 ，记录是这种文件类型的基本信息单位，记录式文件通用于信息管理。

6、文件类型

普通文件 ： 通常是流式文件

目录文件 ： 用于表示和管理系统中的全部文件

连接文件 ： 用于不同目录下文件的共享

设备文件 ： 包括块设备文件和字符设备文件，块设备文件表示磁盘文件、光盘等，字符设备文件按照字符操作终端、键盘等设备。

管道(FIFO)文件 : 提供进程建通信的一种方式

套接字(socket) 文件： 该文件类型与网络通信有关

7、文件结构： 包括索引节点和数据

索引节点 ： 又称 I 节点，在文件系统结构中，包含有关相应文件的信息的一个记录，这些信息包括文件权限、文件名、文件大小、存放位置、建立日期等。文件系统中所有文件的索引节点保存在索引节点表中。

数据 ： 文件的实际内容。可以是空的，也可以非常大，并且拥有自己的结构。

8、ext2文件系统

ext2文件系统的数据块大小一般为 1024B、2048B 或 4096B

ext2文件系统采用的索引节点(inode)：

索引节点采用了多重索引结构，主要体现在直接指针和3个间接指针。直接指针包含12个直接指针块，它们直接指向包含文件数据的数据块，紧接在后面的3个间接指针是为了适应文件的大小变化而设计的。

e.g： 假设数据块大小为1024B ，利用12个直接指针，可以保存最大为12KB的文件，当文件超过12KB时，则要利用单级间接指针，该指针指向的数据块保存有一组数据块指针，这些指针依次指向包含有实际数据的数据块，

假如每个指针占用4B，则每个单级指针数据块可保存 1024/4=256 个数据指针，因此利用直接指针和单级间接指针可保存 1024*12+1024*256=268 KB的文件。当文件超过268KB时，再利用二级间接指针，直到使用三级间接指针。

利用直接指针、单级间接指针、二级间接指针、三级间接指针可保存的最大文件大小为：

1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB，约 16GB

若数据块大小为2048B，指针占4B，则最大文件大小为： 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 约 268GB

若数据块大小为4096B，指针占4B，则最大文件大小为： 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ，约 4TB

注： 命令 tune2fs -l /dev/sda5 可查看文件系统

ext2文件系统最大文件名长度： 255个字符

ext2文件系统的缺点：

ext2在写入文件内容的同时并没有同时写入文件meta-data， 其工作顺序是先写入文件的内容，然后等空闲时候才写入文件的meta-data。若发生意外，则文件系统就会处于不一致状态。

在重新启动系统的时候，linux会启动 fsk ( file system check) 的程序，扫描整个文件系统并试图修复，但不提供保证。

9、ext3文件系统：

ext3基于ext2的代码，所以磁盘格式与ext2相同，使用相同的元数据。

ext2文件系统无损转化为ext3文件系统： tune2fs -j /dev/sda6

日志块设备( Journaling block device layer,JBD)完成ext3文件系统日志功能。JBD不是ext3文件系统所特有的，它的设计目标是为了向一个块设备添加日志功能。

当一个文件修改执行时，ext3文件系统代码将通知JBD，称为一个事务(transaction)。发生意外时，日志功能具有的重放功能，能重新执行中断的事务。

日志中的3种数据模式：

1)、data=writeback ：不处理任何形式的日志数据，给用户整体上的最高性能

2)、data=odered ：只记录元数据日志，但将元数据和数据组成一个单元称为事务(transaction) 。此模式保持所句句的可靠性与文件系统的一致性，性能远低于data=writeback模式，但比data=journal模式快

3)、data=journal ：提供完整的数据及元数据日志，所有新数据首先被写入日志，然后才被定位。意外发生过后，日志可以被重放，将数据与元数据带回一致状态。这种模式整体性能最慢，但数据需要从磁盘读取和写入磁盘时却是3种模式中最快的。

ext3文件系统最大文件名长度： 255个字符

ext3文件系统的优点：可用性、数据完整性、速度、兼容性

10、ReiserFS文件系统

ReiserFS文件系统是由Hans Reiser和他领导的开发小组共同开发的，整个文件系统完全是从头设计的，是一个非常优秀的文件系统。也是最早用于Linux的日志文件系统之一。

ReiserFS的特点

先进的日志机制

ReiserFS有先进的日志(Journaling/logging)功能 机制。日志机制保证了在每个实际数据修改之前，相应的日志已经写入硬盘。文件与数据的安全性有了很大提高。

高效的磁盘空间利用

Reiserfs对一些小文件不分配inode。而是将这些文件打包，存放在同一个磁盘分块中。而其它文件系统则为每个小文件分别放置到一个磁盘分块中。

独特的搜寻方式

ReiserFS基于快速平衡树(balanced tree)搜索，平衡树在性能上非常卓越，这是一种非常高效的算法。ReiserFS搜索大量文件时，搜索速度要比ext2快得多。Reiserfs文件 系统使用B*Tree存储文件，而其它文件系统使用B+Tree树。B*Tree查询速度比B+Tree要快很多。Reiserfs在文件定位上速度非常 快。

在实际运用中，ReiserFS 在处理小于 4k 的文件时，比ext2 快 5 倍;带尾文件压缩功能(默认)的ReiserFS 比ext2文件系统多存储6%的数据。

支持海量磁盘

ReiserFS是一个非常优秀的文件系统，一直被用在高端UNIX系统上，可轻松管理上百G的文件系统，ReiserFS文件系统最大支持的文件系统尺寸为16TB。这非常适合企业级应用中。

优异的性能

由于它的高效存储和快速小文件I/O特点，使用ReiserFs文件系统的PC，在启动X窗口系统时，所花的时间要比在同一台机器上使用ext2文 件系统少1/3。另外，ReiserFS文件系统支持单个文件尺寸为4G的文件，这为大型数据库系统在linux上的应用提供了更好的选择。

⑵ 用什么命令可以查看linux外接的存储设备信息

1、打开linux客户端。

注意事项：

Linux不仅系派搏迟统性能稳定，而且是开银或源软件。其核心防火墙组件性能高效、配置简单，保证了系统的安全。在很多企业网络中，为了追求速度和安全，Linux操作系统不仅仅是被网络运维人员当作服务器使用，Linux既可以当作服务器，又可以当作网络防火墙是Linux的 一大亮点。

⑶ 通过光纤把存储映射到Redhat AS4.8，如何在不重启linux服务器的条件下，扫描到新硬盘

存储正常分配到主机后做以下操作：
# ls /sys/class/fc_host (会看到host1,host2...hostN,对每个host进行如下操作)
# echo "- - -" > /sys/class/scsi_host/host1/scan
# echo "- - -" > /sys/class/scsi_host/host2/scan
...
# echo "- - -" > /sys/class/scsi_host/hostN/scan
操作后用fdisk -l或lvmdiskscan来查看新硬盘。

⑷ linux定时检测存储空间结果输出到txt文件

crontab -e
添加定时任务如下：
0 0 * * * mv /tmp/a.txt /tmp/`date +%Y%m%d`.txt > /dev/null 2>&1
1 * * * * df-T >> /tmp/a.txt
其中第一条为每天改名，第二条为每小时检测

⑸ 在linux（RedHat）中如何通过命令来识别挂载的光纤（FC）存储设备

楼主说的光纤存储设备应该是SAN存储。
连接SAN存储通常是通过直连或经过SAN交换机的，和网络上的光纤不是一个概念。
服务器连接SAN存储时，要使用HBA光纤卡，它是一个插在主板上的板卡设备，HBA卡带有光纤插槽，当HBA卡和存储连接并配置好存储后，在Linux系统本地就可以识别存储设备，好像本地硬盘一样。进行分区、格式化、挂载存储的方式也和本地硬盘是一样的。

⑹ linux存储都做些什么

从技术上来讲，linux 存储：磁盘的调度算法，文件系统的开发（速度，效率，使用率），容灾（磁盘阵列）。应用层面：数据中心，网络存储。。。。

⑺ linux查看存储空间命令

使用df -h命令

⑻ Linux存储管理方式

这种方式中，将用户程序的地址空间，注意，是 用户程序的地址空间 分为若干个固定大小的区域，成为“页”或“页面”。我们可以知道，这也页其实是不存在的，只是一种划分内存空间的方法。也就是说，这种方式将用户的程序 “肢解” 了，分成很多个小的部分，每个部分称为一个“页”。

将逻辑地址的前n位作为页号，后面32-n位作为页内偏移量。

由于进程的最后一页经常装不满一个块，从而形成了不可利用的碎片，称之为 “页内碎片” 。

作用：实现页号到物理号的地址映射。

页表是记录逻辑空间（虚拟内存）中每一页在内存中对应的物理块号。但并非每一页逻辑空间都会实际对应着一个物理块，只有实际驻留在物理内存空间中的页才会对应着物理块。

系统会为每一个进程建立一张页表，页表是需要一直驻留在物理内存中的（多级页表除外），另外页表的起址和长度存放在 PCB（Process Control Block）进程控制结构体中。

可以在页表的表项中设置相关的权限控制字段，例如设置存取控制字段，用于保护该存储块的读写；若存取控制字段为2位，则可以设置读/写、只读和只执行等存取方式。

物理块是实实在在存在于内存中的：

由于执行频率高，要求效率比较高，需要使用硬件实现。

在系统中设置一个 页表寄存器(PTR) ,其中存放页表在内存的起始地址和页表的长度。平时进程未执行的时候，页表的起始地址和页表长度放在本进程的PCB中。当调度程序调度到某个进程的时候，才将这两个数据装入 页表寄存器 。

变换过程：

快表的变换机构

为了提高地址变换速度，可在地址变换机构中增设一个具有并行查询能力的特殊高速缓冲寄存器，又称为"联想寄存器"或者“快表”。俗称TLB。

快表与页表的功能类似，其实就是将一部分页表存到 CPU 内部的高速缓冲存储器 Cache。CPU 寻址时先到快表查询相应的页表项形成物理地址，如果查询不到，则到内存中查询，并将对应页表项调入到快表中。但，如果快表的存储空间已满，则需要通过算法找到一个暂时不再需要的页表项，将它换出内存。

由于成本的关系，快表不可能做得很大，通常只存放 16~512 个页表项，这对中、小型作业来说，已有可能把全部页表项放在快表中；但对于大型作业而言，则只能将其一部分页表项放入其中。由于对程序和数据的访问往往带有局限性，因此，据统计，从快表中能找到所需页表项的概率可达 90% 以上。这样，由于增加了地址变换机构而造成的速度损失可减少到 10% 以下，达到了可接受的程度。

我们可以采用这样两个方法来解决这一问题：

① 对于页表所需的内存空间，可采用离散分配方式，以解决难以找到一块连续的大内存空间的问题；

② 只将当前需要的部分页表项调入内存，其余的页表项仍驻留在磁盘上，需要时再调入。

二级页表的页表项：

过程：

在采用两级页表结构的情况下，对于正在运行的进程，必须将其外层页表调入内存，而对于内页表则只需调入一页或几页。为了表征某页的页表是否已经调入内存，还应在外层页表项中增设一个状态位 S，其值若为 0，表示该页表分页不在内存中，否则说明其分页已调入内存。进程运行时，地址变换机构根据逻辑地址中的 P1去查找外层页表；若所找到的页表项中的状态位为 0，则产生一个中断信号，请求 OS 将该页表分页调入内存。

多级页表和二级页表类似。多级页表和二级页表是为了节省物理内存空间。使得页表可以在内存中离散存储。（单级页表为了随机访问必须连续存储，如果虚拟内存空间很大，就需要很多页表项，就需要很大的连续内存空间，但是多级页表不需要。）

为什么引入分段存储管理？

引入效果：

它将用户程序的地址空间分为若干个大小不同的的段，每个段可以定义一组完整的信息。

段号表示段名，每个段都从0开始编址，并且采用一段连续的地址空间。

在该地址结构中，允许一个作业最长有64K个段，每个段的最大长度为64KB。

在分段式存储管理系统中，为每一个分段分配一个连续的分区。进程的各个段，可以离散地装入内存中不同的分区中。

作用：实现从逻辑地址到物理内存区的映射。

为了保证程序能够正常运行，就必须能够从物理内存中找出每个逻辑段所对应的位置。为此在系统中会为每一个进程建立一张 段表 。每个段在表中有一个表项，其中记录了该段在内存中的起始地址和段的长度。一般将段表保存在内存中。

在配置了段表之后，执行的过程可以通过查找段表，找到每一个段所对应的内存区。

为了实现进程从逻辑地址到物理地址的变换功能，在系统设置了段表寄存器，用于存放段表的起始地址和段表长度TL。

在进行地址变换时，系统将逻辑地址中的段号与段表长度TL 进行比较。若 S > TL，表示段号太大，是访问越界，于是产生越界中断信号。若未越界，则根据段表的始址和该段的段号，计算出该段对应段表项的位置，从中读出该段在内存的起始地址。然后，再检查段内地址 d 是否超过该段的段长 SL。若超过，即 d>SL，同样发出越界中断信号。若未越界，则将该段的基址 d 与段内地址相加，即可得到要访问的内存。

分页和分段系统相似之处：两者都采用离散分配方式，且都是通过地址映射机构实现地址变换。

但在概念上两者完全不同，主要表现在下述三个方面：

分页系统以页面作为内存分配的基本单位，能有效地提高内存利用率，而分段系统以段作为内存分配的基本单位，它能够更好地满足用户多方面的需要。

段页式地址结构由段号、段内页号及页内地址三部分所组成

段页式系统的基本原理是分段和分页原理的结合，即先将用户程序分成若干个段，再把每个段分成若干个页，并为每一个段赋予一个段名。如下图展示了一个作业地址空间的结构。该作业有三个段：主程序段、子程序段和数据段；页面大小为 4 KB：

在段页式系统中，为了实现从逻辑地址到物理地址的变换，系统中需要同时配置段表和页表。段表的内容与分段系统略有不同，它不再是内存始址和段长，而是页表始址和页表长度。下图展示出了利用段表和页表进行从用户地址空间到物理(内存)空间的映射。

在段页式系统中，为了便于实现地址变换，须配置一个段表寄存器，其中存放段表始址和段长 TL。进行地址变换时，首先利用段号 S，将它与段长 TL 进行比较。若 S < TL，表示未越界，于是利用段表始址和段号来求出该段所对应的段表项在段表中的位置，从中得到该段的页表始址，并利用逻辑地址中的段内页号 P 来获得对应页的页表项位置，从中读出该贝所在的物理块号 b，再利用块号 b 和页内地址来构成物理地址。

在段页式系统中，为了获得一条指令或数据，须三次访问内存。第一次访问是访问内存中的段表，从中取得页表始址；第二次访问是访问内存中的页表，从中取出该页所在的物理块号，并将该块号与页内地址一起形成指令或数据的物理地址；第三次访问才是真正从第二次访问所得的地址中取出指令或数据。

显然，这使访问内存的次数增加了近两倍。为了提高执行速度，在地址变换机构中增设一个高速缓冲寄存器。每次访问它时，都须同时利用段号和页号去检索高速缓存，若找到匹配的表项，便可从中得到相应页的物理块号，用来与页内地址一起形成物理地址：若未找到匹配表项，则仍需第三次访问内存。

参考链接：