数据压缩原理简述

㈠ 压缩算法原理

哈夫曼
哈夫曼编码是无损压缩当中最好的方法。它使用预先二进制描述来替换每个符号，长度由特殊符号出现的频率决定。常见的符号需要很少的位来表示，而不常见的符号需要很多为来表示。

哈夫曼算法在改变任何符号二进制编码引起少量密集表现方面是最佳的。然而，它并不处理符号的顺序和重复或序号的序列。

2.1 原理
我不打算探究哈夫曼编码的所有实际的细节，但基本的原理是为每个符号找到新的二进制表示，从而通常符号使用很少的位，不常见的符号使用较多的位。

简短的说，这个问题的解决方案是为了查找每个符号的通用程度，我们建立一个未压缩数据的柱状图；通过递归拆分这个柱状图为两部分来创建一个二叉树，每个递归的一半应该和另一半具有同样的权（权是 ∑ N K =1 符号数 k , N 是分之中符号的数量，符号数 k 是符号 k出现的次数 ）

这棵树有两个目的：

1． 编码器使用这棵树来找到每个符号最优的表示方法

2． 解码器使用这棵树唯一的标识在压缩流中每个编码的开始和结束，其通过在读压缩数据位的时候自顶向底的遍历树，选择基于数据流中的每个独立位的分支，一旦一个到达叶子节点，解码器知道一个完整的编码已经读出来了。

压缩后的数据流是 24 位（三个字节），原来是 80 位（ 10 个字节）。当然，我应该存储哈夫曼树，这样解码器就能够解码出对应的压缩流了，这就使得该例子中的真正数据流比输入的流数据量大。这是相对较短的数据上的副作用。对于大数据量来说，上面的哈夫曼树就不占太多比例了。

解码的时候，从上到下遍历树，为压缩的流选择从左 / 右分支，每次碰到一个叶子节点的时候，就可以将对应的字节写到解压输出流中，然后再从根开始遍历。

2.2 实现
哈夫曼编码器可以在基本压缩库中找到，其是非常直接的实现。

这个实现的基本缺陷是：

1． 慢位流实现

2． 相当慢的解码（比编码慢）

3． 最大的树深度是 32 （编码器在任何超过 32 位大小的时候退出）。如果我不是搞错的话，这是不可能的，除非输出的数据大于 2 32字节。

另一方面，这个实现有几个优点：

1． 哈夫曼树以一个紧密的形式每个符号要求 12 位（对于 8 位的符号）的方式存储，这意味着最大的头为 384 。

2． 编码相当容易理解

哈夫曼编码在数据有噪音的情况（不是有规律的，例如 RLE ）下非常好，这中情况下大多数基于字典方式的编码器都有问题。

㈡ 压缩文件是什么原理

压缩的原理：计算机处理信息是以二进制数（0和1）的形式标示的，压缩软件把二进制信息中相同的字符串以特殊字符标记起来压缩的，从而实现缩小文件大小的。
文件的压缩比则根据文件的类型不同有所不同，比如文档类的文件压缩比很大（一个字或者一个词在同一个文件会反复出现），而图形图像的压缩比则比较小（每一个像素点的色素不同是常有的，不同颜色和颜色深浅、对比度的不同、亮度不同等的对应二进制代码是不同的）。
如果原文件被删掉了，只要将压缩文件解压就可以。
回答者

㈢ 软件压缩的原理是什么

压缩的原理是把文件的二进制代码压缩，把相邻的0,1代码减少，比如有000000,可以把它变成6个0 的写法60,来减少该文件的空间。

由于计算机处理的信息是以二进制数的形式表示的，因此压缩软件就是把二进制信息中相同的字符串以特殊字符标记来达到压缩的目的。

为了有助于理解文件压缩，请在脑海里想象一幅蓝天白云的图片。对于成千上万单调重复的蓝色像点而言，与其一个一个定义“蓝、蓝、蓝……”长长的一串颜色，还不如告诉电脑：“从这个位置开始存储1117个蓝色像点”来得简洁，而且还能大大节约存储空间。

这是一个非常简单的图像压缩的例子。其实，所有的计算机文件归根结底都是以“1”和“0”的形式存储的，和蓝色像点一样，只要通过合理的数学计算公式，文件的体积都能够被大大压缩以达到“数据无损稠密”的效果。

(3)数据压缩原理简述扩展阅读

WinRAR能备份数据，减少 E-mail附件的大小，解压缩从Internet上下载的 RAR、ZIP 和其他格式的压缩文件，并能创建 RAR 和 ZIP 格式的压缩文件。在购买之前，你可以下载试用版本。

WINRAR在压缩率和速度方面都有很好的表现。其压缩率比高，3.x 采用了更先进的压缩算法，是现在压缩率较大、压缩速度较快的格式之一。 3.3 增加了扫描压缩文件内病毒、解压缩“增强压缩” ZIP 压缩文件的功能， 升级了分卷压缩的功能等。

参考资料来源：网络-压缩文件

㈣ 文件的压缩原理是什么

电脑里文件都是以二进制储存的。压缩原理就是通过特定的算法，将文件转化，而转化以后的文件占用的空间较小。
举个简单得例子（当然这个例子应该有点问题，但是能说明问题）：
原始文件：111110000001
算法：当连续同样的1或者0的个数超过5个，则将其转化成XX1或者XX0得形式；如果不超过5个，保持不变。XX是连续的1或者0的个数，如果连续数量较多，XX得位数可以增加。
于是11111可以表示成5个1，写成二进制就是1011；000000可以表示成6个0，写成二进制就是1100；而1保持不变。
这样，转化以后的文件就变成了101111001
可见，原始文件需要12个存储位置，而转化后的文件只需要9个存储位置。
当然，实际上压缩得算法多种多样，要比这个例子复杂的多。根据文件种类的不同压缩算法也经常不同。

㈤ 请大家谈谈你对数据压缩原理的认识

数据压缩技术就是对原始数据进行数据编码或压缩编码。

目前常用的压缩编码有：冗余压缩法（无损压缩法、熵编码）和熵压缩法（有损压缩法）两类。

无损压缩是可逆的；有损压缩是不可逆的。
变长编码

使用长度可变的代码来对以不同频率出现的样本进行编码。

1·Huffman编码

Huffman编码又称最佳编码。

Huffman编码过程是：

*将信源符号按概率递减顺序排列；

*把两个最小的概率加起来，作为新符号的概率；

*重复上述两步骤，直到概率的和达到1为止；

*在每次合并消息时，将被合并的消息赋予1和0或赋予0和1；

*寻找从每一信源符号到概率为1的路经，记录下路经上的1和0；

*对每一符号写出从码树的根到终结点1、0序列。

例：对信源

[X1，X2，X3，X4，X5，X6]=[0.25，0.25，0.20，0.15，0.10，0.05]

进行Huffman编码。

其中：X1=01；X2=10；X3=11；X4=000；X5=0010；X6=0011。

2·算术编码

算术编码是一种二元编码。

这种编码方法是在不考虑信源统计的情况下，只要监视一小段时间内码字出现的频率，不管统计是平稳的或非平稳的，编码的码率总能趋近于信源熵值，每次迭代的编码算法只处理一个数据符号，并且只有算术运算。

对二进制编码来说，信源符号只有两个。在算术编码的初级阶段，可设一个大概率Pe和小概率Qe，然后对被编码比特流符号进行判断。

模型编码

模型编码是指采用模型的方法对传输的图像进行参数估测。

模型编码有：随机马尔可夫场和分形图像编码。

1·分形的概念

分形的含义是其组成部分以某种方式与整体相似的形（一类无规则、混乱而复杂），其局部与整体有相似性的体系，即：自相似性体系。

2·分形编码

*基本原理：分形的方法是把一幅数字图像，通过一些图像处理技术将原始图像分成一些子图像，然后在分形集中查找这样的子图像。分形集存储许多迭代函数，通过迭代函数的反复迭代，可以恢复原来的子图像。

分形编码压缩的步骤：

第一步：把图像划分为互不重叠的、任意大小的的D分区；

第二步：划定一些可以相互重叠的、比D分区大的R分区；

第三步：为每个D分区选定仿射变换表。

分形编码解压步骤：

首先从文件中读取D分区划分方式的信息和仿射变换系数等数据；

然后划定两个同样大小的缓冲区给D图像和R图像，并把R初始化到任一初始阶段；

根据仿射变换系数把其相应的R分区做仿射变换，并用变换后的数据取代该D分区的原有数据；

对D中所有的D分区都进行上述操作，全部完成后就形成一个新的D图像；

再把新D图像的内容拷贝到R中，把新R当作D，D当作R，重复操作（迭代）。

。分形编码的特点：

压缩比高，压缩后的文件容量与图像像素数无关，在压缩时时间长但解压缩速度快

㈥ 数据压缩

数据压缩技术主要研究数据的表示、传输和转换方法，目的是减少数据所占据的存储空间和缩短数据传输时所需要的时间。

衡量数据压缩的3个主要指标：一是压缩前后所需的信息存储量之比要大；二是实现压缩的算法要简单，压缩、解压缩速度快，要尽可能做到实时压缩和解压缩；三是恢复效果要好，要尽可能完全恢复原始数据。

数据压缩主要应用于两个方面。一是传输：通过压缩发送端的原始数据，并在接收端进行解压恢复，可以有效地减少传输时间和增加信道带宽。二是存储：在存储时压缩原始数据，在使用时进行解压，可大大提高存储介质的存储量。

数据压缩按照压缩的失真度分成两种类型：一种叫作无损压缩，另一种叫作有损压缩。

无损压缩是指使用压缩后的数据进行重构（或者叫作还原、解压缩），重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。根据目前的技术水平，无损压缩算法一般可以把普通文件的数据压缩到原来的1/4～1/2。一些常用的无损压缩算法有霍夫曼（Huffman）算法、算术算法、游程算法和LZW（Lenpel-Ziv ＆ Welch）压缩算法。

1）霍夫曼算法属于统计式压缩方法，其原理是根据原始数据符号发生的概率进行编码。在原始数据中出现概率越高的符合，相应的码长越短，出现概率越少的符合，其码长越长。从而达到用尽可能少的符号来表示原始数据，实现对数据的压缩。

2）算术算法是基于统计原理，无损压缩效率最高的算法。即将整段要压缩的数据映射到一段实数半封闭的范围［0，1）内的某一区段。该区段的范围或宽度等于该段信息概率。即是所有使用在该信息内的符号出现概率全部相乘后的概率值。当要被编码的信息越来越长时，用来代表该信息的区段就会越来越窄，用来表示这个区段的位就会增加。

3）游程算法是针对一些文本数据特点所设计的压缩方法。主要是去除文本中的冗余字符或字节中的冗余位，从而达到减少数据文件所占的存储空间。压缩处理流程类似于空白压缩，区别是在压缩指示字符之后加上一个字符，用于表明压缩对象，随后是该字符的重复次数。本算法具有局限性，很少单独使用，多与其他算法配合使用。

4）LZW算法的原理是用字典词条的编码代替在压缩数据中的字符串。因此字典中的词条越多，压缩率越高，加大字典的容量可以提高压缩率。字典的容量受计算机的内存限制。

有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。有损压缩适用于重构信号不一定非要和原始信号完全相同的场合。例如，图像和声音的压缩就可以采用有损压缩，因为其中包含的数据往往多于我们的视觉系统和听觉系统所能接收的信息，丢掉一些数据而不至于对声音或者图像所表达的意思产生误解，但可大大提高压缩比。

㈦ 数据流压缩原理和数据压缩Zlib的实现

压缩的本质就是去冗余，去除信息冗余，使用最短的编码保存最完整的数据信息。所以对于不同的场景，压缩采用的算法也因时制宜，比如视频和图片可以采用有损压缩，而文本数据采用无损压缩。压缩率又取决于信息的冗余度，也就是内容中重复的比例。那些均匀分布的随机字符串，压缩率会降到最低，即香农限

deflate是zip文件的默认算法。它更是一种数据流压缩算法。

LZ77压缩算法采用字典的方式进行压缩，是一种简单但是很高效的数据压缩算法。其方式就是把数据中一些可以组织成短语的字符加入字典。维护三个概念： 短语字典、滑动窗口、向前缓冲区

压缩的逆过程，通过解码标记和保持滑动窗口中的符号来更新解压数据。当解码字符被标记:将标记编码成字符拷贝到滑动窗口中，一步一步直到全部翻译完成

在流式传输中，不定长编码数据的解码想要保持唯一性，必须满足唯一可以码的条件。而异前缀码就是一种唯一可译码的候选，当然这样会增加编码的长度，却可以简化解码。

huffman编码是一种基于概率分布的贪心策略最优前缀码。huffman编码可以有效的压缩数据，压缩率取决于数据本身的信息冗余度

计算数据中各符号出现的概率，根据概率从小到大，从下往上反向构建构造码树，这样最终得到的编码的平均长度是最短的。同时也是唯一可译的

解读：在一开始，每一个字符已经按照出现概率的大小排好顺序，在后续的步骤中，每一次将概率最低的两棵树合并，然后用合并后的结果再次排序（为了找出最小的两棵树）。在gzip源码中并没有专门去排序，而是使用专门的数据结构（比如最小堆或者红黑树）。

使用优先队列实现huffman树，最后基于Huffman树最终实现文件压缩。
具体步骤：

gzip = gzip 头 + deflate 编码的实际内容 + gzip 尾

zlib = zlib 头 + deflate 编码的实际内容 + zlib 尾

压缩之前：初始化各种输入输出缓冲区；
压缩：我们可以不断往这些缓冲区中填充内容，然后由deflate函数进行压缩或者indeflate函数进行解压

总结：在调用deflate函数之前，应用程序必须保证至少一个动作被执行（avail_in或者avail_out被设置），用提供更多数据或者消耗更多的数据的方式。avail_out在函数调用之前千万不能为零。应用程序可以随时消耗被压缩的输出数据