数据库数据压缩

❶ 数据压缩技术分为哪两类使用方法是什么

【导读】数据压缩技术是大数据传输过程中需要采用的一种数据存储方法。那么数据压缩技术分为哪两类?使用方法是什么呢?为此小编今天就来和大家细细聊聊关于数据压缩技术那些事，同时也提醒各位大数据工程师在使用数据压缩过程中的一些注意事项及使用方法。

在数据压缩中，通过使用比原始数据更少的位来对数据进行编码，数据压缩有两种方法：无损压缩，它消除了冗余但不丢失任何原始数据;有损数据压缩，可通过删除不必要或不太重要的信息来修改数据，在大数据的传输和存储中使用数据压缩非常重要，因为它减少了IT部门必须为该数据提供的网络带宽和存储量，同样重要的是，您实际上并不想保留某些类型的大数据，例如作为物联网(IoT)通信数据一部分的设备间握手引起的抖动。

为了最大程度地利用大数据进行数据压缩，您必须知道何时何地使用不同类型的数据压缩工具和公式。选择数据压缩方法时，请牢记以下几条有用的准则：

何时使用无损数据压缩

如果您有一个大数据应用程序，并且无法承受丢失任何数据的麻烦，并且需要解压缩压缩的每个字节的数据，那么您将需要一种无损的数据压缩方法，当您压缩来自数据库的数据时，即使您意味着必须存储更多的数据，也希望进行无损数据压缩。在选择将此数据重新提交到其数据库时，您需要解压缩完整数据，以便它可以与数据库端的数据匹配并进行存储。

何时使用有损数据压缩

有时您不需要或不需要所有数据，例如物联网和网络设备的抖动，您不需要这些数据，只需提供给您业务所需的上下文信息的数据即可。第二个示例是在数据压缩过程的前端可能使用的数据压缩公式中使用人工智能(AI)，如果您正在研究一个特定的问题，并且只希望与该问题直接相关的数据，则可以决定让数据压缩公式不包含与该问题无关的任何数据。

如何选择正确的编解码器

一个编解码器是一个硬件，软件的组合，压缩和解压缩数据，所以它在大数据压缩和解压缩操作的核心作用，编解码器有许多种，因此为正确的数据或文件类型选择正确的编解码器很重要，您选择的编解码器类型将取决于您尝试压缩的数据和文件类型，有无损和有损数据的编解码器，也有一些编解码器必须将所有数据文件作为“整体”处理，而其他编解码器可以将数据分割开，以便可以对其进行并行处理，然后在其目的地重新组合，某些编解码器设置用于可视数据，而其他编解码器仅处理音频数据。

为什么数据压缩很重要?

确定将用于大数据的数据压缩类型是大数据操作的重要组成部分，仅在资源端，IT人员就无法承受处理失控和迅速发展的存储的成本，即使必须完整存储数据，也应尽可能地对其进行压缩，也就是说，您可以采取其他步骤来限制存储和处理，以及针对大数据压缩中采用的算法和方法的最适合操作，掌握这些选项是IT部门的关键数据点。

以上就是小编今天给大家整理分享关于“数据压缩技术分为哪两类?使用方法是什么?”的相关内容希望对大家有所帮助。小编认为要想在大数据行业有所建树，需要考取部分含金量高的数据分析师证书，这样更有核心竞争力与竞争资本。

❷ SQL数据库如何压缩

具体方法有3种。
方法一:
第一步：
backup
log
database_name
with
no_log
或者
backup
log
database_name
with
truncate_only
--
no_log和truncate_only是在这里是同义的，随便执行哪一句都可以。
第二步：
1.收缩特定数据库的所有数据和日志文件，执行：
dbcc
shrinkdatabase
(database_name,[,target_percent])
--
database_name是要收缩的数据库名称；target_percent是数据库收缩后的数据库文件中所要的剩余可用空间百分比。
2.收缩一次一个特定数据库中的数据或日志文件，执行
dbcc
shrinkfile(file_id,[,target_size])
--
file_id是要收缩的文件的标识
(id)
号,若要获得文件
id，请使用
file_id
函数或在当前数据库中搜索
sysfiles；target_size是用兆字节表示的所要的文件大小（用整数表示）。如果没有指定，dbcc
shrinkfile
将文件大小减少到默认文件大小。两个dbcc都可以带上参数notruncate或truncateonly，具体意思查看联机帮助.
方法二：
第一步：
先备份整个数据库以备不测
。
第二步：
备份结束后，在query
analyzer中执行如下的语句：
exec
sp_detach_db
yourdbname,true
--卸除这个db在mssql中的注册信息
第三步：
到日志的物理文件所在的目录中去删除该日志文件或者将该日志文件移出该目录
第四步：
在query
analyzer中执行如下的语句：
exec
sp_attach_single_file_db
yourdbname,'
d:\mssql\data\yourdbname_data.mdf
'
--以单文件的方式注册该db，如果成功则mssql将自动为这个db生成一个500k的日志文件。
方法三:
1.
进入企业管理器，选中数据库，比如demo
2.
所有任务->分离数据库
3.
到数据库文件的存放目录，将muonline_log.ldf文件删除，以防万一，你可以拷出去
4.
企业管理器->附加数据库，选muonline，这个时候你会看见日志文件这项是一个叉，不要紧，继续，此时数据库就会提示你该数据库无日志是否创建一个新的，确定就是了。
5.
记得数据库重新附加后用户要重新设置一下。
如果以后,不想要它变大:
sql2000下使用：
在数据库上点右键->属性->选项->故障恢复-模型-选择-简单模型。
或用sql语句：
alter
database
数据库名
set
recovery
simple

❸ MSSQL数据库日志的压缩与清除技巧

一般情况下，SQL数据库的收缩并不能很大程度上减小数据库大小，其主要作用是收缩日志大小，应当定期进行此操作以免数据库日志过大：
1、设置数据库模式为简单模式：打开SQL企业管理器，在控制台根目录中依次点开Microsoft SQL Server--SQL Server组--双击打开你的服务器--双击打开数据库目录--选择你的数据库名称（如论坛数据库Forum）--然后点击右键选择属性--选择选项--在故障橘罩答还原的模式中选择"简单"，然后按确定保存。
2、在当前数据库上点右键，看所有任务中的收缩数据库，一般里面的默认设置不用闷册调整，直接点确定。
3、收缩数据库圆慧完成后，建议将您的数据库属性重新设置为标准模式，操作方法同第一点，因为日志在一些异常情况下往往是恢复数据库的重要依据。
方法二
SET NOCOUNT ON
DECLARE @LogicalFileName sysname,
@MaxMinutes INT,
@NewSize INT
USE
tablename
-- 要操作的数据库名
SELECT@LogicalFileName = 'tablename_log',-- 日志文件名
@MaxMinutes = 10,
-- Limit on time allowed to wrap log.
@NewSize = 1
-- 你想设定的日志文件的大小(M)
-- Setup / initialize
DECLARE @OriginalSize int
SELECT @OriginalSize = size
FROM sysfiles
WHERE name = @LogicalFileName
SELECT 'Original Size of ' + db_name() + ' LOG is ' +
CONVERT(VARCHAR(30),@OriginalSize) + ' 8K pages or ' +
CONVERT(VARCHAR(30),(@OriginalSize*8/1024)) + 'MB'
FROM sysfiles
WHERE name = @LogicalFileName
CREATE TABLE DummyTrans
(DummyColumn char (8000) not null)
DECLARE @Counter
INT,
@StartTime DATETIME,
@TruncLogVARCHAR(255)
SELECT@StartTime = GETDATE(),
@TruncLog = 'BACKUP LOG ' + db_name() + ' WITH TRUNCATE_ONLY'
DBCC SHRINKFILE (@LogicalFileName, @NewSize)
EXEC (@TruncLog)
-- Wrap the log if necessary.
WHILE
@MaxMinutes
DATEDIFF (mi, @StartTime, GETDATE()) -- time has not expired
AND @OriginalSize = (SELECT size FROM sysfiles WHERE name = @LogicalFileName)
AND (@OriginalSize * 8 /1024)
@NewSize
BEGIN -- Outer loop.
SELECT @Counter = 0
WHILE((@Counter
@OriginalSize / 16) AND (@Counter
50000))
BEGIN -- update
INSERT DummyTrans VALUES ('Fill Log')
DELETE DummyTrans
SELECT @Counter = @Counter + 1
END
EXEC (@TruncLog)
END
SELECT 'Final Size of ' + db_name() + ' LOG is ' +
CONVERT(VARCHAR(30),size) + ' 8K pages or ' +
CONVERT(VARCHAR(30),(size*8/1024)) + 'MB'
FROM sysfiles
WHERE name = @LogicalFileName
DROP TABLE DummyTrans
SET NOCOUNT OFF