大数据解压缩指令

1. linux解压.gz的命令是什么

• 解压缩命令：

  命令格式：tar -zxvf 压缩文件名.tar.gz。解压缩后的文件只能放在当前的目录。

• 解压全部命令参考：
  

  tar _xvf file.tar 解压 tar包

  tar -xzvf file.tar.gz 解压tar.gz

  tar -xjvf file.tar.bz2 解压 tar.bz2

  tar _xZvf file.tar.Z 解压tar.Z

  unrar e file.rar 解压rar

  unzip file.zip 解压zip

2. cmd 解压缩 命令

WinRAR <命令> -<开关1> -<开关N> <压缩文件> <文件...> <@列表文件...> <解压路径>命令 要 WinRAR 运行的字符组合代表功能。

开关切换操作指定类型，压缩强度，压缩文件类型，等等的定义。

压缩文件要处理的压缩文件名。

文件 要处理的文件名。

列表文件 列表文件是包含要处理文件名称的纯文本。文件名应该在第一卷启动。可以在列表文件中使用//字符后添加注释。

(2)大数据解压缩指令扩展阅读：

路径文件名1路径文件名2 /y 复制文件1到指定的目录为文件2，用参数/y就同时取消确认你要改写一份现存目录文件。

c:srv.exe ipadmin$ 复制本地c:srv.exe到对方的admin下：

1st.jpg/b+2st.txt/a 3st.jpg 将2st.txt的内容藏身到1st.jpg中生成3st.jpg新的文件，注：2st.txt文件头要空三排，参数：/b指二进制文件，/a指ASCLL格式文件。

ipadmin$svv.exe c: 或：ipadmin$*.* 复制对方admini$共享下的srv.exe文件（所有文件）至本地C：

x 要复制的文件或目录树目标地址目录名 复制文件和目录树，用参数/Y将不提示覆盖相同文件用参数/e才可连目录下的子目录一起复制到目标地址下。

3. 大数据中的压缩

一、压缩分类
1、Lossless conpression(无损压缩)
压缩和解压缩过程中没有任何数据的丢失

2、Lossy conpression（有损压缩）
JPEG，MP3，MPEG 压缩和解压缩过程中有任何数据的丢失

二、扮扰压缩场景
输入

中间

输出

三、压缩注意事项
CPU是否够用，压缩加压缩都耗费资源

四、压缩格式

五、压缩比

原始文件大小1.4G
Snappy的压缩比：50%
LZ4的压缩比：49%
LZO的压缩比：48%
GZIP的压缩比：32%
BZIP2的压缩比：28%

六、总结
1、压缩陵陵比越高压缩时间就越长，不同压缩场景需要选用不同的压缩。
2、选用压缩就是空间与时间的选择
3、如果是老数据/冷数厅汪旦据就采用BZIP2压缩，如果老数据偶尔还会用的到还需考虑是否分片
4、

七、Hadoop配置Maprece的压缩
core-site.xml

mapred-site.xml

上面配置的是Bzip2的压缩，进入

j进行wordcount的测试

查看结果文件是带有bz2后缀的

八、Hive的压缩测试
1、创建表

2、加载数据

查看原表的大小

3、

新建表

查看新表的大小

4、

新建表

查看大小

5、

新建表

查看大小

以上为临时生效压缩，真正使用需要将具体使用哪种压缩配置到Hive配置文件

4. tar jxvf是什么指令

解压指令。tar命令可以为linux的文件和目录打包。利用tar，可以为某一特定文件创建档案（备份文件），也可以在档案中改变文件，或者向档案中加入新的文件。

tar最初被用来在磁带上创建档案，现在，用户可以在任何设备上创建档案。tar代表未压缩的tar文件。已压缩的tar文件则附加压缩文件的扩展名，如经过gzip压缩后的tar文件，扩展名为“.tar.gz”。由于受到DOS8.3文件名格式的限制，常使用下列缩写：

.tgz等价于.tar.gz

.tbz与tb2等价于.tar.bz2

.taz等价于.tar.Z

.tlz等价于.tar.lzma

.txz等价于.tar.xz

(4)大数据解压缩指令扩展阅读

tail指令：显示文件末尾内容，不指定文件时，作为输入信息进行处理，常用查看文件

语法：tail [必要参数] [选择参数] [文件名]

常用选项-f循环读取-n [行数]显示行数

tar文件格式已经成为POSIX标准，最初是POSIX.1-1988，当前是POSIX.1-2001。本程序最初的设计目的是将文件备份到磁带上（tape archive），因而得名tar。

5. linux下如何解压和压缩文件

• Linux下自带了一个unzip的程序可以解压缩文件，解压命令是：unzip filename.zip

• 也提供了一个zip程序压缩zip文件，命令是 zip filename.zip files ，会将files压缩到filename.zip

6. 如何使用winrar的命令行解压tar文件

windows中winrar命令行方式使用

在Windows系统中的文件压缩/解压缩工具winrar功能强大，虽然我们都习惯于用图形界面的winrar，但是它也能在命令行方式下面使用，这在企图让winrar批量自动压缩解压缩的时候尤其有用。

它自带的帮助也非常的全面，现在从中择出来一些比较常用的总结一下，以免再找的时候比
较头晕

1，最简单的压缩命令：
winrar a asdf.txt.rar asdf.txt
a的意思是进行压缩动作，后面第一个参数是被压缩后的文件名，后缀当然是rar了，最后面
的参数就是要被压缩的文件名

2，最简单的解压缩命令：
winrar e asdf.txt.rar
e的意思是执行解压缩，解压缩的文件是后面这唯一的参数，但是这个e解压缩是把解出来的
文件释放到当前目录下面，与asdf.txt.rar文件并列了，因此，更加实用的是下面的带路径
解压缩。

3，带路径的解压缩命令：
winrar x asdf.rar
x的意思是执行带绝对路径解压动作，这会在当前文件夹下创建一个文件夹asdf，把压缩包
里的文件、文件夹不改动结构释放到文件asdf里面，就像我们在winrar的图形界面下看到的
一样。

4，指定压缩级别压缩：
winrar a -m5 asdf.tr.rar asdf.tr
要被压缩的不再是一个txt文本，而是一个文本格式的十几M的仿真数据文件，希望能够最大
程度的压缩。使用压缩参数-m5。在winrar中，执行操作是不带前导-符号的参数，比如“a
”或“x”，而修饰这种动作的参数，使用带前导符号“-”的参数，比如-m5。其中-m就是
指定压缩级别的参数，压缩级别有如下五级：
-m0 存储 添加到压缩文件时不压缩文件。
-m1 最快 使用最快方式(低压缩)
-m2 较快 使用快速压缩方式
-m3 标准 使用标准(默认)压缩方式
-m4 较好 使用较好压缩方式(较好压缩，但是慢)
-m5 最好 使用最大压缩方式(最好的压缩，但是最慢)
默认的是-m3级别，级别不同，对于大数据量的文本文件压缩后的文件大小有很大的差异

5，指定压缩后删除原文件：
winrar a -m5 -df asdf.tr.rar asdf.tr
用参数-df指定压缩为asdf.tr.rar压缩文件后，删除原文件asdf.tr，也可以是：
winrar m -m5 asdf.tr.rar asdf.tr
这个m的意思是把文件asdf.tr移动入压缩文件asdf.tr.rar中

6，创建自解压文件：
winrar s asdf.tr.rar
在gui界面中，创建自解压文件是有个选项可以直接选择的。而在命令行中，是分为两个步
骤的，第一步是用压缩命令进行压缩：
winrar a -m5 -df asdf.tr.rar asdf.tr
第二步是用s命令把这个压缩文件转化为自解压文件：
winrar s asdf.tr.rar
转化后，生成了自解压文件：asdf.tr.exe

基本上，日常使用这六条就够

7. linux zip 压缩命令 解压命令 unzip

linux
zip命令的基本用法是：
zip
[参数]
[打包后的文件名]
[打包的目录路径]
linux
zip命令参数列表：
-a
将文件转成ASCII模式
-F
尝试修复损坏的压缩文件
-h
显示帮助界面
-m
将文件压缩之后，删除源文件
-n
特定字符串
不压缩具有特定字尾字符串的文件
-o
将压缩文件内的所有文件的最新变动时间设为压缩时候的时间
-q
安静模式，在压缩的时候不显示指令的执行过程
-r
将指定的目录下的所有子目录以及文件一起处理
-t
日期
把压缩文件的最后修改日期设为指定的日期，日期格式为mmddyyyy
举例：
将/home/Blinux/html/
这个目录下所有文件和文件夹打包为当前目录下的html.zip
zip
–q
–r
html.zip
/home/Blinux/html
上面的命令操作是将绝对地址的文件及文件夹进行压缩.以下给出压缩相对路径目录
比如目前在Bliux