A. hive 之 交、并、差 探析
上一篇说到了 join，本篇就简单讲一讲对两个表做交、并、差运算。
union 主要有两种用法：
在 sql 语句中，有 intersect 关键字。那么在hive 语句中，如何实现呢？
可以用 left outer join 或者更高效的left semi join 哦~
在 sql 语句中，有 minus 关键字，但是 hive 暂时还不支持，那么问题来了，这回又要怎么办？
答案还是用 join 啦 ~
交集 和 差集 加在一起就是 上表的全部内容，那么我们在 left outer join 之后的 where 语句中，把对下表的 key 值判断由 is not null（即下表中该条数据存在，也就是交集） 换成 is null （下表中该条数据为 null ，也就是差集啦）即可~
B. HIVE OS系统对地址加密吗
加密。Hiveos系统会对飞行表的加密线路设置，飞行表是软件的整体配置，是使用这开源软件的前提，必须的设置好，特别是要配置稳定不掉的地址。
C. mysql数据库加密的，sqoop怎么解密输出在hive
mysql数据库加密的，sqoop怎么解密输出在hive
直接导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name--username user_name --table table_name --hive-import -m 5
内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将hdfs上数据传入hive表中
sqoop根据postgresql表创建hive表
sqoop create-hive-table --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-table hive_table_name( --hive-partition-key partition_name若需要分区则加入分区名称)
导入hive已经创建好的表中
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
使用query导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --query "select ,* from retail_tb_order where \$CONDITIONS" --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
注意：$CONDITIONS条件必须有，query子句若用双引号，则$CONDITIONS需要使用\转义，若使用单引号，则不需要转义。
D. Hive解析Json数据
HIVE直接读入json的函数有两个：
（1）get_json_object(string json_string, string path)
返回值: string
说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
举例：
hive> select get_json_object(‘{“store”:{“fruit”:[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], “bicycle”:{“price”:19.95,”color”:”red”}}, “email”:”amy@only_for_json_udf_ test.net ”, “owner”:”amy” } ‘,’$.owner’) from al;
结果：amy
这个函数每次只能返回一个数据项。
（2）json_tuple(jsonStr, k1, k2, ...)
参数为一组键k1，k2……和JSON字符串，返回值的元组。该方法比 get_json_object 高效，因为可以在一次调用中输入多个键
select a.timestamp, b.*
from log a lateral view json_tuple(a.appevent, 'eventid', 'eventname') b as f1, f2;
处理数据样例：
{"GPS_LAT":39.8965125,"GPS_LONG":116.3493225,"GPS_SPEED":20.9993625,"GPS_STATE":"A","GPS_TIME":"2014-01-02 00:00:16","IMEI":"508597","after_oxygen_sensor":132,"air_condion_state":3,"bdoneNo_after_mileage":0,"bdoneNo_zero_mileage":8044,"db_speed":22,"direction_angle":358.2585,"front_oxygen_sensor":64,"instant_fuel":233,"speed":1210,"torque":33,"total_fuel":0}
处理HIVE语句：
create table 2014jrtest as select json_tuple(line,'GPS_LAT','GPS_LONG','GPS_SPEED','GPS_STATE','GPS_TIME','IMEI','after_oxygen_sensor','air_condion_state','bdoneNo_after_mileage','bdoneNo_zero_mileage','db_speed','direction_angle','front_oxygen_sensor','instant_fuel','speed','torque','total_fuel') from 2014test;
E. hadoop hue配置文件怎样设置加密密码
ue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapRece Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自尝试使用，下面先通过官网给出的特性，通过翻译原文简单了解一下Hue所支持的功能特性集合：
默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
基于文件浏览器（File Browser）访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板（Dashboard）
支持Pig编辑器，并能够提交脚本任务
支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
支持Job浏览器，能够访问MapRece Job（MR1/MR2-YARN）
支持Job设计器，能够创建MapRece/Streaming/Java Job
支持Sqoop 2编辑器和仪表板（Dashboard）
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
1 Hue安装（参考官网：http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/）
1.1 在git上下载HUE源码或者在它的官网下载（如果已经安装git可省略第一步）
sudo apt-get install git
git clone https://github.com/cloudera/hue.git
1.2 需要安装一些依赖的软件包
官网给出了一些，如果环境不一样，灵活调整，GIT上面给出的依赖文件列表：
F. Hive 动态分区
Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。
由于使用了OVERWRITE关键字，目标表中原来相同partition中的所有数据被覆盖，如果目标表中没有partition，则整个表会被覆盖。
如果把OVERWRITE关键字删掉，或者替换成INTO，则hive会追加而不是替代原分区或原表中的数据，这个特性在Hive v0.8.0之后才支持。
当数据已经存在于hdfs上但不是我们想要的格式的时候，当进行的计算需要分好多步骤有必要存储中间数据的时候，或者原数据没有分区、有很多无效列需要过滤的时候，可以使用insert..select句型来完成这一转换过程。
由于一个国家有很多个省份，如果想根据（国家country，地区partition）两个维度对数据进行分区的话，这条SQL语句的执行个数应该等于地区的数目，比如中国有23个省就要对该SQL语句执行23次。因此hive对这个SQL语句进行了改造，只需要扫描一次原表就可以生成不同的输出（多路输出）。比如下面的SQL语句扫描了一次原始数据表，但是同时生成了3个省份的结果数据：
通过缩进可以很清楚的看到，我们扫描了一次staged_employees表但是执行了3次不同的insert语句，这条大SQL语句是这么执行的：先通过from staged_employees表获取一条记录，然后执行每一个select子句，如果select子句验证通过则执行相应的insert语句。注意这里的三条select子句是完全独立执行的，并不是if .. then .. else的关系，这就意味着这3条select子句在某种情况下可能同时通过where检测。
通过这种结构，原始表的数据能被拆分到目标表的不同partition中去。
如果原表的一条记录满足于其中一个给定的select .. where .. 子句，则该记录将被写到目标表的固定分区中。其实更进一步，每条Insert语句能将数据写到不同的数据表中，不管这个表是否分区都一样。
于是，就像一个过滤器一样，原表的一些数据被写到了很多输出地址，而剩下的数据会被丢弃。
当然，你也可以混用Insert overwrite和insert into两种不同的方法写出数据。
向动态分区插入数据
但是问题还是没有解决，中国有23个省，那么我们就需要写23个insert into .. select ..where子句，这非常不现实。于是hive的一种叫做动态分区的特性就出现了，它能够根据select出来的参数自动推断将数据插入到那个分区中去。本文上面的两种SQL语句设定分区的方式都叫做静态分区插入。
将上一个SQL语句进行改动，会得到以下简洁的新SQL语句：
hive先获取select的最后两个位置的se.cnty和se.st参数值，然后将这两个值填写到Insert语句partition中的两个country和state变量中，即动态分区是通过位置来对应分区值的。原始表select出来的值和输出partition的值的关系仅仅是通过位置来确定的，和名字并没有关系，比如这里se.cnty和county的名称完全没有关系。
上面的这条SQL语句是对两个分区同时进行了动态设定，如果staged_employees表中有100个国家，每个国家有100个地区，那么该SQL语句自动对每个国家和地区建立相应的partition并插入数据，如果用手写的话不现实。
只要位置正确，你可以混用动态分区和静态分区值设定，比如下面这个例子，你可以静态指定一个country值，但是state值采用动态的方法设定：
注意：静态分区值必须在动态分区值的前面！
使用hive动态分区的参数设定
动态分区功能默认是关闭的，而当它是打开状态时，默认会工作在“strict”模式下，这种模式下要求至少指定一个静态分区的值。这样做是为了防止设计了大量partition的糟糕情况，举个例子你使用时间戳来进行分区，竟然每一秒钟都产生一个分区！还有其他的一些属性设定用来限制类似的情况出现，如下表所示：
名称 默认值 描述
hive.exec.dynamic.partition false 设置为true用于打开动态分区功能
hive.exec.dynamic.partition.mode strict 设置为nonstrict能够让所有的分区都动态被设定，否则的话至少需要指定一个分区值
hive.exec.max.dynamic.partitions.pernode 100 能被每个mapper或者recer创建的最大动态分区的数目，如果一个mappre或者recer试图创建多余这个值的动态分区数目，会引发错误
hive.exec.max.dynamic.partitions +1000 被一条带有动态分区的SQL语句所能创建的动态分区总量，如果超出限制会报出错误
hive.exec.max.created.files 100000 全局能被创建文件数目的最大值，专门有一个hadoop计数器来跟踪该值，如果超出会报错
举个例子，使用全动态分区的SQL语句序列如下所示，需要先设定一些必要的参数才可以：
总结
使用from .. insert.. select ..where结构能够从一个数据表中抽取数据，将结果插入到不同的表和分区中，而使用动态分区能够让hive根据select最末几个位置的值自动设定目标分区的值，使用动态分区需要设定一些hive运行参数。
转自 http://www.crazyant.net/1197.html
G. hive建表语句
因为用mr对hdfs进行操作比较繁琐，所以才出现了hive。 hive本质上进行操作的还是hdfs文件，而不是表。 所以在一些地方，为了迎合hdfs文件，与sql语言有些许的不同。比如在建表方面的不同，在一些函数上的不同等。
参考： Hive学习3：Hive三种建表语句详解
在建表时，要通过语法，将HDFS上的文件映射成表结构。所以在建表时与sql上有些许不同。
不过，建立好表以后，已经映射成表结构，那么操作就跟sql很相似了。
其中，映射过程中会有参数row format（行的格式） 和 file format（文件的格式） 两个参数。
row format 表示的是行在存储时的序列化 与 反序列化 的规则。一般后面都是定好了默认参数的。需要的时候再改。
比如，给表定好了，列按照逗号分割，某个字段按照“-”分割，map型字段按照“：”分割。
这样订好了形式以后，就能够让系统比较合理的进行序列化与反序列化了
表示hdfs文件存放的格式，默认是TEXTFILE，文本格式，可以直接打开。
按照参考的网页，建表。注意，建表的时候，已经指明了各个字段的类型，所以在进行分割的时候就很容易了。
参考： Hive的数据存储
元数据，是用来描述数据的数据。 表中的数据，比如，25,31是数据。而元数据中，元数据“年龄”就是用来描述25,31的。所以说，元数据是这种用来描述数据的数据。
在hive中
区别：
建立外部表（这里t2 被external所修饰了）
'''
create external table t2(
id int
,name string
,hobby array<string>
,add map<String,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
location '/user/t2'
;
'''
将子查询的结果存在新表里，表中有数据 。通过as查询语句完成建表。
例子：
创建结构完全相同的表，但是没有数据。
例子：
create table t4 like t2;
H. hive insert into语句 和 insert overwrite语句
刚开始学hive，查 hive insert into语句 和 insert overwrite语句 区别的时候网络出来第一条写错了，差点被坑。。。。。
1.insert into是增加数据
2.insert overwrite是删除原有数据然后在新增数据，如果有分区那么只会删除指定分区数据，其他分区数据不受影响
写insert语句的时候都是要将整个表的值overwrite。因为它的存储层是HDFS，插入一个数据要全表扫描，还不如用整个表的替换来的快些。
I. 数据仓库Hive
一个公司里面不同项目可能用到不同的数据源，有的存在MySQL里面，又的存在MongoDB里面，甚至还有些要做第三方数据。
但是现在又想把数据整合起来，进行 数据分析 。此时数据仓库(Data Warehouse，DW)就派上用场了。它可以对多种业务数据进行筛选和整合，可以用于数据分析、数据挖掘、数据报表。
总的来说，数据仓库是将多个数据源的数据按照一定的 主题 集成起来，因为之前的数据各不相同，所以需要 抽取、清洗、转换 。
整合以后的数据不允许随便修改，只能分析，还需要定期更新。
上面我们说过，数据仓库接收的数据源是不同的，要做集成的话，需要 抽取、清洗、转换 三个步骤，这就是 ETL (Extract-Transform-Load)
国内最常用的是一款基于Hadoop的开源数据仓库，名为 Hive ，它可以对存储在 HDFS 的文件数据进行 查询、分析 。
Hive对外可以提供HiveQL，这是类似于SQL语言的一种查询语言。在查询时可以将HiveQL语句转换为 MapRece 任务，在Hadoop层进行执行。
Hive的最大优势在于 免费 ，那其他知名的商业数据仓库有那些呢？比如Oracle,DB2，其中业界老大是 Teradata
Teradata数据仓库支持大规模并行处理平台(MPP)，可以高速处理海量实际上，性能远远高于Hive。对企业来说，只需要专注于业务，节省管理技术方面的精力，实现ROI（投资回报率）最大化。
上面提到了Hive是最着名的开源数据仓库，它是Hadoop生态中一个重要的组件。
Hadoop的生态中，HDFS解决了分布式存储的问题，MapRece解决了分布式计算的问题，而HBASE则提供了一种NoSQL的存储方法。
但是如果需要的HDFS上的文件或者HBASE的表进行查询，需要自定义MapRece方法。那么Hive其实就是在HDFS上面的一个中间层，它可以让业务人员直接使用SQL进行查询。
所以Hive是用进行数据提取转换加载的，而且它可以把SQL转换为MapRece任务，而Hive的表就是HDFS的目录或者文件。
上图为Hive的体系结构
Hive主要包含以下几种数据模型：
本文为 什么是数据仓库？ 的笔记