hive编译原理

❶ 小白想转行做大数据，怎么入行

大数据技术专业属于交叉学科：以统计学、数学、计算机为三大支撑性学科；生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。

此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。

大数据时代则对从业人员素质的要求越来越高，因为数据处理变得越来越复杂，数据人才的竞争也越来越激烈，很多大公司都在寻找尖端人才。而且，大到国防、金融，小到跟生活息息相关的物流、购物、医疗、交通等，都日益需要大数据的支撑。大数据正在成为一门“显学”。

对于大数据开发的学习，重在掌握基本知识以及实践应用，合理安排基础知识的学习，可以起到事半功倍的效果，以下是比较经典的大数据开发学习路线：

第一阶段：javaSE+MySql+linux

Java语言入门 → OOP编程 → Java常用Api、集合 → IO/NIO → Java实用技术 → Mysql数据库 → 阶段项目实战 → Linux基础 → shell编程

第二阶段：Hadoop与生态系统

Hadoop → MapRece → Avro → Hive → Hbase → Zookeeper → Flume → Kafka → Sqoop → Pig

第三阶段：Storm与Spark及其生态圈

Storm → Scala → Spark → Spark SQL → Spark Streaming → Spark机器学习

第四阶段：其他

Mahout机器学习 → R语言 → python

第五阶段：项目实战、技术综合运用
希望对您有所帮助！~

❷ impala和hive的区别有什么

❸ 程序中的Hive具体是干什么用的呢

Hive是基于Hadoop平台的数仓工具，具有海量数据存储、水平可扩展、离线批量处理的优点，解决了传统关系型数仓不能支持海量数据存储、水平可扩展性差等问题，但是由于Hive数据存储和数据处理是依赖于HDFS和MapRece，因此在Hive进行数据离线批量处理时，需将查询语言先转换成MR任务，由MR批量处理返回结果，所以Hive没法满足数据实时查询分析的需求。
Hive是由FaceBook研发并开源，当时FaceBook使用Oracle作为数仓，由于数据量越来越大，Oracle数仓性能越来越差，没法实现海量数据的离线批量分析，因此基于Hadoop研发Hive，并开源给Apacha。
由于Hive不能实现数据实时查询交互，Hbase可提供实时在线查询能力，因此Hive和Hbase形成了良性互补。Hbase因为其海量数据存储、水平扩展、批量数据处理等优点，也得到了广泛应用。
Pig与HIVE工具类似，都可以用类sql语言对数据进行处理。但是他们应用场景有区别，Pig用于数据仓库数据的ETL，HIVE用于数仓数据分析。
从架构图当中，可看出Hive并没有完成数据的存储和处理，它是由HDFS完成数据存储，MR完成数据处理，其只是提供了用户查询语言的能力。Hive支持类sql语言，这种SQL称为Hivesql。用户可用Hivesql语言查询，其驱动可将Hivesql语言转换成MR任务，完成数据处理。
【Hive的访问接口】
CLI：是hive提供的命令行工具
HWI：是Hive的web访问接口
JDBC/ODBC：是两种的标准的应用程序编程访问接口
Thrift Server：提供异构语言，进行远程RPC调用Hive的能力。
因此Hiv具备丰富的访问接口能力，几乎能满足各种开发应用场景需求。
【Driver】
是HIVE比较核心的驱动模块，包含编译器、优化器、执行器，职责为把用户输入的Hivesql转换成MR数据处理任务
【Metastore】
是HIVE的元数据存储模块，数据的访问和查找，必须要先访问元数据。Hive中的元数据一般使用单独的关系型数据库存储，常用的是Mysql，为了确保高可用，Mysql元数据库还需主备部署。
架构图上面Karmasphere、Hue、Qubole也是访问HIVE的工具，其中Qubole可远程访问HIVE，相当于HIVE作为一种公有云服务，用户可通过互联网访问Hive服务。
Hive在使用过程中出现了一些不稳定问题，由此发展出了Hive HA机制，

❹ 大数据分析需要哪些工具

说到大数据，肯定少不了分析软件，这应该是大数据工作的根基，但市面上很多各种分析软件，如果不是过来人，真的很难找到适合自己或符合企业要求的。小编通过各大企业对大数据相关行业的岗位要求，总结了以下几点：
（1）SQL数据库的基本操作，会基本的数据管理
（2）会用Excel/SQL做基本的数据分析和展示
（3）会用脚本语言进行数据分析，Python or R
（4）有获取外部数据的能力，如爬虫
（5）会基本的数据可视化技能，能撰写数据报告
（6）熟悉常用的数据挖掘算法：回归分析、决策树、随机森林、支持向量机等
对于学习大数据，总体来说，先学基础，再学理论，最后是工具。基本上，每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识，包括概率论、数理统计。基础这种东西还是要掌握好的啊，基础都还没扎实，知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的，要学习证券、银行、财务等各种知识，不然到了公司就一脸懵逼啦。
3、学习数据分析工具，软件结合案列的实际应用，关于数据分析主流软件有(从上手度从易到难)：Excel，SPSS，stata，R，Python，SAS等。
4、学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。

❺ spark thrift server 与 网易 kyuubi thrift server

thrift server可以实现通过jdbc， beeline等工具，实现连接到spark集群，并提交sql查询的机制。

默认情况下，cdh安装的spark没有包含thrift server模块，因此我们需要重新编译spark。

另外，为了不影响cdh自带的spark，而且spark目前都是基于yarn运行的，本身也没有什么独立的服务部署（除了history sever）。

所以，在一个集群中，可以部署安装多个版本的spark。

我们使用源码编译的spark 2.4.0（其中hive的版本是1.2.1）

cdh集成的spark版本和Hive版本如下：

使用jdk1.8
修改spark提供的mvn，使用自行安装的maven 3.8.1

使用make-distribution.sh可以帮助与我们编译之后打包成tgz文件

修改pom.xml文件的配置如下。

最后，执行编译命令如下：

这样打出的包，就含有thrift server的jar包了。

最终打包文件，根目录下。

之后就是解压到其他目录下后即可。

将hive-site.xml的文件连接过来，这样spark就可以读取hive的表了。

为了确保spark提交到yarn上运行，需要配置

cp spark-defaults.conf.template spar-defaults.conf

另外，可以在spark-env.sh中设置环境变量。

HADOOP_CONF_DIR

环境变量，也可以在/etc/profile中设置

启动日志可以查看，注意下端口占用问题，如下。

启动时候，使用beeline工具连接上，主要这里不用使用cdh默认安装hive提供的beeline工具，应为版本太高。

使用编译后spark生成beeline工具

参考beeline使用教程。

https://github.com/apache/incubator-kyuubi

kyuubi是基于thrift sever二次开发，在系能和安全上优于thrift server。

鉴于目前hive的版本是2.1，而最新的kyuubi的hive是2.3，所以采用前天版本的kyuubi，采用0.7版本，保证hive的版本小于当前集群中的hive版本。

使用build目录下的dist脚本进行编译和打包。

编译成功后，会在更目录下出现tar.gz的压缩文件，如上图。

之后解压到目录下。

配置bin/kyuubi-env.sh脚本，设置spark路径

执行bin/start-kyuubi.sh命令即可。

访问的方式同样采用beelin，注意使用上面章节的beeline工具。

访问后，可以通过beeline访问到hive的表（在spark中已经配置了hive-site.xml）

!connect jdbc: hive2://xxxx:10009 即可。

❻ 我想学习hive，请问安装hive之前，必须安装centos、hadoop、java这些吗

安装需要
java 1.6，java 1.7或更高版本。
Hadoop 2.x或更高, 1.x. Hive 0.13 版本也支持 0.20.x, 0.23.x
Linux,mac,windows操作系统。以下内容适用于linux系统。
安装打包好的hive
需要先到apache下载已打包好的hive镜像，然后解压开该文件
$ tar -xzvf hive-x.y.z.tar.gz

设置hive环境变量
$ cd hive-x.y.z$ export HIVE_HOME={{pwd}}

设置hive运行路径
$ export PATH=$HIVE_HOME/bin:$PATH

编译Hive源码
下载hive源码
此处使用maven编译，需要下载安装maven。

以Hive 0.13版为例
编译hive 0.13源码基于hadoop 0.23或更高版本
$cdhive$mvncleaninstall-Phadoop-2,dist$cdpackaging/target/apache-hive-{version}-SNAPSHOT-bin/apache-hive-{version}-SNAPSHOT-bin$lsLICENSENOTICEREADME.txtRELEASE_NOTES.txtbin/(alltheshellscripts)lib/(requiredjarfiles)conf/(configurationfiles)examples/(sampleinputandqueryfiles)hcatalog/(hcataloginstallation)scripts/(upgradescriptsforhive-metastore)
编译hive 基于hadoop 0.20
$cdhive$antcleanpackage$cdbuild/dist#lsLICENSENOTICEREADME.txtRELEASE_NOTES.txtbin/(alltheshellscripts)lib/(requiredjarfiles)conf/(configurationfiles)examples/(sampleinputandqueryfiles)hcatalog/(hcataloginstallation)scripts/(upgradescriptsforhive-metastore)
运行hive
Hive运行依赖于hadoop，在运行hadoop之前必需先配置好hadoopHome。
export HADOOP_HOME=<hadoop-install-dir>

在hdfs上为hive创建\tmp目录和/user/hive/warehouse(akahive.metastore.warehouse.dir) 目录，然后你才可以运行hive。
在运行hive之前设置HiveHome。
$ export HIVE_HOME=<hive-install-dir>

在命令行窗口启动hive
$ $HIVE_HOME/bin/hive

若执行成功，将看到类似内容如图所示

❼ 软件开发一般学什么

IT技术领域可以分为18个领域：

人工智能，云计算，大数据，区块链，物联网，设计，Web开发，移动开发， 游戏 开发，服务端开发，数据库，架构，测试，运维，网络管理，安全技术，认证考试，信息化建设。

软件开发一般指web开发、移动开发、 游戏 开发、服务端开发、数据库这几类，你可以选择其中一类或几类学习和研究，现在比较火的属于移动开发和 游戏 开发了。技术其实都是触类旁通的，能学号一个，就能学号好外一个。

高端的软件开发就是人工智能、云计算、大数据、区块链、物联网等，这里就不深入讨论。先从基本的软件开发开始吧。

web开发：

移动开发

游戏 开发

服务端开发

数据库

作为一名计算机专业的研究生导师，我来回答一下这个问题。

在当前的大数据时代背景下，计算机相关专业受到了广泛的关注，也是当前的热门专业。软件开发专业主要涉及到三方面知识结构，分别是基础学科、计算机基础以及软件开发技术。

基础学科包括高数、线性代数、概率论、离散数学、物理、数电、模电等课程，其中数学是软件开发专业的重点课程，一定要引起足够的重视。数学不仅是计算机专业考研的必考内容，对于软件开发也具有重要的意义，因为软件开发问题说到底就是数学问题。如果想在软件开发的道路上有更好的发展，一定要有一个扎实的数学基础。

计算机基础课程包括操作系统体系结构、计算机网络、数据结构、算法设计、编译原理、编程语言、数据库等内容，这些课程都是非常重要的基础课，尤其是数据结构和算法设计。对于软件开发专业的学生来说，这些基础课将为以后的读研和工作打下扎实的基础。一个比较好的学习方法是在本科阶段读一下Linux操作系统的核心源代码，这样不仅能够系统的了解操作系统，也能够锻炼自己的编程能力。

软件开发技术则主要针对于当前流行的技术方向，比如Web开发、大数据开发、移动互联网开发等内容。不同的学校通常会有具体的细分方向，学生可以根据自身的知识结构和兴趣爱好进行选择。如果学习能力比较强，可以考虑一下大数据开发方向，当前正处在大数据落地应用的初期，所以未来大数据开发岗位会比较多，就业前景也比较值得期待。

如果有互联网方面的问题，或者考研方面的问题，都可以咨询我，谢谢！

1、一门编程语肢困言（C、C++、Java、php、Python、Html等），

2、熟悉一种操作系统（Windows、Unix、Linux/类Linux、Android、IOS等），

3、简单的算法和数据结构。

先确定你学习完软件开发后想从事的工作，比如 游戏 开发（LOL，吃鸡，手游等）；前端开发（网页、微信小 游戏 、Android/IOS APP等）；后台服务器，数据库（支撑前端运行的技术和数据）；嵌入式（驱动、单片机等）。

确定方向后，再选择相应的编程语言，如 游戏 开发（C++为主）；网站，小 游戏 （H5/CSS/js等）、Android（Java为主）；IOS（消饥禅Objective-C、switch）；后台服务器（Java、Python等）；数据库（MySQL、Oracle、SQL Server等）；嵌入式（C、汇编等）

如果选择学习Java，建议来我们学校实地拿尘考察。我们作为一个12年的老牌培训机构，专业只教Java语言，且有专业团队为不同学习需求的学员打造的不同课程，十几年未变，是学员们口口相传，靠谱的Java培训学校！找一家适合自己的培训机构主要看他的专业程度，口碑，师资力量还有课程，建议可以多找几家培训机构线下实地考察一下~而且现在成都也有分校啦！有意向的小伙伴可以前去一试~

如果你想成为一名java软件工程师，我给你整些具体的技术，掌握这些技术，你基本可以成为一名高级软件工程师了。别看回答者说到的什么人工智能，物联网，区块链什么的，相信我，一般软件开发根本用不到。我是一名5年经验的软件工程师，相信我。

jdbc、servlet、jsp、struts、hibernate、jpa、spring、springmvc、springboot、springcloud、mybatis、mysql、mongodb、maven、gradle、git、nginx、redis、memcache、bbo、zookeeper、tomcat、netty、jetty、kafka、docker、k8s、linux、hadoop、spark、hive、hdfs、hbase、sqoop、flume等。

掌握这些技术，然后再加强自己软技能的培养，沟通，协作等能力，你就算的上一名优秀的软件工程师了。

软件开发需要学习的东西很多，但也不是一天就学完，很多知识可能需要几个月、几年甚至十几年去学习。不过对于一个初学者来说，主要还是以掌握一两门语言、基本算法、一两种数据库为主，下面简单介绍一下。

一、语言。推荐Java、csharp、php或者Python。不建议C++，因为现在大多数是web项目，以上几种语言对于web开发非常合适。

二、算法。纯粹的算法学习不是很多，很多算法学习都融合到语言学习中。比如排序算法、过滤算法、搜索算法等等。在高级语言的列表、字典和数组类型，基本上都包含了这些算法。

三、数据库。目前中小型web项目的数据库以MySQL为多，所以建议学习MySQL，也有的公司使用sqlserver，有时间可以学一下，此外，移动端使用sqlite小型数据库，可以掌握一下。

除此之外，就是要了解一些编程调试的基本方法，也要了解一些实施部署的套路，就基本上可以应付一些开发工作了。

什么叫软件开发？就是通过计算机所识别的计算机语言来开发系统，从而解决生活，工作或者是学习中遇到的问题，更加的方便人们的工作和学习。

先学习一门编程语言，目前企业用的最多的就是Java了，很多企业的软件，系统，网站都是用Java来开发的。

以前学习Java是在“如鹏网”上学习的，有详细的教程和学习路线，可以作为参考。

1、Java基础，还是挺不错的，通过开发超级玛丽，飞机大战，吃金币，连连看，汤姆猫，电影的弹幕动画等来讲解Java的基础知识点，做出这些项目来还是蛮有成就感的

2、Java高级技术

3、web前端

4、Java web（核心阶段）

5、框架

6、企业项目实战

7、企业专题

有网络的地方就可以学习，根据自己的时间来灵活安排学习进度，每个章节的后面都有相应的练习和面试，需要通过录音的方式来进行提交，夯实基础，为面试做准备，有新的课程更新了，也是可以继续来学习的。

有需要相关Java教程的可在后台私信哦（备注：Java）。

一般大学的软件开发课程：面向对象程序设计、计算机组成原理、操作系统、数据结构、计算 机网络、软件工程、编译原理、分布式系统、软件项目管理、Oracle数据库系统等。

但是个人认为学习软件开发，除了以上那些课程，还需要大量的项目实战课，实战的最终目的是全面提高学生的职业素质，最终达到学生满意就业、企业满意用人的目的。合理的实战教育本应该是大学教育的一个重要组成部分，但是目前却成为了 社会 培训机构、企业内训的责任。对于学生来说，通过实站课程，一方面可以增加实践经验；另一方面，可以降低就业的成本和风险；增加就业的机会；实战教学是有一定理论基础的学生，在拥有多年实战经验老师的指导下，在真实条件下，最终达到企业的用人要求，并获得国家认可的职业资格证书的过程。所以实战课程在大学也应该是必不可少的。

当初再帮我弟弟找大学的时候，我看到一所学校的课程还是挺靠谱的，也就是现在他们的学校，以下是我在他们官网上面截下来的课程截图。

他们除了基础课以外，还有一些实战课程以及职业规划课，以前不觉得项目实战课有多重要，只是后来我弟弟在传智专修学院学习的时候，他们老师经常带他们做实战项目，完全模拟企业实际项目开发的场景，从项目经理到搭建项目架构到最后组合项目，每个人的开发经验都相当成熟，如果时间允许的话，他们甚至可以具备单独开发项目的能力，相对于当初计算机专业毕业的我来说，我当初毕业的时候写个网页都困难，更何况写项目，还得经过企业长时间的培养和锻炼才具备他们现在具备的能力。他们现在不管对于自身还是企业来说都是非常有利的，对于自身来说节省了中间的过程，对于企业来说节省了培养一个新人的成本。所以个人感觉实战课程还是挺重要的。

所以当你在选择学校的时候，可以多研究一下他们的课程设置，这是经验所得，希望可以帮助到你。

如果只是为了开发某一个小软件，达到某一个功能的话，还不如找人家给你做了，花点钱就能解决了，不需要花费大量时间学习。如果是为了从事软件开发的话，建议学习python 网上教程多，简单易入门。

软件开发是一个广义的概念，其中包含了很多技术方向，如前端和后端，而前端又可以细分为UE、UI、前端程序员，后端也可以细分为java、php、C#、GO、Ruby、C、C++、Python等。而目前人数最多且比较容易就业的就应该是java后端开发人员了，而我也是一名java后端开发人员，所以具体介绍下如果想要做一名java开发，需要学哪些技术。

满足以上几点，你已经是一名合格的初级开发人员了，其他的包括技术和业务就需要在工作中慢慢的积累了。

以上为个人观点，欢迎在评论中发表自己不同的观点，喜欢的加个关注，谢谢。

现在小学已经开始教授软件开发的相关课程了，所以掌握软件开发在未来 社会 发展中占据着重要的地位，如果之前没有软件开发的相关学习自学起来还是有些麻烦的，不同的程序语言学习路线是不同的，单纯从掌握语言的角度看一般可以这么开始学习：

1）找一本好的学习教材。建议最好是纸质的，虽然现在网络上各种资料比较容易找到，但是书上写的一般还是比较系统和基础的。从最初的开发环境配置到一些简单的项目开发都会有关键代码提供，这样学习起来会比较直接。现在视频教育网站也很多，也可以看视频学习。只不过在一段视频和多个视频之间切换时没有翻书那么方便。

2）准备一台电脑。软件开发最关键的是实际动手的能力，它比机械，建筑等行业好的太多，一个人在家坐着就可以实际动手操作积累项目经验。按照教材从最基础的开发环境配置到基础语言熟悉再到简单项目实践，教材中的代码都自己敲过一遍并且正确运行过，这样就可以算是基础软件开发了。

3）找技术论坛，公众号。在看书的过程中总会遇到一时理解不了的问题，这个时候就要去专门的论坛找答案了，这个也是培养自己解决问题的能力，是软件开发人员的基础能力，通常高级开发人员并不是什么都懂，只不过他们知道解决问题的技巧能比别人更快的解决问题。

4）多于同道中人沟通，他们也会介绍自己的学习方法和学习经历，这样可以减少自己走弯路的代价，同时也锻炼了自己的表达能力，是掌握知识的有效捷径。

当一门开发语言学习的差不多了可以再学习数据库相关知识，操作系统相关知识，软件开发不是单独的程序语言学习，还包括了很多其它计算机知识的学习。希望有自学软件开发的小伙伴都能有恒心和毅力坚持下来。

❽ 大数据分析应该掌握哪些基础知识

Java基础语法

· 分支结构if/switch

· 循环结构for/while/do while

· 方法声明和调用

· 方法重载

· 数组的使用

· 命令行参数、可变参数

IDEA

· IDEA常用设置、常用快捷键

· 自定义模板

· 关联Tomcat

· Web项目案例实操

面向对象编程

· 封装、继承、多态、构造器、包

· 异常处理机制

· 抽象类、接口、内部类

· 常有基础API、集合List/Set/Map

· 泛型、线程的创建和启动

· 深入集合源码分析、常见数据结构解析

· 线程的安全、同步和通信、IO流体系

· 反射、类的加载机制、网络编程

Java8/9/10/11新特性

· Lambda表达式、方法引用

· 构造器引用、StreamAPI

· jShell(JShell)命令

· 接口的私有方法、Optional加强

· 局部变量的类型推断

· 更简化的编译运行程序等

MySQL

· DML语言、DDL语言、DCL语言

· 分组查询、Join查询、子查询、Union查询、函数

· 流程控制语句、事务的特点、事务的隔离级别等

JDBC

· 使用JDBC完成数据库增删改查操作

· 批处理的操作

· 数据库连接池的原理及应用

· 常见数据库连接池C3P0、DBCP、Druid等

Maven

· Maven环境搭建

· 本地仓库&中央仓库

· 创建Web工程

· 自动部署

· 持续继承

· 持续部署

Linux

· VI/VIM编辑器

· 系统管理操作&远程登录

· 常用命令

· 软件包管理&企业真题

Shell编程

· 自定义变量与特殊变量

· 运算符

· 条件判断

· 流程控制

· 系统函数&自定义函数

· 常用工具命令

· 面试真题

Hadoop

· Hadoop生态介绍

· Hadoop运行模式

· 源码编译

· HDFS文件系统底层详解

· DN&NN工作机制

· HDFS的API操作

· MapRece框架原理

· 数据压缩

· Yarn工作机制

· MapRece案例详解

· Hadoop参数调优

· HDFS存储多目录

· 多磁盘数据均衡

· LZO压缩

· Hadoop基准测试

Zookeeper

· Zookeeper数据结果

· 内部原理

· 选举机制

· Stat结构体

· 监听器

· 分布式安装部署

· API操作

· 实战案例

· 面试真题

· 启动停止脚本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架构原理

· 安装部署

· 远程连接

· 常见命令及基本数据类型

· DML数据操作

· 查询语句

· Join&排序

· 分桶&函数

· 压缩&存储

· 企业级调优

· 实战案例

· 面试真题

Flume

· Flume架构

· Agent内部原理

· 事务

· 安装部署

· 实战案例

· 自定义Source

· 自定义Sink

· Ganglia监控

Kafka

· 消息队列

· Kafka架构

· 集群部署

· 命令行操作

· 工作流程分析

· 分区分配策略

· 数据写入流程

· 存储策略

· 高阶API

· 低级API

· 拦截器

· 监控

· 高可靠性存储

· 数据可靠性和持久性保证

· ISR机制

· Kafka压测

· 机器数量计算

· 分区数计算

· 启动停止脚本

DataX

· 安装

· 原理

· 数据一致性

· 空值处理

· LZO压缩处理

Scala

· Scala基础入门

· 函数式编程

· 数据结构

· 面向对象编程

· 模式匹配

· 高阶函数

· 特质

· 注解&类型参数

· 隐式转换

· 高级类型

· 案例实操

Spark Core

· 安装部署

· RDD概述

· 编程模型

· 持久化&检查点机制

· DAG

· 算子详解

· RDD编程进阶

· 累加器&广播变量

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定义UDF&UDAF函数

Spark Streaming

· SparkStreaming

· 背压机制原理

· Receiver和Direct模式原理

· Window原理及案例实操

· 7x24 不间断运行&性能考量

Spark内核&优化

· 内核源码详解

· 优化详解

Hbase

· Hbase原理及架构

· 数据读写流程

· API使用

· 与Hive和Sqoop集成

· 企业级调优

Presto

· Presto的安装部署

· 使用Presto执行数仓项目的即席查询模块

Ranger2.0

· 权限管理工具Ranger的安装和使用

Azkaban3.0

· 任务调度工具Azkaban3.0的安装部署

· 使用Azkaban进行项目任务调度，实现电话邮件报警

Kylin3.0

· Kylin的安装部署

· Kylin核心思想

· 使用Kylin对接数据源构建模型

Atlas2.0

· 元数据管理工具Atlas的安装部署

Zabbix

· 集群监控工具Zabbix的安装部署

DolphinScheler

· 任务调度工具DolphinScheler的安装部署

· 实现数仓项目任务的自动化调度、配置邮件报警

Superset

· 使用SuperSet对数仓项目的计算结果进行可视化展示

Echarts

· 使用Echarts对数仓项目的计算结果进行可视化展示

Redis

· Redis安装部署

· 五大数据类型

· 总体配置

· 持久化

· 事务

· 发布订阅

· 主从复制

Canal

· 使用Canal实时监控MySQL数据变化采集至实时项目

Flink

· 运行时架构

· 数据源Source

· Window API

· Water Mark

· 状态编程

· CEP复杂事件处理

Flink SQL

· Flink SQL和Table API详细解读

Flink 内核

· Flink内核源码讲解

· 经典面试题讲解

Git&GitHub

· 安装配置

· 本地库搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安装部署

· 读写机制

· 数据类型

· 执行引擎

DataV

· 使用DataV对实时项目需求计算结果进行可视化展示

sugar

· 结合Springboot对接网络sugar实现数据可视化大屏展示

Maxwell

· 使用Maxwell实时监控MySQL数据变化采集至实时项目

ElasticSearch

· ElasticSearch索引基本操作、案例实操

Kibana

· 通过Kibana配置可视化分析

Springboot

· 利用Springboot开发可视化接口程序

❾ hive1和hive2的区别

1．用户接口：Client
CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

2．元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

3．Hadoop
使用HDFS进行存储，使用MapRece进行计算。

4．驱动器：Driver
（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。
（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。
（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapRece，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

二：Hive的作用和优势：
基于Hadoop的数据仓库解决方案
Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为数据库表。

提供类sql的查询语言HQL(Hive Query Language)

数据不放在hive上，放在HDFS上

由Facebook开源用于解决海量结构化日志的数据统计。

执行程序运行在Yarn上

优势：
提供了简单的优化模型

HQL类sql语法，简化MR开发

支持在HDFS和HBase上临时查询数据

支持用户自定义函数，格式

成熟JDBC和ODBC驱动程序，用于ETL和BI

稳定可靠的批处理

支持在不同计算框架运行

缺点：
Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合

迭代式算法无法表达

数据挖掘方面不擅长

Hive自动生成的MapRece作业，通常情况下不够智能化

Hive调优比较困难，粒度较粗