ambariweb源码编译

㈠ Hadoop到底是什么玩意

Hadoop到底是个啥？
答：Hadoop是基于廉价设备利用集群的威力对海量数据进行安全存储和高效计算的分布式存储和分析框架，Hadoop本身是一个庞大的项目家族，其核心 家族或者底层是HDFS和MapRece，HDFS和MapRece分别用来实现对海量数据的存储和分析，其它的项目，例如Hive、HBase 等都是基于HDFS和MapRece，是为了解决特定类型的大数据处理问题而提出的子项目，使用Hive、HBase等子项目可以在更高的抽象的基础上更简单的编写分布式大数据处理程序。Hadoop的其它子项目还包括Common, Avro, Pig, ZooKeeper, Sqoop, Oozie 等，随着时间的推移一些新的子项目会被加入进来，一些关注度不高的项目会被移除Hadoop家族，所以Hadoop是一个充满活力的系统。
Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapRece分布式计算的软件架构。
Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapRece统计，不必开发专门的MapRece应用，十分适合数据仓库的统计分析。
ApachePig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapRece运算。
ApacheHBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务 ApacheMahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapRece实现了部分数据挖掘算法，解决了并行挖掘的问题。
ApacheCassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与AmazonDynamo的完全分布式的架构于一身 Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制 ApacheAmbari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
ApacheChukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供Hadoop 进行各种 MapRece 操作。
ApacheHama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
ApacheFlume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
ApacheGiraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和Google 的 Pregel。
ApacheOozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapRece）的任务。
ApacheCrunch: 是基于Google的Flumejava库编写的Java库，用于创建MapRece程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库 ApacheWhirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
ApacheBigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
ApacheHCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
ClouderaHue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapRece/YARN, HBase, Hive, Pig的web化操作和管理。

㈡ Docker的mysql集群节点可以正常创建，但无法正常连接到宿主机的mysql应该如何解决

Ambari是Apache的开源项目，它帮助用户在GUI页面上简单的部署、管理、监控Hadoop集群环境。Ambari支持的Hadoop组件包括HDFS、Hive、HBase、Spark、Yarn等，HortonWorks官方也是采用Ambari来完成自家HDP套件的安装、管理及监控的。除了预置的组件之外，Ambari还支持自定义组件的安装，同时，支持RESTful的API，继而可以通过命令行等方式调用Ambari来完成一些自动化的任务。

本文共分为两部分，第一部分介绍如何在Docker虚拟化环境中部署Ambari；第二部分介绍如何基于Ambari来部署和管理Hadoop集群。

### 环境信息
* Docker发行版：Docker for Mac
* Docker版本：17.06.2-ce
* Docker容器OS：Ubuntu 14.04
* Ambari版本：2.5.2.0

Docker环境准备

• 拉取Docker镜像：在宿主机上执行命令docker pull ubuntu:14.04从远端仓库中获取Ubuntu的镜像，也可以获取其他OS的镜像，本文以Ubuntu为例

• 启动Docker容器：执行如下命令，以ubuntu:14.04镜像为基础启动容器：
  docker run -itd --name ambari_new -p 8080:8080 -p 3306:3306 -v /Users/yuxiaolei/Workspace/dockerShared:/dockerShared ubuntu:14.04 /bin/bash

由于Ambari启动Web程序的时候占用8080端口，因此要从Docker宿主机上访问Ambari页面，需要通过参数 -p 来制定端口映射；
作为新手，笔者在容器内部署好Ambari之后，才发现Web页面的8080端口和MySQL的3306端口（可选）没有暴露给Docker宿主机，也就没法从宿主机上通过浏览器来登陆Ambari，因此必须想办法在已有容器上开放端口。

有两个方法：
1）如果宿主机为Linux系统，则修改iptables防火墙来指定端口映射规则；
2）如果是非Linux系统，可以将已装Ambari的容器commit为新的镜像，再基于该镜像创建新的容器。此时，就可以在docker run命令中添加参数 -p 来指定端口映射了。

还有一个问题，Ambari将其数据存储在数据库中，支持MySQL、PostgreSQL等数据库；容器内安装MySQL之后，基于上一步创建的新容器里，会发现MySQL启动不起来，执行命令/etc/init.d/mysql restart启动失败，在/var/log/mysql/error.log日志文件中打印有170802 14:02:59 [ERROR] Fatal error: Can't open and lock privilege tables: Got error 140 from storage engine的错误，经过网上查资料，需要在创建容器的时候添加参数-v /var/lib/mysql将MySQL数据存储路径声明为数据卷，即可解决问题。
启动容器之后，执行命令docker exec -it ambari /bin/bash进入容器内部。

Ambari安装

• 配置Ubuntu的软件仓库源：
  国内建议采用阿里云的软件源，在root账号下用vim打开/etc/apt/sources.list文件，删除文件所有内容，粘贴如下内容：

  deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
  deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
  deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
  deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
  deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
  deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
  

  执行命令apt-get update完成软件列表更新

• 安装Ambari所依赖的软件

  apt-get install software-properties-common
  sudo add-apt-repository ppa:webupd8team/java
  sudo apt-get update
  sudo apt-get install oracle-java8-installer
  sudo apt-get install oracle-java8-set-default
  完成安装之后，在 ~/.bashrc 文件末尾添加命令 `export JAVA_HOME=/usr/lib/jvm/java-8-oracle ` 以配置JAVA\_HOME 环境变量。
  create database ambari;use ambari;GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root_password' WITH GRANT OPTION;FLUSH PRIVILEGES;exit;
  由于Ambari的数据存储在MySQL数据库中，这里为Ambari单独创建了database，并为其赋了完全控制权限；说明：假设MySQL数据库root用户的密码为：root\_password
  修改 `/etc/mysql/my.conf`，将`skip-external-locking`注释掉，并确保 `bind-address = 0.0.0.0` 配置，以使MySQL可被远程主机访问。
  执行命令`/etc/init.d/mysql restart`重启MySQL 服务。
  

• 时间同步服务器ntp：执行命令apt-get install ntp安装ntp时间同步服务器，以便于集群环境中各节点的时钟一致；执行命令sudo service ntp restart重启ntp服务。

• MySQL：执行命令apt-get install mysql-server安装MySQL服务器，安装完成后执行命令mysql -uroot -proot进入MySQL客户端，执行如下SQL代码：

• Oracle JDK：逐条执行如下命令，以添加WebUpd8团队（https://launchpad.net/~webupd8team/+archive/ubuntu/java）提供的Oracle JDK仓库源，并从该仓库安装JDK：

• 下载Ambari仓库文件

• 进入cd /etc/apt/sources.list.d目录，执行命令wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0/ambari.list从HortonWorks仓库中下载Ambari源文件，下载后切勿修改list文件名；

• 执行命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD以信任远端仓库的GPG签名

• 执行命令apt-get update更新Ambari软件源

• 执行命令apt-get install ambari安装Ambari套件，由于软件包较大（700多MB），这里情耐心等待，不过apt-get支持断点下载，网络终端后重新执行命令时不会从零开始下载

• 配置Ambari：

• 执行命令mysql -uroot -proot进入MySQL客户端，执行命令source ambari进入ambari的数据库，并执行命令source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql来完成Ambari的数据库表初始化操作；

• 执行命令ambari-server setup启动Ambari的引导式配置操作，根据指导做配置即可。需要注意的是，JDK不要选择由Ambari从网络下载，应该选择自定义路径，然后输入/usr/lib/jvm/java-8-oracle即可；

• 启动Ambari：执行命令ambari-server start，启动日志存储路径为/var/log/ambari-server/ambari-server.log

• 启动之后，由于我们之前做了Docker容器的端口映射，因此可以在宿主机上打开浏览器输入http://localhost:8080即可访问Ambari登陆页面

• 登陆用户名和密码均为admin，登陆之后就可以看到Ambari的首页了，如下图：
  {% asset_img

㈢ 做大数据分析一般用什么工具呢

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

㈣ 大数据分析一般用什么工具呢

虽然数据分析的工具千万种，综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。

• Python

Python，是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。

常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

• R软件

R是一套完整的数据处理、计算和制图软件系统。它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。

• SPSS

SPSS是世界上最早的统计分析软件，具有完整的数据输入、编辑、统计分析、报表、图形制作等功能，能够读取及输出多种格式的文件。

• Excel

可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。


• SAS软件

SAS把数据存取、管理、分析和展现有机地融为一体。提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程，几乎囊括了所有最新分析方法，其分析技术先进，可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。

㈤ 大数据分析一般用什么工具分析

在大数据处理分析过程中常用的六大工具：

Hadoop
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

HPCC
HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

Storm
Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。

Apache Drill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.
据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

Pentaho BI
Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

㈥ ambari 这个能二次开发成中文版吗

可以的，两种方法
（1）你可以修改源码中的ambari-web---->app---->messages.js，将messages.js 中对应的地方翻译成中文即可。
（2）你可以使用ftp 工具进入将你安装好的ambari服务的/usr/lib/ambari-server/web/javascript/app.js文件下载到你本地。使用编辑工具打开，然后找到Em.I18n.translations 这个节点，然后翻译对应的英文。大概在58237行的地方，然后将文件替换回去，重启ambari

㈦ 大数据分析一般用什么工具分析

大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。

大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

一、Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop
是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop
还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Pentaho BI 平台，Pentaho Open BI
套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI
平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI
平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过
J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。
Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho
SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的
Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为
Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;

Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE
服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

七、Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

八、Ambari

大数据平台搭建、监控利器;类似的还有CDH

1、提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。

Ambari处理集群Hadoop服务的配置。

2、管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

3、监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

九、Spark

大规模数据处理框架(可以应付企业中常见的三种数据处理场景：复杂的批量数据处理(batch data
processing);基于历史数据的交互式查询;基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

十、Tableau Public

1、什么是Tableau Public - 大数据分析工具

这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau
Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。

2、Tableau Public的使用

您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau
Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。

3、Tableau Public的限制

所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。

十一、OpenRefine

1、什么是OpenRefine - 数据分析工具

以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。

2、OpenRefine的使用

清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。

3、OpenRefine的局限性

Open Refine不适用于大型数据集;精炼对大数据不起作用

十二、KNIME

1、什么是KNIME - 数据分析工具

KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。

2、KNIME的用途

不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R
。

3、KNIME的限制

数据可视化不佳

十三、Google Fusion Tables

1、什么是Google Fusion Tables

对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google
Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一。

2、使用Google Fusion Tables

在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起;您可以合并两个或三个表以生成包含数据集的单个可视化;

3、Google Fusion Tables的限制

表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。

十四、NodeXL

1、什么是NodeXL

它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。

2、NodeXL的用途

这是Excel中的一种数据分析工具，可帮助实现以下方面：

数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel
2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek
.net，UCINet .dl，GraphML和边缘列表。

3、NodeXL的局限性

您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。

十五、Wolfram Alpha

1、什么是Wolfram Alpha

它是Stephen Wolfram创建的计算知识引擎或应答引擎。

2、Wolfram Alpha的使用

是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。

3、Wolfram Alpha的局限性

Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?

十六、Google搜索运营商

1、什么是Google搜索运营商

它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。

2、Google搜索运算符的使用

更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。

十七、Excel解算器

1、什么是Excel解算器

Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft
Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。

2、求解器的使用

Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。

3、求解器的局限性

不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;

十八、Dataiku DSS

1、什么是Dataiku DSS

这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。

2、Dataiku DSS的使用

Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。

3、Dataiku DSS的局限性

有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成

以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：

1、前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft
Power BI, Oracle,Microstrategy,QlikView、 Tableau 。

国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。

2、数据仓库

有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

3、数据集市

有QlikView、 Tableau 、Style Intelligence等等。