遗传算法excel

‘壹’ 大数据分析,大数据开发,数据挖掘 所用到技术和工具

大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。

大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

一、Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3、高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

十、Tableau Public

1、什么是Tableau Public -大数据分析工具

这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。

2、Tableau Public的使用

您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。

3、Tableau Public的限制

所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。

十一、OpenRefine

1、什么是OpenRefine - 数据分析工具

以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。

2、OpenRefine的使用

清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。

3、OpenRefine的局限性

Open Refine不适用于大型数据集;精炼对大数据不起作用

十二、KNIME

1、什么是KNIME - 数据分析工具

KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。

2、KNIME的用途

不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R 。

3、KNIME的限制

数据可视化不佳

十三、Google Fusion Tables

1、什么是Google Fusion Tables

对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一，大数据分析十八般工具。

2、使用Google Fusion Tables

在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起；您可以合并两个或三个表以生成包含数据集的单个可视化;

3、Google Fusion Tables的限制

表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。

十四、NodeXL

1、什么是NodeXL

它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。

2、NodeXL的用途

这是Excel中的一种数据分析工具，可帮助实现以下方面：

数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel 2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek .net，UCINet .dl，GraphML和边缘列表。

3、NodeXL的局限性

您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。

十五、Wolfram Alpha

1、什么是Wolfram Alpha

它是Stephen Wolfram创建的计算知识引擎或应答引擎。

2、Wolfram Alpha的使用

是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。

3、Wolfram Alpha的局限性

Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?

十六、Google搜索运营商

1、什么是Google搜索运营商

它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。

2、Google搜索运算符的使用

更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。

十七、Excel解算器

1、什么是Excel解算器

Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。

2、求解器的使用

Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。

3、求解器的局限性

不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;

十八、Dataiku DSS

1、什么是Dataiku DSS

这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。

2、Dataiku DSS的使用

Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。

3、Dataiku DSS的局限性

有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成

以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：

1、前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。

国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。

2、数据仓库

有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

3、数据集市

有QlikView、 Tableau 、Style Intelligence等等。

当然学大数据分析也有很多坑：

《转行大数据分析师后悔了》、《零基础学大数据分析现实吗》、《大数据分析培训好就业吗》、《转行大数据分析必知技能》

‘贰’ matlab6.5+gaot工具箱和matlab7.0自带工具箱的效果一样吗

matlab7.0自带的工具箱版本未必都是7.0，我的这台电脑装的也是6.5，看看它的版本吧。
-------------------------------------------------------------------------------------
MATLAB Version 6.5.0.180913a (R13)
MATLAB License Number: 0
Operating System: Microsoft Windows 98 Version 4.10 (Build 2222: A )
Java VM Version: Java 1.3.1_01 with Sun Microsystems Inc. Java HotSpot(TM) Client VM
-------------------------------------------------------------------------------------
MATLAB Version 6.5 (R13)
Simulink Version 5.0 (R13)
Aerospace Blockset Version 1.0.1 (R13)
CDMA Reference Blockset Version 1.1 (R13)
Communications Blockset Version 2.5 (R13)
Communications Toolbox Version 2.1 (R13)
Control System Toolbox Version 5.2 (R13)
Curve Fitting Toolbox Version 1.1 (R13)
DSP Blockset Version 5.0 (R13)
Data Acquisition Toolbox Version 2.2 (R13)
Database Toolbox Version 2.2.1 (R13)
Datafeed Toolbox Version 1.3.1 (R13)
Dials & Gauges Blockset Version 1.1.2 (R13)
Embedded Target for Motorola MPC555 Version 1.0.1 (R13)
Embedded Target for Texas Instrumen... Version 1.0 (R13)
Excel Link Version 2.0 (R13)
Filter Design Toolbox Version 2.2 (R13)
Financial Derivatives Toolbox Version 2.0 (R13)
Financial Time Series Toolbox Version 2.0 (R13)
Financial Toolbox Version 2.2.1 (R13)
Fixed-Point Blockset Version 4.0 (R13)
Fuzzy Logic Toolbox Version 2.1.2 (R13)
GARCH Toolbox Version 1.0.2 (R13)
Image Processing Toolbox Version 3.2 (R13)
Instrument Control Toolbox Version 1.2 (R13)
LMI Control Toolbox Version 1.0.8 (R13)
MATLAB COM Builder Version 1.0 (R13)
MATLAB Compiler Version 3.0 (R13)
MATLAB Excel Builder Version 1.1 (R13)
MATLAB Link for Code Composer Studi... Version 1.0 (R13)
MATLAB Report Generator Version 1.3 (R13)
MATLAB Runtime Server Development Kit Version 6.1.1 (R13)
Mapping Toolbox Version 1.3 (R13)
Model Predictive Control Toolbox Version 1.0.7 (R13)
Model-Based Calibration Toolbox Version 1.1 (R13)
Mu-Analysis and Synthesis Toolbox Version 3.0.7 (R13)
Neural Network Toolbox Version 4.0.2 (R13)
Nonlinear Control Design Blockset Version 1.1.6 (R13)
Optimization Toolbox Version 2.2 (R13)
Partial Differential Equation Toolbox Version 1.0.4 (R13)
Real-Time Windows Target Version 2.2 (R13)
Real-Time Workshop Version 5.0 (R13)
Real-Time Workshop Embedded Coder Version 3.0 (R13)
Requirements Management Interface Version 1.0.4 (R13)
Robust Control Toolbox Version 2.0.9 (R13)
SB2SL (converts SystemBuild to Simu... Version 2.5 (R13)
Signal Processing Toolbox Version 6.0 (R13)
SimMechanics Version 1.1 (R13)
SimPowerSystems Version 2.3 (R13)
Simulink Performance Tools Version 1.2 (R13)
Simulink Report Generator Version 1.3 (R13)
Spline Toolbox Version 3.1.1 (R13)
Stateflow Version 5.0 (R13)
Stateflow Coder Version 5.0 (R13)
Statistics Toolbox Version 4.0 (R13)
Symbolic Math Toolbox Version 2.1.3 (R13)
System Identification Toolbox Version 5.0.2 (R13)
Virtual Reality Toolbox Version 3.0 (R13)
Wavelet Toolbox Version 2.2 (R13)
xPC Target Version 2.0 (R13)
xPC Target Embedded Option Version 2.0 (R13)

所以，不要迷信新版本，够用就行。
以下是2006b版本的。
>> ver
-------------------------------------------------------------------------------------
MATLAB Version 7.3.0.267 (R2006b)
MATLAB License Number: 32684
Operating System: Microsoft Windows XP Version 5.1 (Build 2600: Service Pack 2)
Java VM Version: Java 1.5.0 with Sun Microsystems Inc. Java HotSpot(TM) Client VM mixed mode
-------------------------------------------------------------------------------------
MATLAB Version 7.3 (R2006b)
Simulink Version 6.5 (R2006b)
Aerospace Blockset Version 2.2 (R2006b)
Aerospace Toolbox Version 1.0 (R2006b)
Bioinformatics Toolbox Version 2.4 (R2006b)
Communications Blockset Version 3.4 (R2006b)
Communications Toolbox Version 3.4 (R2006b)
Control System Toolbox Version 7.1 (R2006b)
Curve Fitting Toolbox Version 1.1.6 (R2006b)
Data Acquisition Toolbox Version 2.9 (R2006b)
Database Toolbox Version 3.2 (R2006b)
Datafeed Toolbox Version 1.9 (R2006b)
Distributed Computing Toolbox Version 3.0 (R2006b)
Embedded Target for Infineon C166 Microcontrollers Version 1.3 (R2006b)
Embedded Target for Motorola HC12 Version 1.1.5 (R2006b)
Embedded Target for Motorola MPC555 Version 2.0.5 (R2006b)
Embedded Target for TI C2000 DSP(tm) Version 2.1 (R2006b)
Embedded Target for TI C6000 DSP(tm) Version 3.1 (R2006b)
Excel Link Version 2.4 (R2006b)
Extended Symbolic Math Toolbox Version 3.1.5 (R2006b)
Filter Design HDL Coder Version 1.5 (R2006b)
Filter Design Toolbox Version 4.0 (R2006b)
Financial Derivatives Toolbox Version 4.1 (R2006b)
Financial Toolbox Version 3.1 (R2006b)
Fixed-Income Toolbox Version 1.2 (R2006b)
Fixed-Point Toolbox Version 1.5 (R2006b)
Fuzzy Logic Toolbox Version 2.2.4 (R2006b)
GARCH Toolbox Version 2.3 (R2006b)
Gauges Blockset Version 2.0.4 (R2006b)
Genetic Algorithm and Direct Search Toolbox Version 2.0.2 (R2006b)
Image Acquisition Toolbox Version 2.0 (R2006b)
Image Processing Toolbox Version 5.3 (R2006b)
Instrument Control Toolbox Version 2.4.1 (R2006b)
Link for Code Composer Studio Version 2.1 (R2006b)
Link for ModelSim Version 2.1 (R2006b)
Link for TASKING Version 1.0.1 (R2006b)
MATLAB Builder for .NET Version 2.1 (R2006b)
MATLAB Builder for Excel Version 1.2.7 (R2006b)
MATLAB Builder for Java Version 1.0 (R2006b)
MATLAB Compiler Version 4.5 (R2006b)
MATLAB Distributed Computing Engine Version 3.0 (R2006b)
MATLAB Report Generator Version 3.1 (R2006b)
Mapping Toolbox Version 2.4 (R2006b)
Model Predictive Control Toolbox Version 2.2.3 (R2006b)
Model-Based Calibration Toolbox Version 3.1 (R2006b)
Neural Network Toolbox Version 5.0.1 (R2006b)
OPC Toolbox Version 2.0.3 (R2006b)
Optimization Toolbox Version 3.1 (R2006b)
Partial Differential Equation Toolbox Version 1.0.9 (R2006b)
RF Blockset Version 1.3.1 (R2006b)
RF Toolbox Version 2.0 (R2006b)
Real-Time Windows Target Version 2.6.2 (R2006b)
Real-Time Workshop Version 6.5 (R2006b)
Real-Time Workshop Embedded Coder Version 4.5 (R2006b)
Robust Control Toolbox Version 3.1.1 (R2006b)
Signal Processing Blockset Version 6.4 (R2006b)
Signal Processing Toolbox Version 6.6 (R2006b)
SimBiology Version 2.0.1 (R2006b)
SimDriveline Version 1.2.1 (R2006b)
SimEvents Version 1.2 (R2006b)
SimHydraulics Version 1.1 (R2006b)
SimMechanics Version 2.5 (R2006b)
SimPowerSystems Version 4.3 (R2006b)
Simulink Accelerator Version 6.5 (R2006b)
Simulink Control Design Version 2.0.1 (R2006b)
Simulink Fixed Point Version 5.3 (R2006b)
Simulink HDL Coder Version 1.0 (R2006b)
Simulink Parameter Estimation Version 1.1.4 (R2006b)
Simulink Report Generator Version 3.1 (R2006b)
Simulink Response Optimization Version 3.1 (R2006b)
Simulink Verification and Validation Version 2.0 (R2006b)
Spline Toolbox Version 3.3.1 (R2006b)
Stateflow Version 6.5 (R2006b)
Stateflow Coder Version 6.5 (R2006b)
Statistics Toolbox Version 5.3 (R2006b)
Symbolic Math Toolbox Version 3.1.5 (R2006b)
System Identification Toolbox Version 6.2 (R2006b)
SystemTest Version 1.0.1 (R2006b)
Video and Image Processing Blockset Version 2.2 (R2006b)
Virtual Reality Toolbox Version 4.4 (R2006b)
Wavelet Toolbox Version 3.1 (R2006b)
xPC Target Version 3.1 (R2006b)
xPC Target Embedded Option Version 3.1 (R2006b)

Trademarks
------------------
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, and xPC
TargetBox are registered trademarks of The MathWorks, Inc. Other proct or
brand names are trademarks or registered trademarks of their respective holders.

可以看出，有些是升级的，有些还是以前版本的。