智能算法的经历

‘壹’ 人工智能之进化算法

进化计算的三大分支包括：遗传算法(Genetic Algorithm ，简称GA)、进化规划(Evolu-tionary Programming，简称EP)和进化策略(Evolution Strategies ，简称ES)。这三个分支在算法实现方面具有一些细微的差别，但它们具有一个共同的特点，即都是借助生物进化的思想和原理来解决实际问题。

遗传算法是一类通过模拟生物界自然选择和自然遗传机制的随机化搜索算法，由美国Holand J教授于1975年首次提出。它是利用某种编码技术作用于称为染色体的二进制数串，其基本思想是模拟由这些串组成的种群的进化过程，通过有组织的、然而是随机的信息交换来重新组合那些适应性好的串。遗传算法对求解问题的本身一无所知，它所需要的仅是对算法所产生的每个染色体进行评价，并根据适应性来选择染色体，使适应性好的染色体比适应性差的染色体有更多的繁殖机会。遗传算法尤其适用于处理传统搜索方法难于解决的复杂的非线性问题，可广泛用于组合优化、机器学习、自适应控制、规划设计和人工生命等领域，是21世纪有关智能计算中的关键技术之一。

1964年，由德国柏林工业大学的RechenbergI等人提出。在求解流体动力学柔性弯曲管的形状优化问题时，用传统的方法很难在优化设计中描述物体形状的参数，然而利用生物变异的思想来随机地改变参数值并获得了较好效果。随后，他们便对这种方法进行了深入的研究和发展，形成了进化计算的另一个分支——进化策略。

进化策略与遗传算法的不同之处在于：进化策略直接在解空间上进行操作，强调进化过程中从父体到后代行为的自适应性和多样性，强调进化过程中搜索步长的自适应性调节;而遗传算法是将原问题的解空间映射到位串空间之中，然后再施行遗传操作，它强调个体基因结构的变化对其适应度的影响。

进化策略主要用于求解数值优化问题。

进化规划的方法最初是由美国人Fogel LJ等人在20世纪60年代提出的。他们在人工智能的研究中发现，智能行为要具有能预测其所处环境的状态，并按照给定的目标做出适当的响应的能力。在研究中，他们将模拟环境描述成是由有限字符集中符号组成的序列。

进化算法与传统的算法具有很多不同之处，但其最主要的特点体现在下述两个方面：

进化计算的智能性包括自组织、自适应和自学习性等。应用进化计算求解问题时，在确定了编码方案、适应值函数及遗传算子以后，算法将根据“适者生存、不适应者淘汰"的策略，利用进化过程中获得的信息自行组织搜索，从而不断地向最佳解方向逼近。自然选择消除了传统算法设计过程中的-一个最大障碍：即需要事先描述问题的全部特点，并说明针对问题的不同特点算法应采取的措施。于是，利用进化计算的方法可以解决那些结构尚无人能理解的复杂问题。

进化计算的本质并行性表现在两个方面：

一是进化计算是内在并行的，即进化计算本身非常适合大规模并行。

二是进化计算的内含并行性，由于进化计算采用种群的方式组织搜索，从而它可以同时搜索解空间内的多个区域，并相互交流信息，这种搜索方式使得进化计算能以较少的计算获得较大的收益。

‘贰’ 人工智能算法简介

人工智能的三大基石—算法、数据和计算能力，算法作为其中之一，是非常重要的，那么人工智能都会涉及哪些算法呢？不同算法适用于哪些场景呢？

一、按照模型训练方式不同可以分为监督学习（Supervised Learning），无监督学习（Unsupervised Learning）、半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）四大类。

常见的监督学习算法包含以下几类：
（1）人工神经网络（Artificial Neural Network）类：反向传播（Backpropagation）、波尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network）、Hopfield网络（hopfield Network）、多层感知器（Multilyer Perceptron）、径向基函数网络（Radial Basis Function Network，RBFN）、受限波尔兹曼机（Restricted Boltzmann Machine）、回归神经网络（Recurrent Neural Network，RNN）、自组织映射（Self-organizing Map，SOM）、尖峰神经网络（Spiking Neural Network）等。
（2）贝叶斯类（Bayesin）：朴素贝叶斯（Naive Bayes）、高斯贝叶斯（Gaussian Naive Bayes）、多项朴素贝叶斯（Multinomial Naive Bayes）、平均-依赖性评估（Averaged One-Dependence Estimators，AODE）
贝叶斯信念网络（Bayesian Belief Network，BBN）、贝叶斯网络（Bayesian Network，BN）等。
（3）决策树（Decision Tree）类：分类和回归树（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自动交互检测（Chi-squared Automatic Interaction Detection，CHAID）、决策残端（Decision Stump）、ID3算法（ID3 Algorithm）、随机森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）线性分类器（Linear Classifier）类：Fisher的线性判别（Fisher’s Linear Discriminant）
线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项逻辑回归（Multionmial Logistic Regression）、朴素贝叶斯分类器（Naive Bayes Classifier）、感知（Perception）、支持向量机（Support Vector Machine）等。

常见的无监督学习类算法包括：
（1） 人工神经网络（Artificial Neural Network）类：生成对抗网络（Generative Adversarial Networks，GAN），前馈神经网络（Feedforward Neural Network）、逻辑学习机（Logic Learning Machine）、自组织映射（Self-organizing Map）等。
（2） 关联规则学习（Association Rule Learning）类：先验算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。
（3）分层聚类算法（Hierarchical Clustering）：单连锁聚类（Single-linkage Clustering），概念聚类（Conceptual Clustering）等。
（4）聚类分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（Fuzzy Clustering）、K-means算法、K均值聚类（K-means Clustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。
（5）异常检测（Anomaly detection）类：K最邻近（K-nearest Neighbor，KNN）算法，局部异常因子算法（Local Outlier Factor，LOF）等。

常见的半监督学习类算法包含：生成模型（Generative Models）、低密度分离（Low-density Separation）、基于图形的方法（Graph-based Methods）、联合训练（Co-training）等。

常见的强化学习类算法包含：Q学习（Q-learning）、状态-行动-奖励-状态-行动（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度算法（Policy Gradients）、基于模型强化学习（Model Based RL）、时序差分学习（Temporal Different Learning）等。

常见的深度学习类算法包含：深度信念网络（Deep Belief Machines）、深度卷积神经网络（Deep Convolutional Neural Networks）、深度递归神经网络（Deep Recurrent Neural Network）、分层时间记忆（Hierarchical Temporal Memory，HTM）、深度波尔兹曼机（Deep Boltzmann Machine，DBM）、栈式自动编码器（Stacked Autoencoder）、生成对抗网络（Generative Adversarial Networks）等。

二、按照解决任务的不同来分类，粗略可以分为二分类算法（Two-class Classification）、多分类算法（Multi-class Classification）、回归算法（Regression）、聚类算法（Clustering）和异常检测（Anomaly Detection）五种。
1.二分类（Two-class Classification）
（1）二分类支持向量机（Two-class SVM）：适用于数据特征较多、线性模型的场景。
（2）二分类平均感知器（Two-class Average Perceptron）：适用于训练时间短、线性模型的场景。
（3）二分类逻辑回归（Two-class Logistic Regression）：适用于训练时间短、线性模型的场景。
（4）二分类贝叶斯点机（Two-class Bayes Point Machine）：适用于训练时间短、线性模型的场景。（5）二分类决策森林（Two-class Decision Forest）：适用于训练时间短、精准的场景。
（6）二分类提升决策树（Two-class Boosted Decision Tree）：适用于训练时间短、精准度高、内存占用量大的场景
（7）二分类决策丛林（Two-class Decision Jungle）：适用于训练时间短、精确度高、内存占用量小的场景。
（8）二分类局部深度支持向量机（Two-class Locally Deep SVM）：适用于数据特征较多的场景。
（9）二分类神经网络（Two-class Neural Network）：适用于精准度高、训练时间较长的场景。

解决多分类问题通常适用三种解决方案：第一种，从数据集和适用方法入手，利用二分类器解决多分类问题；第二种，直接使用具备多分类能力的多分类器；第三种，将二分类器改进成为多分类器今儿解决多分类问题。
常用的算法：
（1）多分类逻辑回归（Multiclass Logistic Regression）：适用训练时间短、线性模型的场景。
（2）多分类神经网络（Multiclass Neural Network）：适用于精准度高、训练时间较长的场景。
（3）多分类决策森林（Multiclass Decision Forest）：适用于精准度高，训练时间短的场景。
（4）多分类决策丛林（Multiclass Decision Jungle）：适用于精准度高，内存占用较小的场景。
（5）“一对多”多分类（One-vs-all Multiclass）：取决于二分类器效果。

回归
回归问题通常被用来预测具体的数值而非分类。除了返回的结果不同，其他方法与分类问题类似。我们将定量输出，或者连续变量预测称为回归；将定性输出，或者离散变量预测称为分类。长巾的算法有：
（1）排序回归（Ordinal Regression）：适用于对数据进行分类排序的场景。
（2）泊松回归（Poission Regression）：适用于预测事件次数的场景。
（3）快速森林分位数回归（Fast Forest Quantile Regression）：适用于预测分布的场景。
（4）线性回归（Linear Regression）：适用于训练时间短、线性模型的场景。
（5）贝叶斯线性回归（Bayesian Linear Regression）：适用于线性模型，训练数据量较少的场景。
（6）神经网络回归（Neural Network Regression）：适用于精准度高、训练时间较长的场景。
（7）决策森林回归（Decision Forest Regression）：适用于精准度高、训练时间短的场景。
（8）提升决策树回归（Boosted Decision Tree Regression）：适用于精确度高、训练时间短、内存占用较大的场景。

聚类
聚类的目标是发现数据的潜在规律和结构。聚类通常被用做描述和衡量不同数据源间的相似性，并把数据源分类到不同的簇中。
（1）层次聚类（Hierarchical Clustering）：适用于训练时间短、大数据量的场景。
（2）K-means算法：适用于精准度高、训练时间短的场景。
（3）模糊聚类FCM算法（Fuzzy C-means，FCM）：适用于精确度高、训练时间短的场景。
（4）SOM神经网络（Self-organizing Feature Map，SOM）：适用于运行时间较长的场景。
异常检测
异常检测是指对数据中存在的不正常或非典型的分体进行检测和标志，有时也称为偏差检测。
异常检测看起来和监督学习问题非常相似，都是分类问题。都是对样本的标签进行预测和判断，但是实际上两者的区别非常大，因为异常检测中的正样本（异常点）非常小。常用的算法有：
（1）一分类支持向量机（One-class SVM）：适用于数据特征较多的场景。
（2）基于PCA的异常检测（PCA-based Anomaly Detection）：适用于训练时间短的场景。

常见的迁移学习类算法包含：归纳式迁移学习（Inctive Transfer Learning） 、直推式迁移学习（Transctive Transfer Learning）、无监督式迁移学习（Unsupervised Transfer Learning）、传递式迁移学习（Transitive Transfer Learning）等。

算法的适用场景：
需要考虑的因素有：
（1）数据量的大小、数据质量和数据本身的特点
（2）机器学习要解决的具体业务场景中问题的本质是什么？
（3）可以接受的计算时间是什么？
（4）算法精度要求有多高？
————————————————

原文链接： https://blog.csdn.net/nfzhlk/article/details/82725769

‘叁’ 人工智能与设计（一）：AI 发展历史

姓名：饶明磊

学号：19021210815

【嵌牛导读】随着人工智能的兴起，设计师会不会担心自己被取代？

【嵌牛鼻子】机器学习 深度学习 创意设计

【嵌牛提问】人工智能对设计起到辅助作用还是会完全取代设计师？

【嵌牛正文】人工智能的发展历史

本人业余偶尔做一些设计、摄影之类的艺术活动，经常接触到一些创意软件，发现最近几乎每一款创意软件的重磅更新都体现在了人工智能算法的加入。包括本人从事的研究领域，相关调试软件也是在不断加入人工智能调试算法，更加智能化了。从设计方面着手，我在想，以后人工智能会不会完全取代设计师和工程师呢？

为了更好理解人工智能和设计的关系，我开始涉猎一些机器学习、深度学习等方面的知识，并且和相关专业的同学探讨这个方面的话题，从当初觉得人工智能只会让大部分设计师失业，到现在觉得人工智能只是一个设计的辅助工具，也算是成长了不少。

这个专题将分成三个部分来调研，用三篇文章较为详细地将 AI 的历史、定义以及和设计之间的关系和影响呈现给大家。

说起人工智能（AI：Artificial Intelligence）这词，不得不提及人工智能的历史。人工智能的概念主要由Alan Turing提出：机器会思考吗？如果一台机器能够与人类对话而不被辨别出其机器的身份，那么这台机器具有智能的特征。同年，Alan Turing还预言了存有一定的可能性可以创造出具有真正智能的机器。（说明： Alan Turing （1912.6.23-1954.6.7）曾协助英国军队破解了德国的着名密码系统Enigma，帮助盟军取得了二战的胜利。因提出一种用于判定机器是否具有智能的试验方法，即图灵试验，被后人称为计算机之父和人工智能之父。）

1956年，在达特茅斯学院举行的一次会议上，不同领域（数学，心理学，工程学，经济学和政治学）的科学家正式确立了人工智能为研究学科。

2006年达特茅斯会议当事人重聚，左起：Trenchard More、 John McCarthy 、 Marvin Minsky 、Oliver Selfridge、Ray Solomonoff

达特茅斯会议之后是大发现的时代。对很多人来讲，这一阶段开发出来的程序堪称神奇：计算机可以解决代数应用题、证明几何定理、学习和使用英语。在众多研究当中，搜索式推理、自然语言、微世界在当时最具影响力。

大量成功的AI程序和新的研究方向不断涌现，研究学者认为具有完全智能的机器将在二十年内出现并给出了如下预言：

1958年，H. A. Simon，Allen Newell：“十年之内，数字计算机将成为国际象棋世界冠军。” “十年之内，数字计算机将发现并证明一个重要的数学定理。”

1965年，H. A. Simon：“二十年内，机器将能完成人能做到的一切工作。”

1967年，Marvin Minsky：“一代之内……创造“人工智能”的问题将获得实质上的解决。”

1970年，Marvin Minsky：“在三到八年的时间里我们将得到一台具有人类平均智能的机器。”

美国政府向这一新兴领域投入了大笔资金，每年将数百万美元投入到麻省理工学院、卡耐基梅隆大学、爱丁堡大学和斯坦福大学四个研究机构，并允许研究学者去做任何感兴趣的方向。

当时主要成就：

神经网络机、世界第一台机器人被制造出来了；贝尔曼公式（ 增强学习 雏形）被提出；感知器（ 深度学习 雏形）被提出；搜索式推理被提出

然而遇到了 第一次寒冬（1974年—1980年）

70年代初，AI遭遇到瓶颈。研究学者逐渐发现，虽然机器拥有了简单的逻辑推理能力，但遭遇到当时无法克服的基础性障碍，AI停留在“玩具”阶段止步不前，远远达不到曾经预言的完全智能。

当时主要问题：

计算机运算能力有限，解决不了超大型的计算问题，同时人们对世界的认知还不够充分

当时有一个莫拉维克悖论：如果机器像数学天才一样下象棋，那么它能模仿婴儿学习又有多难呢？然而，事实证明这是相当难的。

1987年，AI 硬件的市场需求突然下跌。科学家发现，专家系统虽然很有用，但它的应用领域过于狭窄，而且更新迭代和维护成本非常高。同期美国Apple和IBM生产的台式机性能不断提升，个人电脑的理念不断蔓延；日本人设定的“第五代工程”最终也没能实现。人工智能研究再次遭遇了财政困难，一夜之间这个价值五亿美元的产业土崩瓦解。

当时主要问题：

1.受到台式机和“个人电脑”理念的冲击影响

2.商业机构对AI的追捧和冷落，使AI化为泡沫并破裂

3.计算机性能瓶颈仍无法突破

4.仍然缺乏海量数据训练机器

在摩尔定律下，计算机性能不断突破。云计算、大数据、机器学习、自然语言和机器视觉等领域发展迅速，人工智能迎来第三次高潮。

摩尔定律起始于Gordon Moore在1965年的一个预言，当时他看到因特尔公司做的几款芯片，觉得18到24个月可以把晶体管体积缩小一半，个数可以翻一番，运算处理能力能翻一倍。没想到这么一个简单的预言成真了，下面几十年一直按这个节奏往前走，成为了摩尔定律。

主要事件

1997 年：

IBM的国际象棋机器人深蓝战胜国际象棋世界冠军卡斯帕罗夫

2005 年：

Stanford开发的一台机器人在一条沙漠小径上成功地自动行驶了131英里，赢得了DARPA挑战大赛头奖；

2006 年：

1.Geoffrey Hinton 提出多层神经网络的深度学习算法

2.Eric Schmidt在搜索引擎大会提出“云计算”概念

2010 年：

Sebastian Thrun领导的谷歌无人驾驶汽车曝光，创下了超过16万千米无事故的纪录

2011 年：

1.IBM Waston参加智力游戏《危险边缘》，击败最高奖金得主Brad Rutter和连胜纪录保持者Ken Jennings

2.苹果发布语音个人助手Siri

3.Nest Lab发布第一代智能恒温器Nest。它可以了解用户的习惯，并相应自动地调节温度

2012 年：

Google发布个人助理Google Now

2013 年：

深度学习算法在语音和视觉识别率获得突破性进展

2014 年：

1.微软亚洲研究院发布人工智能小冰聊天机器人和语音助手Cortana

2.网络发布Deep Speech语音识别系统

2015 年：

1.Facebook发布了一款基于文本的人工智能助理“M”

2016 年：

1.Google AlphaGo以比分4:1战胜围棋九段棋手李世石

2.Chatbots这个概念开始流行

3.Google发布为机器学习定制的第一代专用芯片TPU

4.Google发布语音助手Assistant

2017 年：

1.AlphaGO在围棋网络对战平台以60连胜击败世界各地高手

2.Google开源深度学习系统 Tensorflow 1.0正式发布

3.Google AlphaGo以比分3:0完胜世界第一围棋九段棋手柯洁

4.默默深耕机器学习和机器视觉的苹果在WWDC上发布Core ML，ARKit等组件

5.Google发布了ARCore SDK

6.网络AI开发者大会正式发布Dueros语音系统，无人驾驶平台Apollo1.0自动驾驶平台

7.华为发布全球第一款AI移动芯片麒麟970

8.iPhone X 配备前置 3D 感应摄像头(TrueDepth)，脸部识别点达到3W个，具备人脸识别、解锁和支付等功能；配备的A11 Bionic神经引擎使用双核设计，每秒可达到运算6000亿次

9.AlphaGo Zero完全从零开始，不需要任何历史棋谱的指引，更不需要参考人类任何的先验知识，仅需要4个TPU，并花三天时间自己左右互搏490万棋局，最终无师自通完爆阿法狗100-0

很多专家学者对此次人工智能浪潮给予了肯定，认为这次人工智能浪潮能引起第四次工业革命。人工智能逐渐开始在保险，金融等领域开始渗透，在未来健康医疗、交通出行、销售消费、金融服务、媒介娱乐、生产制造，到能源、石油、农业、政府……所有垂直产业都将因人工智能技术的发展而受益，那么我们现在讲的人工智能究竟是什么？

详情参见下一篇：人工智能与设计（二）：AI 是什么？

‘肆’ 智能算法

智能信息处理研究方向

一、 科研方向意义
智能信息处理是人工智能（AI）的一个重要研究领域。在世界各地对人工智能的研究很早就开始了，当计算机出现后，人类开始真正有了一个可以模拟人类思维的工具，而人工智能也始终是计算机科学的前沿学科，计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以存在。80年代初，在美国、日本、接着在我国国内都掀起了一股研究神经网络理论和神经计算机的热潮，并将神经网络原理应用于图象处理、模式识别、语音综合及机器人控制等领域。随着理论研究的不断深入和应用领域的迅速扩大，近年来智能信息处理成了人工智能的一个热门研究方向，我国各高等院校都成立了关于智能信息处理的研究机构。他们立足于信息处理技术的基础研究和应用，积极地将数学、人工智能、逻辑学、认知科学等领域最新研究成果应用于各种信息的智能处理，在模式识别与人工智能、数据库与数据仓库的挖掘技术、信息网络安全与数据保密技术等方面取得了较好的研究成果，在带动其院校学科建设的同时，也努力扩大了信息技术在国民经济各领域的应用，提高了信息处理技术的社会效应和经济效益。
二、主要研究方向
模式识别与人工智能
数据挖掘算法
优化决策支持系统
商用智能软件
三、研究目标
以促进本学科的建设为目标，加强智能理论的研究，并侧重智能系统的开发应用工作。在理论上，配合本硕学生的教学工作，在模式识别与人工智能、数据挖掘和智能算法等方面进行深入研究，取得比较深入的理论研究成果，从而使学生掌握这方面最新的知识理论，为他们在以后的研究和工作中打下坚实的基础，进一步可以独立研究并取得更大的成就。在智能应用上，我们要根据现有的基础条件，进一步加强梯队人员和素质的建设，形成一支结构合理、充满活力、人员稳定的研究队伍；建立并扩展与外界的合作关系，将最新的理论研究成果转化为生产力，开发出企业急需的、先进的智能控制和信息处理软件系统，从而在为社会做贡献的同时提高我校的声誉，有利于我校的招生和就业。本方向的研究工作还会促进学生实验实践环节的质量，从根本上提高毕业生的素质。

‘伍’ 2006年以来以什么为代表的智能学习算法在机器视觉和语音识别等领域取得了极大

2006年以来以什么为代表的智能学习算法在机器视觉和语音识别等领域取得了极大推进。

近年来，在数字经济不断推进的大背景下，人工智能发展迅速，并与多种应用场景深度融合。很多人也开始从小白变成大牛，深度理解人工智能行业。也逐渐成为推动经济创新发展的重要技术。

中国通信巨头华为发布了自己的人工智能芯片并将其应用于其智能手机产品，三星最新发布的语音助手Bixby已经从软件层升级为语音助手，长时间陷入了“你问我回答”模式，人工智能通过智能手机变得更贴近人们的生活。

在应用水平上：随着第五代移动通讯技术的发展，设备之间的联通将有着更高的带宽与更低的延迟，也就催生了更多人工智能的应用，如自动驾驶、VR等等。为这些技术落地和应用扫清了障碍。