智能演算法的經歷

『壹』 人工智慧之進化演算法

進化計算的三大分支包括：遺傳演算法(Genetic Algorithm ，簡稱GA)、進化規劃(Evolu-tionary Programming，簡稱EP)和進化策略(Evolution Strategies ，簡稱ES)。這三個分支在演算法實現方面具有一些細微的差別，但它們具有一個共同的特點，即都是藉助生物進化的思想和原理來解決實際問題。

遺傳演算法是一類通過模擬生物界自然選擇和自然遺傳機制的隨機化搜索演算法，由美國Holand J教授於1975年首次提出。它是利用某種編碼技術作用於稱為染色體的二進制數串，其基本思想是模擬由這些串組成的種群的進化過程，通過有組織的、然而是隨機的信息交換來重新組合那些適應性好的串。遺傳演算法對求解問題的本身一無所知，它所需要的僅是對演算法所產生的每個染色體進行評價，並根據適應性來選擇染色體，使適應性好的染色體比適應性差的染色體有更多的繁殖機會。遺傳演算法尤其適用於處理傳統搜索方法難於解決的復雜的非線性問題，可廣泛用於組合優化、機器學習、自適應控制、規劃設計和人工生命等領域，是21世紀有關智能計算中的關鍵技術之一。

1964年，由德國柏林工業大學的RechenbergI等人提出。在求解流體動力學柔性彎曲管的形狀優化問題時，用傳統的方法很難在優化設計中描述物體形狀的參數，然而利用生物變異的思想來隨機地改變參數值並獲得了較好效果。隨後，他們便對這種方法進行了深入的研究和發展，形成了進化計算的另一個分支——進化策略。

進化策略與遺傳演算法的不同之處在於：進化策略直接在解空間上進行操作，強調進化過程中從父體到後代行為的自適應性和多樣性，強調進化過程中搜索步長的自適應性調節;而遺傳演算法是將原問題的解空間映射到位串空間之中，然後再施行遺傳操作，它強調個體基因結構的變化對其適應度的影響。

進化策略主要用於求解數值優化問題。

進化規劃的方法最初是由美國人Fogel LJ等人在20世紀60年代提出的。他們在人工智慧的研究中發現，智能行為要具有能預測其所處環境的狀態，並按照給定的目標做出適當的響應的能力。在研究中，他們將模擬環境描述成是由有限字元集中符號組成的序列。

進化演算法與傳統的演算法具有很多不同之處，但其最主要的特點體現在下述兩個方面：

進化計算的智能性包括自組織、自適應和自學習性等。應用進化計算求解問題時，在確定了編碼方案、適應值函數及遺傳運算元以後，演算法將根據「適者生存、不適應者淘汰"的策略，利用進化過程中獲得的信息自行組織搜索，從而不斷地向最佳解方向逼近。自然選擇消除了傳統演算法設計過程中的-一個最大障礙：即需要事先描述問題的全部特點，並說明針對問題的不同特點演算法應採取的措施。於是，利用進化計算的方法可以解決那些結構尚無人能理解的復雜問題。

進化計算的本質並行性表現在兩個方面：

一是進化計算是內在並行的，即進化計算本身非常適合大規模並行。

二是進化計算的內含並行性，由於進化計算採用種群的方式組織搜索，從而它可以同時搜索解空間內的多個區域，並相互交流信息，這種搜索方式使得進化計算能以較少的計算獲得較大的收益。

『貳』 人工智慧演算法簡介

人工智慧的三大基石—演算法、數據和計算能力，演算法作為其中之一，是非常重要的，那麼人工智慧都會涉及哪些演算法呢？不同演算法適用於哪些場景呢？

一、按照模型訓練方式不同可以分為監督學習（Supervised Learning），無監督學習（Unsupervised Learning）、半監督學習（Semi-supervised Learning）和強化學習（Reinforcement Learning）四大類。

常見的監督學習演算法包含以下幾類：
（1）人工神經網路（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經網路（Convolutional Neural Network）、Hopfield網路（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數網路（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經網路（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經網路（Spiking Neural Network）等。
（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）
貝葉斯信念網路（Bayesian Belief Network，BBN）、貝葉斯網路（Bayesian Network，BN）等。
（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5演算法（C4.5 Algorithm）、C5.0演算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3演算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher』s Linear Discriminant）
線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。

常見的無監督學習類演算法包括：
（1） 人工神經網路（Artificial Neural Network）類：生成對抗網路（Generative Adversarial Networks，GAN），前饋神經網路（Feedforward Neural Network）、邏輯學習機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。
（2） 關聯規則學習（Association Rule Learning）類：先驗演算法（Apriori Algorithm）、Eclat演算法（Eclat Algorithm）、FP-Growth演算法等。
（3）分層聚類演算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。
（4）聚類分析（Cluster analysis）：BIRCH演算法、DBSCAN演算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means演算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移演算法（Mean-shift）、OPTICS演算法等。
（5）異常檢測（Anomaly detection）類：K最鄰近（K-nearest Neighbor，KNN）演算法，局部異常因子演算法（Local Outlier Factor，LOF）等。

常見的半監督學習類演算法包含：生成模型（Generative Models）、低密度分離（Low-density Separation）、基於圖形的方法（Graph-based Methods）、聯合訓練（Co-training）等。

常見的強化學習類演算法包含：Q學習（Q-learning）、狀態-行動-獎勵-狀態-行動（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度演算法（Policy Gradients）、基於模型強化學習（Model Based RL）、時序差分學習（Temporal Different Learning）等。

常見的深度學習類演算法包含：深度信念網路（Deep Belief Machines）、深度卷積神經網路（Deep Convolutional Neural Networks）、深度遞歸神經網路（Deep Recurrent Neural Network）、分層時間記憶（Hierarchical Temporal Memory，HTM）、深度波爾茲曼機（Deep Boltzmann Machine，DBM）、棧式自動編碼器（Stacked Autoencoder）、生成對抗網路（Generative Adversarial Networks）等。

二、按照解決任務的不同來分類，粗略可以分為二分類演算法（Two-class Classification）、多分類演算法（Multi-class Classification）、回歸演算法（Regression）、聚類演算法（Clustering）和異常檢測（Anomaly Detection）五種。
1.二分類（Two-class Classification）
（1）二分類支持向量機（Two-class SVM）：適用於數據特徵較多、線性模型的場景。
（2）二分類平均感知器（Two-class Average Perceptron）：適用於訓練時間短、線性模型的場景。
（3）二分類邏輯回歸（Two-class Logistic Regression）：適用於訓練時間短、線性模型的場景。
（4）二分類貝葉斯點機（Two-class Bayes Point Machine）：適用於訓練時間短、線性模型的場景。（5）二分類決策森林（Two-class Decision Forest）：適用於訓練時間短、精準的場景。
（6）二分類提升決策樹（Two-class Boosted Decision Tree）：適用於訓練時間短、精準度高、內存佔用量大的場景
（7）二分類決策叢林（Two-class Decision Jungle）：適用於訓練時間短、精確度高、內存佔用量小的場景。
（8）二分類局部深度支持向量機（Two-class Locally Deep SVM）：適用於數據特徵較多的場景。
（9）二分類神經網路（Two-class Neural Network）：適用於精準度高、訓練時間較長的場景。

解決多分類問題通常適用三種解決方案：第一種，從數據集和適用方法入手，利用二分類器解決多分類問題；第二種，直接使用具備多分類能力的多分類器；第三種，將二分類器改進成為多分類器今兒解決多分類問題。
常用的演算法：
（1）多分類邏輯回歸（Multiclass Logistic Regression）：適用訓練時間短、線性模型的場景。
（2）多分類神經網路（Multiclass Neural Network）：適用於精準度高、訓練時間較長的場景。
（3）多分類決策森林（Multiclass Decision Forest）：適用於精準度高，訓練時間短的場景。
（4）多分類決策叢林（Multiclass Decision Jungle）：適用於精準度高，內存佔用較小的場景。
（5）「一對多」多分類（One-vs-all Multiclass）：取決於二分類器效果。

回歸
回歸問題通常被用來預測具體的數值而非分類。除了返回的結果不同，其他方法與分類問題類似。我們將定量輸出，或者連續變數預測稱為回歸；將定性輸出，或者離散變數預測稱為分類。長巾的演算法有：
（1）排序回歸（Ordinal Regression）：適用於對數據進行分類排序的場景。
（2）泊松回歸（Poission Regression）：適用於預測事件次數的場景。
（3）快速森林分位數回歸（Fast Forest Quantile Regression）：適用於預測分布的場景。
（4）線性回歸（Linear Regression）：適用於訓練時間短、線性模型的場景。
（5）貝葉斯線性回歸（Bayesian Linear Regression）：適用於線性模型，訓練數據量較少的場景。
（6）神經網路回歸（Neural Network Regression）：適用於精準度高、訓練時間較長的場景。
（7）決策森林回歸（Decision Forest Regression）：適用於精準度高、訓練時間短的場景。
（8）提升決策樹回歸（Boosted Decision Tree Regression）：適用於精確度高、訓練時間短、內存佔用較大的場景。

聚類
聚類的目標是發現數據的潛在規律和結構。聚類通常被用做描述和衡量不同數據源間的相似性，並把數據源分類到不同的簇中。
（1）層次聚類（Hierarchical Clustering）：適用於訓練時間短、大數據量的場景。
（2）K-means演算法：適用於精準度高、訓練時間短的場景。
（3）模糊聚類FCM演算法（Fuzzy C-means，FCM）：適用於精確度高、訓練時間短的場景。
（4）SOM神經網路（Self-organizing Feature Map，SOM）：適用於運行時間較長的場景。
異常檢測
異常檢測是指對數據中存在的不正常或非典型的分體進行檢測和標志，有時也稱為偏差檢測。
異常檢測看起來和監督學習問題非常相似，都是分類問題。都是對樣本的標簽進行預測和判斷，但是實際上兩者的區別非常大，因為異常檢測中的正樣本（異常點）非常小。常用的演算法有：
（1）一分類支持向量機（One-class SVM）：適用於數據特徵較多的場景。
（2）基於PCA的異常檢測（PCA-based Anomaly Detection）：適用於訓練時間短的場景。

常見的遷移學習類演算法包含：歸納式遷移學習（Inctive Transfer Learning） 、直推式遷移學習（Transctive Transfer Learning）、無監督式遷移學習（Unsupervised Transfer Learning）、傳遞式遷移學習（Transitive Transfer Learning）等。

演算法的適用場景：
需要考慮的因素有：
（1）數據量的大小、數據質量和數據本身的特點
（2）機器學習要解決的具體業務場景中問題的本質是什麼？
（3）可以接受的計算時間是什麼？
（4）演算法精度要求有多高？
————————————————

原文鏈接： https://blog.csdn.net/nfzhlk/article/details/82725769

『叄』 人工智慧與設計（一）：AI 發展歷史

姓名：饒明磊

學號：19021210815

【嵌牛導讀】隨著人工智慧的興起，設計師會不會擔心自己被取代？

【嵌牛鼻子】機器學習 深度學習 創意設計

【嵌牛提問】人工智慧對設計起到輔助作用還是會完全取代設計師？

【嵌牛正文】人工智慧的發展歷史

本人業余偶爾做一些設計、攝影之類的藝術活動，經常接觸到一些創意軟體，發現最近幾乎每一款創意軟體的重磅更新都體現在了人工智慧演算法的加入。包括本人從事的研究領域，相關調試軟體也是在不斷加入人工智慧調試演算法，更加智能化了。從設計方面著手，我在想，以後人工智慧會不會完全取代設計師和工程師呢？

為了更好理解人工智慧和設計的關系，我開始涉獵一些機器學習、深度學習等方面的知識，並且和相關專業的同學探討這個方面的話題，從當初覺得人工智慧只會讓大部分設計師失業，到現在覺得人工智慧只是一個設計的輔助工具，也算是成長了不少。

這個專題將分成三個部分來調研，用三篇文章較為詳細地將 AI 的歷史、定義以及和設計之間的關系和影響呈現給大家。

說起人工智慧（AI：Artificial Intelligence）這詞，不得不提及人工智慧的歷史。人工智慧的概念主要由Alan Turing提出：機器會思考嗎？如果一台機器能夠與人類對話而不被辨別出其機器的身份，那麼這台機器具有智能的特徵。同年，Alan Turing還預言了存有一定的可能性可以創造出具有真正智能的機器。（說明： Alan Turing （1912.6.23-1954.6.7）曾協助英國軍隊破解了德國的著名密碼系統Enigma，幫助盟軍取得了二戰的勝利。因提出一種用於判定機器是否具有智能的試驗方法，即圖靈試驗，被後人稱為計算機之父和人工智慧之父。）

1956年，在達特茅斯學院舉行的一次會議上，不同領域（數學，心理學，工程學，經濟學和政治學）的科學家正式確立了人工智慧為研究學科。

2006年達特茅斯會議當事人重聚，左起：Trenchard More、 John McCarthy 、 Marvin Minsky 、Oliver Selfridge、Ray Solomonoff

達特茅斯會議之後是大發現的時代。對很多人來講，這一階段開發出來的程序堪稱神奇：計算機可以解決代數應用題、證明幾何定理、學習和使用英語。在眾多研究當中，搜索式推理、自然語言、微世界在當時最具影響力。

大量成功的AI程序和新的研究方向不斷涌現，研究學者認為具有完全智能的機器將在二十年內出現並給出了如下預言：

1958年，H. A. Simon，Allen Newell：「十年之內，數字計算機將成為國際象棋世界冠軍。」 「十年之內，數字計算機將發現並證明一個重要的數學定理。」

1965年，H. A. Simon：「二十年內，機器將能完成人能做到的一切工作。」

1967年，Marvin Minsky：「一代之內……創造「人工智慧」的問題將獲得實質上的解決。」

1970年，Marvin Minsky：「在三到八年的時間里我們將得到一台具有人類平均智能的機器。」

美國政府向這一新興領域投入了大筆資金，每年將數百萬美元投入到麻省理工學院、卡耐基梅隆大學、愛丁堡大學和斯坦福大學四個研究機構，並允許研究學者去做任何感興趣的方向。

當時主要成就：

神經網路機、世界第一台機器人被製造出來了；貝爾曼公式（ 增強學習 雛形）被提出；感知器（ 深度學習 雛形）被提出；搜索式推理被提出

然而遇到了 第一次寒冬（1974年—1980年）

70年代初，AI遭遇到瓶頸。研究學者逐漸發現，雖然機器擁有了簡單的邏輯推理能力，但遭遇到當時無法克服的基礎性障礙，AI停留在「玩具」階段止步不前，遠遠達不到曾經預言的完全智能。

當時主要問題：

計算機運算能力有限，解決不了超大型的計算問題，同時人們對世界的認知還不夠充分

當時有一個莫拉維克悖論：如果機器像數學天才一樣下象棋，那麼它能模仿嬰兒學習又有多難呢？然而，事實證明這是相當難的。

1987年，AI 硬體的市場需求突然下跌。科學家發現，專家系統雖然很有用，但它的應用領域過於狹窄，而且更新迭代和維護成本非常高。同期美國Apple和IBM生產的台式機性能不斷提升，個人電腦的理念不斷蔓延；日本人設定的「第五代工程」最終也沒能實現。人工智慧研究再次遭遇了財政困難，一夜之間這個價值五億美元的產業土崩瓦解。

當時主要問題：

1.受到台式機和「個人電腦」理念的沖擊影響

2.商業機構對AI的追捧和冷落，使AI化為泡沫並破裂

3.計算機性能瓶頸仍無法突破

4.仍然缺乏海量數據訓練機器

在摩爾定律下，計算機性能不斷突破。雲計算、大數據、機器學習、自然語言和機器視覺等領域發展迅速，人工智慧迎來第三次高潮。

摩爾定律起始於Gordon Moore在1965年的一個預言，當時他看到因特爾公司做的幾款晶元，覺得18到24個月可以把晶體管體積縮小一半，個數可以翻一番，運算處理能力能翻一倍。沒想到這么一個簡單的預言成真了，下面幾十年一直按這個節奏往前走，成為了摩爾定律。

主要事件

1997 年：

IBM的國際象棋機器人深藍戰勝國際象棋世界冠軍卡斯帕羅夫

2005 年：

Stanford開發的一台機器人在一條沙漠小徑上成功地自動行駛了131英里，贏得了DARPA挑戰大賽頭獎；

2006 年：

1.Geoffrey Hinton 提出多層神經網路的深度學習演算法

2.Eric Schmidt在搜索引擎大會提出「雲計算」概念

2010 年：

Sebastian Thrun領導的谷歌無人駕駛汽車曝光，創下了超過16萬千米無事故的紀錄

2011 年：

1.IBM Waston參加智力游戲《危險邊緣》，擊敗最高獎金得主Brad Rutter和連勝紀錄保持者Ken Jennings

2.蘋果發布語音個人助手Siri

3.Nest Lab發布第一代智能恆溫器Nest。它可以了解用戶的習慣，並相應自動地調節溫度

2012 年：

Google發布個人助理Google Now

2013 年：

深度學習演算法在語音和視覺識別率獲得突破性進展

2014 年：

1.微軟亞洲研究院發布人工智慧小冰聊天機器人和語音助手Cortana

2.網路發布Deep Speech語音識別系統

2015 年：

1.Facebook發布了一款基於文本的人工智慧助理「M」

2016 年：

1.Google AlphaGo以比分4:1戰勝圍棋九段棋手李世石

2.Chatbots這個概念開始流行

3.Google發布為機器學習定製的第一代專用晶元TPU

4.Google發布語音助手Assistant

2017 年：

1.AlphaGO在圍棋網路對戰平台以60連勝擊敗世界各地高手

2.Google開源深度學習系統 Tensorflow 1.0正式發布

3.Google AlphaGo以比分3:0完勝世界第一圍棋九段棋手柯潔

4.默默深耕機器學習和機器視覺的蘋果在WWDC上發布Core ML，ARKit等組件

5.Google發布了ARCore SDK

6.網路AI開發者大會正式發布Dueros語音系統，無人駕駛平台Apollo1.0自動駕駛平台

7.華為發布全球第一款AI移動晶元麒麟970

8.iPhone X 配備前置 3D 感應攝像頭(TrueDepth)，臉部識別點達到3W個，具備人臉識別、解鎖和支付等功能；配備的A11 Bionic神經引擎使用雙核設計，每秒可達到運算6000億次

9.AlphaGo Zero完全從零開始，不需要任何歷史棋譜的指引，更不需要參考人類任何的先驗知識，僅需要4個TPU，並花三天時間自己左右互搏490萬棋局，最終無師自通完爆阿法狗100-0

很多專家學者對此次人工智慧浪潮給予了肯定，認為這次人工智慧浪潮能引起第四次工業革命。人工智慧逐漸開始在保險，金融等領域開始滲透，在未來健康醫療、交通出行、銷售消費、金融服務、媒介娛樂、生產製造，到能源、石油、農業、政府……所有垂直產業都將因人工智慧技術的發展而受益，那麼我們現在講的人工智慧究竟是什麼？

詳情參見下一篇：人工智慧與設計（二）：AI 是什麼？

『肆』 智能演算法

智能信息處理研究方向

一、 科研方向意義
智能信息處理是人工智慧（AI）的一個重要研究領域。在世界各地對人工智慧的研究很早就開始了，當計算機出現後，人類開始真正有了一個可以模擬人類思維的工具，而人工智慧也始終是計算機科學的前沿學科，計算機編程語言和其它計算機軟體都因為有了人工智慧的進展而得以存在。80年代初，在美國、日本、接著在我國國內都掀起了一股研究神經網路理論和神經計算機的熱潮，並將神經網路原理應用於圖象處理、模式識別、語音綜合及機器人控制等領域。隨著理論研究的不斷深入和應用領域的迅速擴大，近年來智能信息處理成了人工智慧的一個熱門研究方向，我國各高等院校都成立了關於智能信息處理的研究機構。他們立足於信息處理技術的基礎研究和應用，積極地將數學、人工智慧、邏輯學、認知科學等領域最新研究成果應用於各種信息的智能處理，在模式識別與人工智慧、資料庫與數據倉庫的挖掘技術、信息網路安全與數據保密技術等方面取得了較好的研究成果，在帶動其院校學科建設的同時，也努力擴大了信息技術在國民經濟各領域的應用，提高了信息處理技術的社會效應和經濟效益。
二、主要研究方向
模式識別與人工智慧
數據挖掘演算法
優化決策支持系統
商用智能軟體
三、研究目標
以促進本學科的建設為目標，加強智能理論的研究，並側重智能系統的開發應用工作。在理論上，配合本碩學生的教學工作，在模式識別與人工智慧、數據挖掘和智能演算法等方面進行深入研究，取得比較深入的理論研究成果，從而使學生掌握這方面最新的知識理論，為他們在以後的研究和工作中打下堅實的基礎，進一步可以獨立研究並取得更大的成就。在智能應用上，我們要根據現有的基礎條件，進一步加強梯隊人員和素質的建設，形成一支結構合理、充滿活力、人員穩定的研究隊伍；建立並擴展與外界的合作關系，將最新的理論研究成果轉化為生產力，開發出企業急需的、先進的智能控制和信息處理軟體系統，從而在為社會做貢獻的同時提高我校的聲譽，有利於我校的招生和就業。本方向的研究工作還會促進學生實驗實踐環節的質量，從根本上提高畢業生的素質。

『伍』 2006年以來以什麼為代表的智能學習演算法在機器視覺和語音識別等領域取得了極大

2006年以來以什麼為代表的智能學習演算法在機器視覺和語音識別等領域取得了極大推進。

近年來，在數字經濟不斷推進的大背景下，人工智慧發展迅速，並與多種應用場景深度融合。很多人也開始從小白變成大牛，深度理解人工智慧行業。也逐漸成為推動經濟創新發展的重要技術。

中國通信巨頭華為發布了自己的人工智慧晶元並將其應用於其智能手機產品，三星最新發布的語音助手Bixby已經從軟體層升級為語音助手，長時間陷入了「你問我回答」模式，人工智慧通過智能手機變得更貼近人們的生活。

在應用水平上：隨著第五代移動通訊技術的發展，設備之間的聯通將有著更高的帶寬與更低的延遲，也就催生了更多人工智慧的應用，如自動駕駛、VR等等。為這些技術落地和應用掃清了障礙。