進化演算法核心計算邏輯

1. 進化演算法的起源發展

進化計算包括遺傳演算法(Genetic Algorithms)、遺傳規劃（Genetic Programming）、進化策略(Evolution Strategies)和進化規劃(Evolution Programming)4種典型方法。第一類方法比較成熟，現已廣泛應用，進化策略和進化規劃在科研和實際問題中的應用也越來越廣泛。
遺傳演算法的主要基因操作是選種、交配和突變，而在進化規則、進化策略中，進化機制源於選種和突變。就適應度的角度來說遺傳演算法用於選擇優秀的父代(優秀的父代產生優秀的子代)，而進化規則和進化策略則用於選擇子代(優秀的子代才能存在)。
遺傳演算法與遺傳規劃強調的是父代對子代的遺傳鏈，而進化規則和進化策略則著重於子代本身的行為特性，即行為鏈。
進化規則和進化策略一般都不採用編碼，省去了運作過程中的編碼—解碼手續更適用於連續優化問題，但因此也不能進行非數值優化。進化策略可以確定機制產生出用於繁殖的父代，而遺傳演算法和進化規則強調對個體適應度和概率的依賴。
此外，進化規則把編碼結構抽象為種群之間的相似，而進化策略抽象為個體之間的相似。進化策略和進化規則已應用於連續函數優化、模式識別、機器學習、神經網路訓練、系統辨識和智能控制的眾多領域

2. 進化演算法入門讀書筆記（一）

這里我參考學習的書籍是：

《進化計算的理論和方法》，王宇平，科學出版社

《進化優化演算法：基於仿生和種群的計算機智能方法》，[美]丹·西蒙，清華大學出版社。

進化演算法是 求解優化問題 的一種演算法，它是 模仿生物進化與遺傳原理 而設計的一類隨機搜索的優化演算法。

不同的作者稱進化演算法有不同的術語，以下。註：這里僅列舉出了我自己比較容易混淆的一些，並未全部列出。

進化計算： 這樣能強調演算法需要在 計算機上 實施，但進化計算也可能指不用於優化的演算法（最初的遺傳演算法並不是用於優化本身，而是想用來研究自然選擇的過程）。因此，進化優化演算法比進化計算更具體。

基於種群的優化： 它強調進化演算法一般是讓問題的候選解 種群 隨著時間的進化以得到問題的更好的解。然而許多進化演算法每次迭代只有單個候選解。因此，進化演算法比基於種群的優化更一般化。

計算機智能/計算智能： 這樣做常常是為了區分進化演算法與專家系統，在傳統上專家系統一直被稱為人工智慧。專家系統模仿演繹推理，進化演算法則模仿歸納推理。進化演算法有時候也被看成是人工智慧的一種。計算機智能是比進化演算法更一般的詞，它包括神經計算、模糊系統、人工生命這樣的一些技術，這些技術可應用於優化之外的問題。因此，進化計算可能比計算機智能更一般化或更具體。

由自然啟發的計算/仿生計算： 像差分進化和分布估計演算法這些進化演算法可能並非源於自然，像進化策略和反向學習這些進化演算法與自然過程聯系甚微。因此，進化演算法比由自然啟發的演算法更一般化，因為進化演算法包括非仿生演算法。

機器學習： 機器學習研究由經驗學到的計算機演算法，它還包括很多不是進化計算的演算法，如強化學習、神經網路、分簇、SVM等等。因此，機器學習比進化演算法更廣。

群智能演算法： 一些人認為群智能演算法應與進化演算法區分開，一些人認為群智能演算法是進化演算法的一個子集。因為群智能演算法與進化演算法有相同的執行方式，即，每次迭代都改進問題的候選解的性能從而讓解的種群進化。因此，我們認為群智能演算法是一種進化演算法。

進化演算法的簡單定義可能並不完美。在進化演算法領域術語的不統一會讓人困惑，一個演算法是進化演算法如果它通常被認為是進化演算法，這個戲謔的、循環的定義一開始有些麻煩，但是一段時間後，這個領域工作的人就會習慣了。

優化幾乎適用於生活中的所有領域。除了對如計算器做加法運算這種過於簡單的問題，不必用進化演算法的軟體，因為有更簡單有效的演算法。此外對於每個復雜的問題，至少應該考慮採用進化演算法。

一個優化問題可以寫成最小化問題或最大化問題，這兩個問題在形式上很容易互相轉化：

函數 被稱為目標函數，向量 被稱為獨立變數，或決策變數。我們稱 中元素的個數為問題的維數。

優化問題常常帶有約束。即在最小化某個函數 時，對 可取的值加上約束。不舉例。

實際的優化問題不僅帶有約束，還有多個目標。這意味著我們想要同時最小化不止一個量。

例子：

這里評估這個問題的一種方式是繪制 作為函數 的函數的圖：

如圖，對在實線上的 的值，找不到能同時使 和 減小的 的其他值，此實線被稱為 帕累托前沿 ，而相應的 的值的集合被稱為帕累托集。（此處的帕累托最優問題十分重要，可以參考這個鏈接來學習和理解： 多目標優化之帕累托最優 - 知乎 ，非常清晰易懂。）

該例子是一個非常簡單的多目標優化問題，它只有兩個目標。實際的優化問題通常涉及兩個以上的模目標，因此很難得到它的帕累托前沿，由於它是高維的，我們也無法將它可視化。後面的章節將會仔細討論多目標進化優化。

多峰優化問題是指問題不止一個局部最小值。上例中的 就有兩個局部最小值，處理起來很容易，有些問題有很多局部最小值，找出其中的全局最小值就頗具挑戰性。

對於前面的簡單例子，我們能用圖形的方法或微積分的方法求解，但是許多實際問題除了有更多獨立變數、多目標，以及帶約束之外更像上面的Ackley函數這樣，對於這類問題，基於微積分或圖形的方法就不夠用了，而進化演算法卻能給出更好的結果。

到現在為止我們考慮的都是連續優化問題，也就是說，允許獨立變數連續地變化。但有許多優化問題中的獨立變數智能在一個離散集合上取值。這類問題被稱為組合優化問題。如旅行商問題。

對於有 個城市的旅行商問題，有 個可能的解。對於一些過大的問題，硬算的方法不可行，像旅行商這樣的組合問題沒有連續的獨立變數，因此不能利用導數求解。除非對每個可能的解都試一遍，不然就無法確定所得到的組合問題的解是否就是最好的解。進化演算法對這類大規模、多維的問題，它至少能幫我們找出一個好的解（不一定是最好的）。

3. 人工智慧中,進化計算是什麼意思包括哪些內容呢

進化計算（Evolutionary Computation，EC）是一種模擬自然界生物進化過程與機制，進行問題求解的自組織、自適應的隨機搜索技術
進化計算主要包括遺傳演算法（Genetic Algorithm，GA）、進化策略（Evolutionary Strategy，ES）、進化規劃（Evolutionary Programming，EP）和遺傳規劃（Genetic Programming，GP）四大分支。其中，遺傳演算法是進化計算中最初形成的一種具有普遍影響的模擬進化優化演算法。

4. 進化演算法的簡介

進化演算法包括遺傳演算法、遺傳規劃、進化規劃和進化策略等等。進化演算法的基本框架還是簡單遺傳演算法所描述的框架，但在進化的方式上有較大的差異，選擇、交叉、變異、種群控制等有很多變化，進化演算法的大致框圖可描述如右圖所示：
同遺傳演算法一樣，進化演算法的收斂性也有一些結果，文獻證明了在保存最優個體時通用的進化計算是收斂的，但進化演算法的很多結果是從遺傳演算法推過去的。
遺傳演算法對交叉操作要看重一些，認為變異操作是演算法的輔助操作；而進化規劃和進化策略認為在一般意義上說交叉並不優於變異，甚至可以不要交叉操作。

5. 進化演算法的特點

進化計算是一種具有魯棒性的方法，能適應不同的環境不同的問題，而且在大多數情況下都能得到比較滿意的有效解。他對問題的整個參數空間給出一種編碼方案，而不是直接對問題的具體參數進行處理，不是從某個單一的初始點開始搜索，而是從一組初始點搜索。搜索中用到的是目標函數值的信息，可以不必用到目標函數的導數信息或與具體問題有關的特殊知識。因而進化演算法具有廣泛的應用性，高度的非線性，易修改性和可並行性。
此外，演算法本身也可以採用動態自適應技術，在進化過程中自動調整演算法控制參數和編碼精度，比如使用模糊自適應法 。 進化策略(ES)是在1965年由Rechenberg和Schwefel獨立提出的。
進化策略的一般演算法
(1) 問題為尋找實值n維矢量x，使得函數F(x): R→R取極值。不失一般性，設此程序為極小化過程。
(2) 從各維的可行范圍內隨機選取親本xi，i = 1, … , p的始值。初始試驗的分布一般是均勻分布。
(3) 通過對於x的每個分量增加零均值和預先選定的標准差的高斯隨機變數，從每個親本xi產生子代xi』。
(4) 通過將適應度F(xi)和F(xi』)，i=1，…，P進行排序，選擇並決定那些矢量保留。具有最小適應度的P個矢量變成下一代的新親本。
進行新試驗，選擇具有最小方差的新子代，一直到獲得充分解，或者直到滿足某個終止條件。
在這個模型中，把試驗解的分量看做個體的行為特性，而不是沿染色體排列的基因。假設不管發生什麼遺傳變換，所造成各個個體行為的變化均遵循零均值和某個標准差的高斯分布。
由於基因多效性和多基因性，特定基因的改變可以影響許多表現型特徵。所以在創造新子系時，較為合適的是同時改變親本所有分量。
(1+1)—ES：
早期的進化策略的種群中只包含一個個體，並且只使用變異操作。在每一代中，變異後的個體與其父代進行比較，並選擇較好的一個，這種選擇策略被稱為(1+1)策略。
(1+1)—ES的缺點：
(1) 各維取定常的標推差使得程序收斂到最優解的速度很慢；
(2) 點到點搜索的脆弱本質使得程序在局部極值附近容易受停滯的影響(雖然此演算法表明可以漸近地收斂到全局最優點)。
(μ+λ)—ES：μ個親本製造λ個子代，所有解均參加生存競爭，選出最好的μ個作為下一代的親本。
(μ，λ)—ES：只有λ個子代參加生存競爭，在每代中μ個親本被完全取代。
1．個體的表示法:
每個解矢量不僅包括了n維試驗矢量x，而且還包括了擾動矢量σ，後者給出如何變異x以及它本身如何變異的指令。
2．變異：
設x為當前矢量。σ為對應於x每個維的方差矢量，於是新的解矢量x』，σ』可以這樣產生：
3．交叉：
4．選擇
在進化策略中，選擇是按完全確定的方式進行。(μ,λ)—ES是從λ個子代個體集中選擇μ(1<μ<λA=個最好的個體；(μ+λ)—ES是從父代和子代個體的並集中選擇μ個最好的個體。雖然(μ+λ)—ES保留最優的個體能保證性能單調提高，但這種策略不能處理變化的環境，因此，目前選用最多的還是(μ,λ)—ES。 進化規劃(EP)由Fogel在20世紀60年代提出。
1．表示法和適應值度量
進化規劃假設—個有界子空間 ，其中ui<vi。搜索區域被擴展到I=R，即個體為目標變數向量，a=x∈I，進化規劃把目標函數值通過比例變換到正值，同時加入某個隨機改變θ來得到適應值 ，其中δ是比例函數。
2．變異
可簡化為：
3．選擇
在P個父代個體每個經過一次變異產生P個子代後，進化規劃利用一種隨機q競爭選擇方法從父代和子代的集合中選擇P個個體，其中q>1是選擇演算法的參數。

6. 各種進化演算法有什麼異同

同遺傳演算法一樣，差異進化演算法包含變異和交叉操作，但同時相較於遺傳演算法的選擇操作，差異進化演算法採用一對一的淘汰機制來更新種群。由於差異進化演算法在連續域優化問題的優勢已獲得廣泛應用，並引發進化演算法研究領域的熱潮。

進化演算法

或稱「演化演算法」 (evolutionary algorithms) 是一個「演算法簇」，盡管它有很多的變化，有不同的遺傳基因表達方式，不同的交叉和變異運算元，特殊運算元的引用，以及不同的再生和選擇方法，但它們產生的靈感都來自於大自然的生物進化。

與傳統的基於微積分的方法和窮舉法等優化演算法相比，進化計算是一種成熟的具有高魯棒性和廣泛適用性的全局優化方法，具有自組織、自適應、自學習的特性，能夠不受問題性質的限制，有效地處理傳統優化演算法難以解決的復雜問題。

7. 進化演算法的框架

進化演算法是以達爾文的進化論思想為基礎，通過模擬生物進化過程與機制的求解問題的自組織、自適應的人工智慧技術。生物進化是通過繁殖、變異、競爭和選擇實現的；而進化演算法則主要通過選擇、重組和變異這三種操作實現優化問題的求解。如圖1： 1、t=0
2、初始化群體p(0)
3、評估初始化群體p(0)
4、while終止條件不滿足do
5、 重組操作：p(t)=r(p(t))
6、 變異操作：p(t)=m(p(t))
7、 評估操作：p(t)
8、 選擇操作：p(t+1)=s(p(t)UQ)
9、 t=t+1
10、end 圖1：進化演算法基本框架
其中r、m、s分別表示重組運算元、變異運算元、選擇運算元。

8. 進化演算法的基本步驟

進化計算是基於自然選擇和自然遺傳等生物進化機制的一種搜索演算法。與普通的搜索方法一樣，進化計算也是一種迭代演算法，不同的是進化計算在最優解的搜索過程中，一般是從原問題的一組解出發改進到另一組較好的解，再從這組改進的解出發進一步改進。而且在進化問題中，要求當原問題的優化模型建立後，還必須對原問題的解進行編碼。進化計算在搜索過程中利用結構化和隨機性的信息，使最滿足目標的決策獲得最大的生存可能，是一種概率型的演算法。
一般來說，進化計算的求解包括以下幾個步驟：給定一組初始解；評價當前這組解的性能；從當前這組解中選擇一定數量的解作為迭代後的解的基礎；再對其進行操作，得到迭代後的解；若這些解滿足要求則停止，否則將這些迭代得到的解作為當前解重新操作。
以遺傳演算法為例，其工作步驟可概括為：
（1） 對工作對象——字元串用二進制的0/1或其它進制字元編碼 。
（2） 根據字元串的長度L，隨即產生L個字元組成初始個體。
（3） 計算適應度。適應度是衡量個體優劣的標志，通常是所研究問題的目標函數。
（4） 通過復制，將優良個體插入下一代新群體中，體現「優勝劣汰」的原則。
（5） 交換字元，產生新個體。交換點的位置是隨機決定的
（6） 對某個字元進行補運算，將字元1變為0，或將0變為1，這是產生新個體的另一種方法，突變字元的位置也是隨機決定的。
（7） 遺傳演算法是一個反復迭代的過程，每次迭代期間，要執行適應度計算、復制、交換、突變等操作，直至滿足終止條件。
將其用形式化語言表達，則為：假設α∈I記為個體，I記為個體空間。適應度函數記為Φ：I→R。在第t代，群體P(t)={a1(t),a2(t)，…，an(t)}經過復制r(reproction)、交換c(crossover)及突變m(mutation)轉換成下一代群體。這里r、c、m均指宏運算元，把舊群體變換為新群體。L：I→{True, Flase}記為終止准則。利用上述符號，遺傳演算法可描述為：
t=0
initialize P(0):={ a1(0),a2(0)，…，an(0)};
while(l(P(t))≠True) do
evaluate P(t):{ Φ(a1(t)), Φ(a2(t))，…，Φ(an(t))};
reproction: P′(t):=r(P(t));
crossover: P″(t):=c(P′(t));
mutation: P(t+1):= m(P″(t));
t=t+1;
end

9. 人工智慧之進化演算法

進化計算的三大分支包括：遺傳演算法(Genetic Algorithm ，簡稱GA)、進化規劃(Evolu-tionary Programming，簡稱EP)和進化策略(Evolution Strategies ，簡稱ES)。這三個分支在演算法實現方面具有一些細微的差別，但它們具有一個共同的特點，即都是藉助生物進化的思想和原理來解決實際問題。

遺傳演算法是一類通過模擬生物界自然選擇和自然遺傳機制的隨機化搜索演算法，由美國Holand J教授於1975年首次提出。它是利用某種編碼技術作用於稱為染色體的二進制數串，其基本思想是模擬由這些串組成的種群的進化過程，通過有組織的、然而是隨機的信息交換來重新組合那些適應性好的串。遺傳演算法對求解問題的本身一無所知，它所需要的僅是對演算法所產生的每個染色體進行評價，並根據適應性來選擇染色體，使適應性好的染色體比適應性差的染色體有更多的繁殖機會。遺傳演算法尤其適用於處理傳統搜索方法難於解決的復雜的非線性問題，可廣泛用於組合優化、機器學習、自適應控制、規劃設計和人工生命等領域，是21世紀有關智能計算中的關鍵技術之一。

1964年，由德國柏林工業大學的RechenbergI等人提出。在求解流體動力學柔性彎曲管的形狀優化問題時，用傳統的方法很難在優化設計中描述物體形狀的參數，然而利用生物變異的思想來隨機地改變參數值並獲得了較好效果。隨後，他們便對這種方法進行了深入的研究和發展，形成了進化計算的另一個分支——進化策略。

進化策略與遺傳演算法的不同之處在於：進化策略直接在解空間上進行操作，強調進化過程中從父體到後代行為的自適應性和多樣性，強調進化過程中搜索步長的自適應性調節;而遺傳演算法是將原問題的解空間映射到位串空間之中，然後再施行遺傳操作，它強調個體基因結構的變化對其適應度的影響。

進化策略主要用於求解數值優化問題。

進化規劃的方法最初是由美國人Fogel LJ等人在20世紀60年代提出的。他們在人工智慧的研究中發現，智能行為要具有能預測其所處環境的狀態，並按照給定的目標做出適當的響應的能力。在研究中，他們將模擬環境描述成是由有限字元集中符號組成的序列。

進化演算法與傳統的演算法具有很多不同之處，但其最主要的特點體現在下述兩個方面：

進化計算的智能性包括自組織、自適應和自學習性等。應用進化計算求解問題時，在確定了編碼方案、適應值函數及遺傳運算元以後，演算法將根據「適者生存、不適應者淘汰"的策略，利用進化過程中獲得的信息自行組織搜索，從而不斷地向最佳解方向逼近。自然選擇消除了傳統演算法設計過程中的-一個最大障礙：即需要事先描述問題的全部特點，並說明針對問題的不同特點演算法應採取的措施。於是，利用進化計算的方法可以解決那些結構尚無人能理解的復雜問題。

進化計算的本質並行性表現在兩個方面：

一是進化計算是內在並行的，即進化計算本身非常適合大規模並行。

二是進化計算的內含並行性，由於進化計算採用種群的方式組織搜索，從而它可以同時搜索解空間內的多個區域，並相互交流信息，這種搜索方式使得進化計算能以較少的計算獲得較大的收益。

10. 進化演算法的差分演算法

差分進化演算法(Differential Evolution, DE)是一種新興的進化計算技術，或稱為差分演化演算法、微分進化演算法、微分演化演算法、差異演化演算法。它是由Storn等人於1995年提出的，最初的設想是用於解決切比雪夫多項式問題，後來發現DE也是解決復雜優化問題的有效技術。DE與人工生命，特別是進化演算法有著極為特殊的聯系。
差分進化演算法是基於群體智能理論的優化演算法，通過群體內個體間的合作與競爭產生的群體智能指導優化搜索。但相比於進化演算法，DE保留了基於種群的全局搜索策略，採用實數編碼基於差分的簡單變異操作和一對一的競爭生存策略，降低了遺傳操作的復雜性。同時，DE特有的記憶能力使其可以動態跟蹤當前的搜索情況，以調整其搜索策略，具有較強的全局收斂能力和魯棒性，且不需要藉助問題的特徵信息，適於求解一些利用常規的數學規劃方法所無法求解的復雜環境中的優化問題。
差分進化演算法是一種基於群體進化的演算法，具有記憶個體最優解和種群內信息共享的特點，即通過種群內個體間的合作與競爭來實現對優化問題的求解，其本質是一種基於實數編碼的具有保優思想的貪婪遺傳演算法。
DE是一種用於優化問題的啟發式演算法。本質上說，它是一種基於實數編碼的具有保優思想的貪婪遺傳演算法 。同遺傳演算法一樣，DE包含變異和交叉操作，但同時相較於遺傳演算法的選擇操作，DE採用一對一的淘汰機制來更新種群。由於DE在連續域優化問題的優勢已獲得廣泛應用，並引發進化演算法研究領域的熱潮。
DE由Storn 以及Price提出，演算法的原理採用對個體進行方向擾動，以達到對個體的函數值進行下降的目的，同其他進化演算法一樣，DE不利用目標函數的梯度信息，因此對目標的可導性甚至連續性沒有要求，適用性很強。同時，演算法與粒子群優化有相通之處 ，但因為DE在一定程度上考慮了多變數間的相關性，因此相較於粒子群優化在變數耦合問題上有很大的優勢。演算法的實現參考實現代碼部分。