退火演算法求解背包問題

『壹』 蟻群優化演算法的目錄

1.1 組合優化與計算復雜性
1.2 來自自然界的幾類優化方法 2.1 基本思想
2.2研究概況 3.1 TSP概述
3.2 經典方法
3.3 遺傳演算法與模擬退火法
3.4蟻群演算法
3.5 元胞蟻群演算法及其收斂性 4.1 瓶頸TSP及其求解
4.2 最小比率TSP及其求解
4.3 時間約束TSP及其求解
4.4 多目標TSP及其求解 5.1 VRP概述
5.2 CVRP及其求解
5.3 多目標VRP及其求解
5.4 VRPTW及其求解
5.5 VRPSTW及其求解
5.6 FVRP及其求解 6.1 度約束最小樹問題及其求解
6.2 Steiner最小樹問題及其求解
6.3 Min-Max度最優樹問題與多目標最小樹問題 7.1 0-1規劃問題及其求解
7.2 背包問題及其求解
7.3 多目標0-1規劃問題及其求解
7.4 一般整數規劃問題及其求解 8.1 基本蟻群演算法
8.2 元胞蟻群演算法
8.3 平面選址問題及其求解
8.4 多目標優化問題及其求解 9.1 二次分配問題及其求解
9.2 圖著色問題及其求解
9.3 多目標最短路及其求解 附錄 中國144城鋒衡市相對坐標數據
後記
《運籌與管銀侍做理科談空學叢書》已出版書目

『貳』 C語言中退火模擬

模擬退火法 模擬退火演算法來源於固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最後在常溫時達到基態，內能減為最小。根據Metropolis准則，粒子在溫度T時趨於平衡的概率為e-ΔE/(kT)，其中E為溫度T時的內能，ΔE為其改變數，k為Boltzmann常數。用固體退火模擬組合優化問題，將內能E模擬為目標函數值f，溫度T演化成控制參數t，即得到解組合優化問題的模擬退火演算法：由初始解i和控制參數初值t開始，對當前解重復「產生新解→計算目標函數差→ 接受或舍棄」的迭代，並逐步衰減t值，演算法終止時的當前解即為所得近似最優解，這是基於蒙特卡羅迭代求解法的一種啟發式隨機搜索過程。退火過程由冷卻進度表(Cooling Schele)控制，包括控制參數的初值t及其衰減因子Δt、每個t值時的迭代次數L和停止條件S。

退火演算法
Simulate Anneal Arithmetic (SAA,模擬退火演算法) 模擬退火演算法 模擬退火演算法來源於固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最後在常溫時達到基態，內能減為最小。根據Metropolis准則，粒子在溫度T時趨於平衡的概率為e-ΔE/(kT)，其中E為溫度T時的內能，ΔE為其改變數，k為Boltzmann常數。用固體退火模擬組合優化問題，將內能E模擬為目標函數值f，溫度T演化成控制參數t，即得到解組合優化問題的模擬退火演算法：由初始解i和控制參數初值t開始，對當前解重復「產生新解→計算目標函數差→接受或舍棄」的迭代，並逐步衰減t值，演算法終止時的當前解即為所得近似最優解，這是基於蒙特卡羅迭代求解法的一種啟發式隨機搜索過程。退火過程由冷卻進度表(Cooling Schele)控制，包括控制參數的初值t及其衰減因子Δt、每個t值時的迭代次數L和停止條件S。 模擬退火演算法起源於物理退火。 􀂄物理退火過程： （1） 加溫過程 （2） 等溫過程 （3） 冷卻過程 1 . 模擬退火演算法的模型 模擬退火演算法可以分解為解空間、目標函數和初始解三部分。 模擬退火的基本思想: (1) 初始化：初始溫度T(充分大)，初始解狀態S(是演算法迭代的起點)， 每個T值的迭代次數L (2) 對k=1，……，L做第(3)至第6步： (3) 產生新解S′ (4) 計算增量Δt′=C(S′)-C(S)，其中C(S)為評價函數 (5) 若Δt′<0則接受S′作為新的當前解，否則以概率exp(-Δt′/T)接受S′作為新的當前解. (6) 如果滿足終止條件則輸出當前解作為最優解，結束程序。 終止條件通常取為連續若干個新解都沒有被接受時終止演算法。 (7) T逐漸減少，且T->0，然後轉第2步。 演算法對應動態演示圖： 模擬退火演算法新解的產生和接受可分為如下四個步驟： 第一步是由一個產生函數從當前解產生一個位於解空間的新解；為便於後續的計算和接受，減少演算法耗時，通常選擇由當前新解經過簡單地變換即可產生新解的方法，如對構成新解的全部或部分元素進行置換、互換等，注意到產生新解的變換方法決定了當前新解的鄰域結構，因而對冷卻進度表的選取有一定的影響。 第二步是計算與新解所對應的目標函數差。因為目標函數差僅由變換部分產生，所以目標函數差的計算最好按增量計算。事實表明，對大多數應用而言，這是計算目標函數差的最快方法。 第三步是判斷新解是否被接受,判斷的依據是一個接受准則，最常用的接受准則是Metropo1is准則: 若Δt′<0則接受S′作為新的當前解S，否則以概率exp(-Δt′/T)接受S′作為新的當前解S。 第四步是當新解被確定接受時，用新解代替當前解，這只需將當前解中對應於產生新解時的變換部分予以實現，同時修正目標函數值即可。此時，當前解實現了一次迭代。可在此基礎上開始下一輪試驗。而當新解被判定為舍棄時，則在原當前解的基礎上繼續下一輪試驗。 模擬退火演算法與初始值無關，演算法求得的解與初始解狀態S(是演算法迭代的起點)無關；模擬退火演算法具有漸近收斂性，已在理論上被證明是一種以概率l 收斂於全局最優解的全局優化演算法；模擬退火演算法具有並行性。 2 模擬退火演算法的簡單應用 作為模擬退火演算法應用，討論貨郎擔問題(Travelling Salesman Problem，簡記為TSP)：設有n個城市，用數碼1,…,n代表。城市i和城市j之間的距離為d(i，j) i, j=1,…,n．TSP問題是要找遍訪每個域市恰好一次的一條迴路，且其路徑總長度為最短.。 求解TSP的模擬退火演算法模型可描述如下： 解空間 解空間S是遍訪每個城市恰好一次的所有迴路，是{1，……，n}的所有循環排列的集合，S中的成員記為(w1,w2 ,……，wn)，並記wn+1= w1。初始解可選為(1，……，n) 目標函數 此時的目標函數即為訪問所有城市的路徑總長度或稱為代價函數： 我們要求此代價函數的最小值。 新解的產生 隨機產生1和n之間的兩相異數k和m，若k (w1, w2 ,…，wk , wk+1 ,…，wm ,…，wn) 變為： (w1, w2 ,…，wm , wm-1 ,…，wk+1 , wk ,…，wn). 如果是k>m，則將 (w1, w2 ,…，wk , wk+1 ,…，wm ,…，wn) 變為： (wm, wm-1 ,…，w1 , wm+1 ,…，wk-1 ,wn , wn-1 ,…，wk). 上述變換方法可簡單說成是「逆轉中間或者逆轉兩端」。 也可以採用其他的變換方法，有些變換有獨特的優越性，有時也將它們交替使用，得到一種更好方法。 代價函數差 設將(w1, w2 ,……，wn)變換為(u1, u2 ,……，un), 則代價函數差為： 根據上述分析，可寫出用模擬退火演算法求解TSP問題的偽程序： Procere TSPSA: begin init-of-T; { T為初始溫度} S={1，……，n}; {S為初始值} termination=false; while termination=false begin for i=1 to L do begin generate(S′form S); { 從當前迴路S產生新迴路S′} Δt:=f(S′))-f(S);{f(S)為路徑總長} IF(Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1]) S=S′; IF the-halt-condition-is-TRUE THEN termination=true; End; T_lower; End; End 模擬退火演算法的應用很廣泛，可以較高的效率求解最大截問題(Max Cut Problem)、0-1背包問題(Zero One Knapsack Problem)、圖著色問題(Graph Colouring Problem)、調度問題(Scheling Problem)等等。 3 模擬退火演算法的參數控制問題 模擬退火演算法的應用很廣泛，可以求解NP完全問題，但其參數難以控制，其主要問題有以下三點： (1) 溫度T的初始值設置問題。 溫度T的初始值設置是影響模擬退火演算法全局搜索性能的重要因素之一、初始溫度高，則搜索到全局最優解的可能性大，但因此要花費大量的計算時間；反之，則可節約計算時間，但全局搜索性能可能受到影響。實際應用過程中，初始溫度一般需要依據實驗結果進行若干次調整。 (2) 退火速度問題。 模擬退火演算法的全局搜索性能也與退火速度密切相關。一般來說，同一溫度下的「充分」搜索(退火)是相當必要的，但這需要計算時間。實際應用中，要針對具體問題的性質和特徵設置合理的退火平衡條件。 (3) 溫度管理問題。 溫度管理問題也是模擬退火演算法難以處理的問題之一。實際應用中，由於必須考慮計算復雜度的切實可行性等問題，常採用如下所示的降溫方式： T(t+1)＝k×T(t) 式中k為正的略小於1.00的常數，t為降溫的次數 4、模擬退火演算法的優缺點 優點：計算過程簡單，通用，魯棒性強，適用於並行處理，可用於求解復雜的非線性優化問題。 缺點：收斂速度慢，執行時間長，演算法性能與初始值有關及參數敏感等缺點。 經典模擬退火演算法的缺點： (1)如果降溫過程足夠緩慢，多得到的解的性能會比較好，但與此相對的是收斂速度太慢; (2)如果降溫過程過快，很可能得不到全局最優解。 􀂄 模擬退火演算法的改進 (1) 設計合適的狀態產生函數，使其根據搜索進程的需要 表現出狀態的全空間分散性或局部區域性。 (2) 設計高效的退火策略。 (3) 避免狀態的迂迴搜索。 (4) 採用並行搜索結構。 (5) 為避免陷入局部極小，改進對溫度的控制方式 (6) 選擇合適的初始狀態。 (7) 設計合適的演算法終止准則。 也可通過增加某些環節而實現對模擬退火演算法的改進。 主要的改進方式包括： (1) 增加升溫或重升溫過程。在演算法進程的適當時機，將溫度適當提高，從而可激活各狀態的接受概率，以調整搜索進程中的當前狀態，避免演算法在局部極小解處停滯不前。 (2) 增加記憶功能。為避免搜索過程中由於執行概率接受環節而遺失當前遇到的最優解，可通過增加存儲環節，將一些在這之前好的態記憶下來。 (3) 增加補充搜索過程。即在退火過程結束後，以搜索到的最優解為初始狀態，再次執行模擬退火過程或局部性搜索。 (4) 對每一當前狀態，採用多次搜索策略，以概率接受區域內的最優狀態，而非標准SA的單次比較方式。 (5) 結合其他搜索機制的演算法，如遺傳演算法、混沌搜索等。 (6)上述各方法的綜合應用。

『叄』 退火演算法的應用領域及示例

作為模擬退火演算法應用，討論旅行商問題(Travelling Salesman Problem,簡記為TSP)：設有n個城市，用數碼1,…,n代表。城市i和城市j之間的距離為d(i,j) i,j=1,…,n．TSP問題是要找遍訪每個域市恰好一次的一條迴路，且其路徑總長度為最短.。
求解TSP的模擬退火演算法模型可描述如下：
解空間 解空間S是遍訪每個城市恰好一次的所有迴路，是{1,……,n}的所有循環排列的集合,S中的成員記為(w1,w2,……,wn)，並記wn+1= w1。初始解可選為(1,……,n)
目標函數 此時的目標函數即為訪問所有城市的路徑總長度或稱為代價函數：
我們要求此代價函數的最小值。
新解的產生 隨機產生1和n之間的兩相異數k和m,
若k<m,則將
(w1,w2,…,wk,wk+1,…,wm,…,wn)
變為：
(w1,w2,…,wm,wm-1,…,wk+1,wk,…,wn).
如果是k>m,則將
(w1,w2,…,wm,wm+1,…,wk,…,wn)
變為：
(wm,wm-1,…,w1,wm+1,…,wk-1,wn,wn-1,…,wk).
上述變換方法可簡單說成是「逆轉中間或者逆轉兩端」。
也可以採用其他的變換方法，有些變換有獨特的優越性，有時也將它們交替使用，得到一種更好方法。
代價函數差 設將(w1,w2,……,wn)變換為(u1,u2,……,un)，則代價函數差為：
根據上述分析，可寫出用模擬退火演算法求解TSP問題的偽程序：
Procere TSPSA:
begin
init-of-T; { T為初始溫度}
S={1,……,n}; {S為初始值}
termination=false;
while termination=false
begin
for i=1 to L do
begin
generate(S′form S); { 從當前迴路S產生新迴路S′}
Δt:=f(S′））-f(S);{f(S)為路徑總長}
IF（Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1])
S=S′；
IF the-halt-condition-is-TRUE THEN
termination=true;
End;
T_lower;
End;
End
模擬退火演算法的應用很廣泛，可以較高的效率求解最大截問題(Max Cut Problem)、0-1背包問題(Zero One Knapsack Problem)、圖著色問題(Graph Colouring Problem)、調度問題(Scheling Problem)等等。 模擬退火演算法的應用很廣泛，可以求解NP完全問題，但其參數難以控制，其主要問題有以下三點：
⑴ 溫度T的初始值設置問題。
溫度T的初始值設置是影響模擬退火演算法全局搜索性能的重要因素之一、初始溫度高，則搜索到全局最優解的可能性大，但因此要花費大量的計算時間；反之，則可節約計算時間，但全局搜索性能可能受到影響。實際應用過程中，初始溫度一般需要依據實驗結果進行若干次調整。
⑵ 退火速度問題。
模擬退火演算法的全局搜索性能也與退火速度密切相關。一般來說，同一溫度下的「充分」搜索（退火）是相當必要的，但這需要計算時間。實際應用中，要針對具體問題的性質和特徵設置合理的退火平衡條件。
⑶ 溫度管理問題。
溫度管理問題也是模擬退火演算法難以處理的問題之一。實際應用中，由於必須考慮計算復雜度的切實可行性等問題，常採用如下所示的降溫方式：
T(t+1)=k×T(t)
式中k為正的略小於1.00的常數,t為降溫的次數 優點：計算過程簡單，通用，魯棒性強，適用於並行處理，可用於求解復雜的非線性優化問題。
缺點：收斂速度慢，執行時間長，演算法性能與初始值有關及參數敏感等缺點。
經典模擬退火演算法的缺點：
⑴如果降溫過程足夠緩慢，多得到的解的性能會比較好，但與此相對的是收斂速度太慢；
⑵如果降溫過程過快，很可能得不到全局最優解。
􀂄 模擬退火演算法的改進
⑴ 設計合適的狀態產生函數，使其根據搜索進程的需要
表現出狀態的全空間分散性或局部區域性。
⑵ 設計高效的退火策略。
⑶ 避免狀態的迂迴搜索。
⑷ 採用並行搜索結構。
⑸ 為避免陷入局部極小，改進對溫度的控制方式
⑹ 選擇合適的初始狀態。
⑺ 設計合適的演算法終止准則。
也可通過增加某些環節而實現對模擬退火演算法的改進。
主要的改進方式包括：
⑴ 增加升溫或重升溫過程。在演算法進程的適當時機，將溫度適當提高，從而可激活各狀態的接受概率，以調整搜索進程中的當前狀態，避免演算法在局部極小解處停滯不前。
⑵ 增加記憶功能。為避免搜索過程中由於執行概率接受環節而遺失當前遇到的最優解，可通過增加存儲環節，將一些在這之前好的態記憶下來。
⑶ 增加補充搜索過程。即在退火過程結束後，以搜索到的最優解為初始狀態，再次執行模擬退火過程或局部性搜索。
⑷ 對每一當前狀態，採用多次搜索策略，以概率接受區域內的最優狀態，而非標准SA的單次比較方式。
⑸ 結合其他搜索機制的演算法，如遺傳演算法、混沌搜索等。
⑹上述各方法的綜合應用。

『肆』 如何通俗易懂地解釋遺傳演算法

遺傳演算法，核心是達爾文優勝劣汰適者生存的進化理論的思想。

我們都知道一個種群，通過長時間的繁衍，種群的基因會向著更適應環境的趨勢進化，牛B個體的基因被保留，後代越來越多，適應能力低個體的基因被淘汰，後代越來越少。經過幾代的繁衍進化，留下來的少數個體，就是相對能力最強的個體了。

那麼在解決一些問題的時候，我們能不能學習這樣的思想，比如先隨機創造很多很多的解，然後找一個靠譜的評價體系，去篩選比較好的解，再用這些好的解像生小寶寶一樣生一堆可能更好的解，然後再篩再生，反復弄個幾代，得到的說不定就是近似最優解喲

說干就干，有一個經典組合問題叫「背包問題」，我們拿這種思路來試試

「背包問題（Knapsack Problem）是一種組合優化的NP完全問題。問題可以描述為：給定一組物品，每種物品都有自己的重量和價格，在限定的總重量內，我們如何選擇，才能使得物品的總價格最高。問題的名稱來源於如何選擇最合適的物品放置於給定背包中。」

這個問題的衍生簡化問題「0-1背包問題」 增加了限制條件：每件物品只有一件，可以選擇放或者不放，更適合我們來舉例

這樣的問題如果數量少，當然最好選擇窮舉法

比如一共3件商品，用0表示不取，1表示取，那麼就一共有

000 001 010

011 100 101

110 111

這樣方案，然後讓計算機去累加和，與重量上限比較，留下來的解里取最大即可。

『伍』 智能演算法的智能演算法概述

智能優化演算法要解決的一般是最優化問題。最優化問題可以分為（1）求解一個函數中，使得函數值最小的自變數取值的函數優化問題和（2）在一個解空間裡面，尋找最優解，使目標函數值最小的組合優化問題。典型的組合優化問題有：旅行商問題（Traveling Salesman Problem，TSP），加工調度問題（Scheling Problem），0－1背包問題（Knapsack Problem），以及裝箱問題（Bin Packing Problem）等。
優化演算法有很多，經典演算法包括：有線性規劃，動態規劃等；改進型局部搜索演算法包括爬山法，最速下降法等，本文介紹的模擬退火、遺傳演算法以及禁忌搜索稱作指導性搜索法。而神經網路，混沌搜索則屬於系統動態演化方法。
優化思想裡面經常提到鄰域函數，它的作用是指出如何由當前解得到一個（組）新解。其具體實現方式要根據具體問題分析來定。
一般而言，局部搜索就是基於貪婪思想利用鄰域函數進行搜索，若找到一個比現有值更優的解就棄前者而取後者。但是，它一般只可以得到「局部極小解」，就是說，可能這只兔子登「登泰山而小天下」，但是卻沒有找到珠穆朗瑪峰。而模擬退火，遺傳演算法，禁忌搜索，神經網路等從不同的角度和策略實現了改進，取得較好的「全局最小解」。