多變數優化演算法

6. 優化演算法是什麼

智能優化演算法是一種啟發式優化演算法，包括遺傳演算法、蟻群演算法、禁忌搜索演算法、模擬退火演算法、粒子群演算法等。·智能優化演算法一般是針對具體問題設計相關的演算法，理論要求弱，技術性強。一般，我們會把智能演算法與最優化演算法進行比較，相比之下，智能演算法速度快，應用性強。

群體智能優化演算法是一類基於概率的隨機搜索進化演算法，各個演算法之間存在結構、研究內容、計算方法等具有較大的相似性。

各個群體智能演算法之間最大不同在於演算法更新規則上，有基於模擬群居生物運動長更新的（如PSO，AFSA與SFLA），也有根據某種演算法機理設置更新規則（如ACO）。

(6)多變數優化演算法擴展閱讀：

優化演算法有很多，關鍵是針對不同的優化問題，例如可行解變數的取值（連續還是離散）、目標函數和約束條件的復雜程度（線性還是非線性）等，應用不同的演算法。 對於連續和線性等較簡單的問題，可以選擇一些經典演算法，例如梯度、Hessian 矩陣、拉格朗日乘數、單純形法、梯度下降法等；而對於更復雜的問題，則可考慮用一些智能優化演算法。

7. 多設計變數優化問題用什麼優化演算法好（除了遺傳演算法）

粒子群演算法，模擬退火演算法都還不錯哦

8. 如何用遺傳演算法實現多變數的最優化問題

是不是像求函數最值那樣子？建議你了解一下遺傳演算法的實數編碼，這個對於求函數最值很方便，不用像二進制那樣需要轉換。

簡單介紹一下思路：
最重要的是確定適應度函數，只要確定這個函數就很容易了，就用你不會編程，直接調用matlab的工具箱就行了。

1st.設置種群規模，並初始化種群p，並計算各個個體的適應度。
例如，20個個體，每個個體包含5個變數，x1,x2,x3,x4,x5.
如果你用matlab來編程的話，這個可以很容易實現，會用到random('unif',a,b)這個函數吧。
例如x1的取值范圍是[0,1],那麼x1=random('unif',0,1).

2nd.採用輪盤賭選出可以產生後代的父本,p_parents。
額，輪盤賭的實質就是適應度大的被選出的概率大。這個不難，但說起來比較長，你可以自己去看一下。

3rd.雜交過程的思路隨機將p_parents中的個體隨機兩兩配對，然後隨機產生一個1到n的數（n為變數的個數），設為i,交換每對父本中i之後的變數值。交換以後的p_parents成為後代p_offspring.
這里變起來有點點復雜，不過只要耐心一點，編好配對過程和交換過程。

4th.變異過程，這個比較簡單，不過需要自己把握的較好。
基本的思路是設置一個概率，例如0.05，然後產生一個隨機數如果隨機數比0.05小那麼這個變數值就要產生微小的增加或減少。
這個變異過程要歷遍p_offspring所有的變數喔。

5th.將p和p_offspring合並起來，然後選出適應度大的，重新構成一個如原始種群規模相等的種群。

9. 進化演算法的差分演算法

差分進化演算法(Differential Evolution, DE)是一種新興的進化計算技術，或稱為差分演化演算法、微分進化演算法、微分演化演算法、差異演化演算法。它是由Storn等人於1995年提出的，最初的設想是用於解決切比雪夫多項式問題，後來發現DE也是解決復雜優化問題的有效技術。DE與人工生命，特別是進化演算法有著極為特殊的聯系。
差分進化演算法是基於群體智能理論的優化演算法，通過群體內個體間的合作與競爭產生的群體智能指導優化搜索。但相比於進化演算法，DE保留了基於種群的全局搜索策略，採用實數編碼基於差分的簡單變異操作和一對一的競爭生存策略，降低了遺傳操作的復雜性。同時，DE特有的記憶能力使其可以動態跟蹤當前的搜索情況，以調整其搜索策略，具有較強的全局收斂能力和魯棒性，且不需要藉助問題的特徵信息，適於求解一些利用常規的數學規劃方法所無法求解的復雜環境中的優化問題。
差分進化演算法是一種基於群體進化的演算法，具有記憶個體最優解和種群內信息共享的特點，即通過種群內個體間的合作與競爭來實現對優化問題的求解，其本質是一種基於實數編碼的具有保優思想的貪婪遺傳演算法。
DE是一種用於優化問題的啟發式演算法。本質上說，它是一種基於實數編碼的具有保優思想的貪婪遺傳演算法 。同遺傳演算法一樣，DE包含變異和交叉操作，但同時相較於遺傳演算法的選擇操作，DE採用一對一的淘汰機制來更新種群。由於DE在連續域優化問題的優勢已獲得廣泛應用，並引發進化演算法研究領域的熱潮。
DE由Storn 以及Price提出，演算法的原理採用對個體進行方向擾動，以達到對個體的函數值進行下降的目的，同其他進化演算法一樣，DE不利用目標函數的梯度信息，因此對目標的可導性甚至連續性沒有要求，適用性很強。同時，演算法與粒子群優化有相通之處 ，但因為DE在一定程度上考慮了多變數間的相關性，因此相較於粒子群優化在變數耦合問題上有很大的優勢。演算法的實現參考實現代碼部分。

10. MATLAB基礎問題

命令fminunc().

單獨寫個.M文件，把約束條件寫進去，在約束區有個「Nonlinear constraint function」 @+"約束文件名"

例子：
求解如附件圖片所示的有約束非線規劃問題，分三個步驟
1.建立名為myobjfunc的m文件如下
function RES = myobjfunc(x)

RES=(x(3)*(1/(2*(x(3)^2 + x(5))*(x(4)^2 + x(3) + x(1)*x(2))^(1/2)) ...
- (2*x(3)*(x(4)^2 + x(3) + x(1)*x(2))^(1/2))/(x(3)^2 + x(5))^2))...
/(2*((x(4)^2 + x(3) + x(1)*x(2))^(1/2)/(x(3)^2 + x(5)) + 1)^(1/2)) ...
+ x(4)^2/(2*((x(4)^2 + x(3) + x(1)*x(2))^(1/2)/(x(3)^2 + x(5)) + 1)^(1/2)...
*(x(3)^2 + x(5))*(x(4)^2 + x(3) + x(1)*x(2))^(1/2)) ...
- (x(5)*(x(4)^2 + x(3) + x(1)*x(2))^(1/2))/(2....
*((x(4)^2 + x(3) + x(1)*x(2))^(1/2)/(x(3)^2 + x(5)) + 1)...
^(1/2)*(x(3)^2 + x(5))^2) + (x(1)*x(2))/(2*((x(4)^2 + x(3) + x(1)*x(2))...
^(1/2)/(x(3)^2 + x(5)) + 1)^(1/2)*(x(3)^2 + x(5))...
*(x(4)^2 + x(3) + x(1)*x(2))^(1/2));

2. 建立名為mymodelcons的m文件如下
function [C,CEQ]=mymodelcons(x)
C(1)=x(1)+x(2)^2-10;
C(2)=1-x(1)-x(2)^2;
CEQ=[];

3.在matlab命令窗口中輸入以下命令並執行
lb=[0.5 0.5 0.5 1 1];
ub=[5 5 5 3 4];
[X,Y,FLAG]=fmincon(@myobjfunc,[1 1 1 1 1],[],[],[],[],lb,ub,@mymodelcons)

結果為
Active inequalities (to within options.TolCon = 1e-006):
lower upper ineqlin ineqnonlin
5 1 1
4
X = 5.0000 2.2361 1.2359 3.0000 1.0000.

==================================================
在天涯回答上有類似的問題的兩個解答供參考
http://wenda.tianya.cn/wenda/thread?tid=29980be1cb2bb991

參考解答一
--------------------------------------------------
fun=@(x)sqrt(x(1)^2+x(2)^2)+sqrt(x(1)^2+(x(2)-52)^2)+sqrt(x(1)^2+(x(2)-139.5)^2)+sqrt(x(1)^2+(x(2)-228)^2)+sqrt(x(1)^2+(x(2)-288)^2)+sqrt((x(1)-65)^2+x(2)^2)+sqrt((x(1)-84)^2+x(2)^2)+sqrt((x(1)-110)^2+(x(2)-288)^2)+sqrt((x(1)-110)^2+(x(2)-217)^2)+sqrt((x(1)-110)^2+(x(2)-93)^2)+sqrt((x(1)-110)^2+x(2)^2)+sqrt((x(1)-65)^2+x(2)^2);
lb=[0;0];
ub=[110;228];
options=optimset('PlotFcns',{@optimplotx,@optimplotfirstorderopt,@optimplotstepsize,@optimplotfval});
[x,fval]=fmincon(fun,rand(2,1),[],[],[],[],lb,ub,[],options)

Optimization terminated: magnitude of directional derivative in search
direction less than 2*options.TolFun and maximum constraint violation
is less than options.TolCon.
No active inequalities.

x =

55.3467
74.3034

fval = 1.3748e+003

參考解答二
-------------------------------------------
（一）非線性一元函數的最小值
Matlab函數為fminbnd()，其使用格式為：
X=fminbnd(fun,x1,x2)
[X,fval,exitflag,output]= fminbnd(fun,x1,x2)

其中：fun為目標函數，x1，x2為變數的邊界約束，即x1≤x≤x2，X為返回的滿足fun取得最小值的x的值，而fval則為此時的目標函數值。 exitflag>0表示計算收斂，exitflag=0表示超過了最大的迭代次數，exitflag<0表示計算不收斂，返回值 output有3個分量，其中iterations是優化過程中迭代次數，funcCount是代入函數值的次數，algorithm是優化所採用的演算法。

例1：求函數 在區間 的最小值和相應的 值。
解決此問題的Matlab程序為：
clear
fun='(x^5+x^3+x^2-1)/(exp(x^2)+sin(-x))'
ezplot(fun,[-2,2])
[X,fval,exitflag,output]= fminbnd(fun,-2,2)
結果為：
X = 0.2176
fval =-1.1312
exitflag = 1
output = iterations: 13
funcCount: 13
algorithm: 'golden section search, parabolic interpolation'

（二）無約束非線性多變數優化問題
這里我們介紹兩個命令：fminsearch()和fminunc()，前者適合處理階次低但是間斷點多的函數，後者則對於高階連續的函數比較有效。
命令fminsearch()的格式為：
X= fminsearch(fun,X0)
[X,fval,exitflag,output]= fminsearch(fun,X0,options)

該命令求解目標函數fun的最小值和相應的x值，X0為x的初始值，fval為返回的函數值，exitflag=1表示優化結果收斂，exitflag=0 表示超過了最大迭代次數。返回值output有3個分量，其中iterations是優化過程中的迭代次數，funcCount是代入函數值的次數，algorithm是優化所採用的演算法。options是一個結構，裡面有控制優化過程的各種參數，參考optimset()命令來設置，一般情況下我們不必改動它，即使用預設設置就可以了。

例2：求函數 的最小值以及最小值點。
完成該計算的Matlab程序如下：
clear
fun1='sin(x)+cos(y)'
fun2='sin(x(1))+cos(x(2))'
ezmesh(fun1)
[X,fval]=fminsearch(fun2,[0,0])
X = -1.5708 3.1416
fval = -2.0000

其中語句ezmesh()是為了畫出函數的圖形，注意這里fun1和fun2的不同，考慮如果用相同的是否可行。

命令fminunc()的格式為：
X=fminunc(fun,X0)
[X,fval,exitflag,output,grad,hessian]=fminunc(fun,X0,options)
命令fminunc()通過計算尋找多變數目標函數fun的最小值，X0為優化的初始值，X為返回的變數的值，grad返回解點的梯度，hessian返回解點的漢森矩陣。其它參數的意義和命令fminsearch()相同。

例3：求函數 的最小值。
解：Matlab程序為
clear
fun='exp(x(1))*(2*x(1)^2+3*x(2)^2+2*x(1)*x(2)+3*x(2)+1)';
x0=[0,0];
options=optimset('largescale','off','display','iter','tolx',1e-8,'tolfun',1e-8);
[x,fval,exitflag,output,grad,hessian]=fminunc(fun,x0,options)

運行結果為：
Iteration
Func-count
f(x)
Step-size
Directional derivative

1
2
1
0.2
-10

2
8
0.369471
0.134277
-0.020 .